El museo se encuentra dentro de la torre del homenaje del Palacio de Medinacelli, del siglo XIV, conocido como Castillo de Pallarés. Cuenta con dos salas de exposición y un patio de armas, que es donde se concentran las piezas arqueológicas de mayores dimensiones y peso. A lo largo de la visita podemos contemplar diversos fondos, fruto del devenir histórico, cultural, arqueológico, artístico y social de Castellar.