Esta sería la tónica de las distintas sedes que ocuparía el Museo a lo largo de su historia, que tras el alejamiento de su fundador en 1968 y con el advenimiento del dictadura militar en 1973 —que implicó la intervención de la casa de esudios— se tornó accidentada y sombría, marcada por el abandono, los cierres temporales y los traslados sucesivos.