Roku 1960 byl v rámci reformy územně správního uspořádání státu zrušen okres Litovel a stal se součástí okresu Olomouc. V souvislosti s tím bylo i litovelské okresní muzeum převedeno do správy Vlastivědného ústavu v Olomouci. V následujících desetiletích byla budova muzea opakovaně opravována, přičemž muzejní sbírky byly postupně přesouvány z Litovle do Olomouce. Mezi jednotlivými rekonstrukcemi se uskutečnila také řada významných malířských a místopisných výstav. Po listopadové revoluci roku 1989 město Litovel nějaký čas vážně usilovalo o navrácení sbírek, ovšem po mnoha jednáních nakonec tento záměr opustilo. V závěru 90. let bylo nakonec muzeum, jehož budova se stále nacházela ve špatném technickém stavu, zcela zrušeno a jeho sbírky tak definitivně zůstaly v Olomouci.