Bergens kunstforening fikk våren 1941 beskjed om å fraflytte, siden bygget skulle tas i bruk som tysk postkontor. 9. april 1941 kom det tyske soldater til bygningen som raskt ble tilpasset formålet, blant annet med flere vinduer i førsteetasjen ut mot Rasmus Meyers allé. Men lokalene ble likevel funnet uegnet, og alt 26. mai 1941 fikk foreningen bygget sitt tilbake.