Siden åpningen har museet blitt ombygget to ganger. I 1954 ble de to nisjene ved inngangspartiet bygget. I forbindelse med etableringen av kunsthuset Kabuso, ble museet påbygget etter tegninger av Hille Strandskogen Arkitekter. For å knytte de to byggene sammen har en brukt samme materialtype som på Kabuso.