Da frimurerbrødrene forlot Stamhuset etter møtet mandag den 8. april 1940, gikk det mer enn fem år før de igjen kunne samles i losjen. Neste morgen tok tyske soldater bygningen i besittelse. Senere under okkupasjonen ble uerstattelig inventar ødelagt, blant annet ble den gamle bibel i Stjernesalen brent. Det fortelles at man i asken etter denne fant én eneste hel del; begynnelsen av St. Johannes evangeliet. Nazistene ønsket å ombygge huset til det såkalte Partihuset med selskapslokaler, restaurant, bar og bodega etc. Ifølge arkitekten skulle bygningen ombygges til et av Skandinavias mest tidsriktige restaurantprosjekter, noe som krevde omfattende inngrep i bygningen. Den gamle losjerestauranten ble det ikke gjort noe nevneverdig med fordi den måtte holdes i kontinuerlig drift av hensyn til inntektene. Den ene av de to innganger fra Prestegaten (på baksiden) ble gjenmurt. I den store festsal, Leopardsalen og Armigeralsalen ble det ikke foretatt bygningsmessige forandringer men alt som kunne minne om frimureri ble fjernet eller overmalt. Vestibylen ble totalt ombygget og fikk den form som den har i dag.