Under andre verdenskrig var ikke foreningen i aktivitet. Den omfattende portrettsamlingen ble stuet bort i sølvgruvene på Kongsberg, og foreningens andre aktiva ble søkt gjemt fra de tyske okkupasjonsmyndighetene.