Etter utbruddet av andre verdenskrig og okkupasjonen av Norge, gikk Nasjonal samling (NS) inn for en «nyordning» av akademiet i nazistisk retning. Maler og NS-medlem Søren Onsager ble ansatt som professor, mens Axel Revold ikke fikk fornyet sitt åremål. Under slike forhold nektet Heiberg å fortsette. Også elevene forlot akademiet, sammen med sine to malerprofessorer, i en felles boikottaksjon. De dannet et illegalt akademi kalt «Fabrikken», som drev undervisning på skiftende steder rundt i byen. Imens eksisterte akademiet som en ren papirinstitusjon et par år, til tyskerne okkuperte lokalene i Kunstnernes Hus. Skulpturprofessor Wilhelm Rasmussen sympatiserte med de nye makthaverne, men var en godt likt professor som beholdt en håndfull elever. Først fra 1943 ble også skulpturundervisningen illegal. Den ble da ivaretatt på skift av Rasmussen-elevene Stinius Fredriksen og Per Palle Storm, i en like omflakkende tilværelse som den malerne førte.