I mellomkrigstida, da hvalfangsten i Antarktis var på topp, var Andersen en kjent, omtykt og mye omtalt mann i Norge. Populariteten sank da han mot slutten av 1930-tallet gikk i tjeneste som fangstbestyrer hos et tysk hvalfangerselskap. I 1940 meldte han seg inn i NS, og i 1941 gikk han inn i NS Kamporganisasjon, eliteorganet for de ivrigste NS-medlemmene. Han meldte seg ut av NS i 1944.