Det gikk etter hvert rykter innad i NS om at Hagelin var av jødisk blod, og at han var korrupt. Ryktene ble så sterke at Quisling måtte iverksette etterforskning. Mens denne pågikk var Hagelin fratatt vervet som fylkesfører i Stor-Oslo. Etterforskningen frikjente Hagelin. Likevel ble han senere tvunget til å gå av høsten 1944, da han nektet å dra til Finnmark for å lede tvangsevakueringen. Resten av okkupasjonstiden levde han tilbaketrukket på Bygdøy.