Haraldsen var blant initiativtakerne til idrettsboikotten i 1941. Han avsluttet den internasjonale karrieren med 1940-sesongen, men deltok i nasjonale stevner i de første etterkrigsårene. Han var også trener og vaktmester på Frogner stadion, og medforfatter av boken .