I 20 år var Halvorsen også generalsekretær i Norges Fotballforbund, og regnes som arkitekten bak det moderne seriesystemet. Under 2. verdenskrig var Halvorsen fange i tyske konsentrasjonsleire, landet hvor han i 12 år hadde vært stor stjerne og tysk mester i 1923 og 1928 for Hamburger SV. Halvorsen bidro sterkt til at krigsfange og den senere statsminister Trygve Bratteli overlevde krigen.