Po zakończeniu kariery Halvorsen został trenerem. W 1933 roku prowadził Hamburger SV. W latach 1934-1945 był selekcjonerem reprezentacji Norwegii. W 1936 roku doprowadził ją do zdobycia brązowego medalu na igrzyskach olimpijskich w Berlinie. Z kolei w 1938 roku poprowadził kadrę Norwegii na mistrzostwach świata we Francji.