1940 marschierte die deutsche Wehrmacht in Norwegen ein und blieb bis Kriegsende 1945 als Besatzungsmacht. Halvorsen übte sich im Widerstand gegen die deutsche Militärregierung. Er lehnte die Reformierung und Eingliederung des norwegischen Sports ab und verweigerte 1940 beim Pokalendspiel sogar Reichskommissar Josef Terboven und anderen Nazis den Zutritt zur Ehrenloge, die für die königliche Familie reserviert war, die sich zu diesem Zeitpunkt bereits im Exil befand.