Som landslagssjef vektla Halvorsen å bygge det beste laget, ikke nødvendigvis de 11 beste individuelle spillerne. Eksempelvis tok han ut Magnar Isaksen som indreløper, selv om mange mente andre indreløpere var bedre. Halvorsen vektla at Arne Brustad og Isaksen kjente hverandre så godt fra klubblaget Lyn. Brustad ble norsk toppscorer i OL med 5 mål, mens Isaksen scoret begge målene mot Tyskland, uttaket ble aldri mer kritisert. Semifinalen mot Italia endte med 1-2 etter ekstraomganger, mens Arne Brustad avgjorde til 3-2 mot Polen i bronsefinalen. Seks minutter før slutt, foran tilskuere på Olympiastadion. Etter seier over Irland i kvaliken skulle Norge to år senere for første gang delta i fotball-VM – Norges første og eneste deltagelse i et VM-sluttspill før 1994. Men i VM ble det rett ut i første kamp: Nok et 1-2-tap etter ekstraomganger mot Italia, denne gang etter skandaløs dømming. Italia vant både OL i 1936 og VM i 1938, og i begge mesterskap var Norge laget som var nærmest å slå dem. Som landslagssjef stilte Halvorsen også krav til opptreden og nøkternhet, eksempelvis med alkohol. Også den delen av landslagssamlingene som ikke gikk med til fotball hadde Halvorsen stram regi på. Han hadde meninger om kosthold og fellesaktiviteter. Halvorsen hadde innført et toppidrettsregime – 50 år før Olympiatoppen og dagens begreper som «24-timersutøveren».