Nå hadde Halvorsen fått større oppgaver. Etter å ha begynt som baneinspektør i forbundet i 1934 ble han i 1935 ansatt som generalsekretær og landslagstrener. Etter et sviende nederlag mot Sverige i september uttalte Halvorsen at med rett fornyelse og vekt på hardere fysisk trening skulle man ikke se mørkt på deltakelsen i Berlin-OL året etter. Historiene er mange om hvordan Halvorsen tross sine harde ord kunne være empatisk og «se» den enkelte spiller. Jørgen Juve mente Halvorsen hadde dyp forståelse for det norske lynne, og at vi ikke så lett innordner oss systemer. Selv om Halvorsen var vant til tysk lynne, forsto han at i Norge måtte individualisme og frihet kombineres med system, slik at ikke det siste tok helt overhånd. Det ble en begredelig vårsesong for landslaget i 1936, og det ble stilt spørsmål ved om det ble for mye systemer og for lite frihet for den enkelte spiller. Norge spilte seg likevel greit fram til OL-kvartfinale foran hjemmefans i Berlin. Adolf Hitler hadde møtt opp for se sine ariske gutter – det ble tatt rasehensyn i laguttaket – slå lilleputtlandet fra nord. Hitler hadde aldri sett en fotballkamp i sitt liv, og skulle aldri komme til å se noen flere. Det hele endte nemlig med 2-0-seier til Norge (laget ble senere kjent som Bronselaget) og den totale ydmykelse for tyskerne. Den tyske landslagssjef Otto Nerz fikk sparken.