Berg var i 1940 oberstløytnant i Generalstaben og avdelingssjef for kommunikasjonsavdelingen. Han ble under kampene i Narvik utnevnt som sjef for 6. brigade den 7. mai 1940 . Etter at styrkene i Nord-Norge kapitulerte 10. juni, var han med i en gruppe ledet av major Olaf Helset som skulle samle de forskjellige motstandsgruppene under en felles ledelse i det som skulle bli Milorg. Etter at Helset ble arrestert i februar 1941 tok Ole Berg over ledelsen i og fungerte frem til han måtte flykte til Sverige i januar 1943.