У 1933 році він одружився із американкою Елсі Чілтон (). У цей же час розпочав активно їздити із виступами Європою, розказуючи антинациські жарти. У квітні 1940 року, коли Данія була окупована, у нього був концерт у Швеції. Борге вдалося втекти до Фінляндії, а потім до США на «USS American Legion». У США він опинився 28 серпня 1940, маючи при собі $20, при цьому $3 він мав сплатити на митниці. Під час окупації йому довелося ненадовго повернутися у Данію, щоб провідати матір, яка помирала. Для цього Борге переодягнувся моряком. Тут він почав виступати як Віктор Борге, а з 1941 року він недовго виступав на радіо у шоу-вар'єте «The Rudy Vallee Show», перейшовши до популярної програми «Kraft Music Hall» Бінга Кросбі.