Nordberg ble født i Sverige. Faren var svensk og moren var norsk. Da Gustav var ung bosatte familien seg på Borøy utenfor Tvedestrand. Han dro tidlig til sjøs og utdannet seg til styrmann. På en overfart ble han syk av malaria, noe som førte til at han mistet hørselen. Han måtte oppgi sjømannsyrket.