Hesselberg var sønn av en kjøpmann og skipsreder. Han ble tidlig foreldreløs og arbeidet som sjømann. Bare fem år gammel skal han ha vært på sin første sjøtur. Under krigen mot Sverige i 1788 var han nestkommanderende på en galei som støttet hæren under landgang i Båhuslen.