Om Peter Walbergs fødsel vet man lite, ikke minst fordi han selv hele tiden konsekvent nektet å forklare seg om sin herkomst og fortid. Han insisterte på at han var født og konfirmert i Trondhjem, men dette viste seg å være helt uetterrettelig. Han hadde et svensk pass på seg da han ble arrestert, og ble i samtiden antatt å være svensk. Han hadde flere falske navn, blant annet hadde han sittet arrestert i Bergen i 1804 under sitt alias "Johannes Jensen". Han ble under det navnet idømt fire års festningsarrest for tyveri, men rømte. På et tidspunkt hadde han vært sjømann.