Peter Andreas Jensen var sønn av høker og senere feiermester Andreas B. Jensen og hustru Dorothea Thrap. Hun døde da sønnen var tre år, og han vokste opp med med sin far, stemor og tre søsken i et hjem der faren mente at gutter skulle oppdras med bare ett daglig måltid, men juling tre ganger for dagen. Familien var blant de bedrestilte i Starvhusgaten, som Jensen selv beskrev som et strøk med illeluktende garverboder i «», fulle av omstreifende hunder og gategutter. Fem år gammel begynte han sin skolegang hos en «skolemor» som lærte ham å lese. Hans videre lærere var en alkoholisert offiser som senere tok sitt liv; deretter nok en tidligere militær, kjent som «Steinbiten» og med tro på fysisk avstraffelse, så elevene måtte kneppe opp en knapp i buksene for hvert svar som var feil. Den som etter leksehøringen hadde åpnet flest knapper, fikk ris på baken. Senere ble Jensen undervist av en gammel politikonstabel.