Peter Westerstrøm ble født i Ljungby i Sverige rundt 1778 (eller året etter). Hans far Jonas var klokker samme sted, men døde allerede da Peter var 8 år gammel. Moren Stina levde helt til 1804 og Peter ble oppfostret hos hennes bror. Han begynte sin yrkeskarriere som tjener, kom så i lære hos en skredder, dog uten noensinne å drive det lenger enn til å bli skreddersvenn. Han forsøkte etterhvert å bli etablert som selvstendig næringsdrivende; for lånte penger gjorde han et mislykket forsøk på å opprette en fabrikk som skulle produsere silkevatt av bomull. Dette er etter hans egen bekjennelse. Historien ble imidlertid betvilt i samtiden, men lot seg ikke kontrollere på grunn av krigstilstanden mellom Norge og Sverige.