Han var sønn av predikant Faste Svendsen og hustru Gurine Pedersdatter. Peder Svendsen ble født på Rokne i daværende Levanger landsogn, der moren kom fra, og familien flyttet til Fosslandsosen på Otterøy tre år senere. Det meste av oppveksten tilbragte han på Fannestrand utenfor Molde.