Han var sønn av biskop i Bergen, Jens Pedersøn Skjelderup og Susanna Leonhardsdatter (Lennertsdatter). Som barn gikk han først på Latinskolen i Bergen. Han var imidlertid bare 11 år da faren døde, og kom da til Stavanger, til den seinere biskop Jørgen Eriksøn, som var gift med ei eldre søster av Peder, Adriana.