Nacido en Noruega, su madre, Ellen Cecilie Gjesdal, según un poder judicial no estaba capacitada para criarlo y Peder quedó a cargo de la hermana de su madre y su marido con quienes se estableció en Copenhague.