Moren led av depresjoner og han ble derfor sendt til hennes søster, Bertha Cecilie Krøyer i København. Hun var gift med zoologen Henrik Nikolai Krøyer, og Peder Severin tok fosterforeldrenes etternavn.