Per ble født i Ålesund 29. januar 1906 og vokste opp i Kristiansund. Han var sønn av Carl Fredrik Beyer Pihl (født. 2. oktober 1875 i Christiania, død juli 1960) og Halldis Brænne Pihl (født 12. februar 1879 i Trondheim). Han hadde to brødre: Carl Abraham Pihl (født 14. mars 1902 i Arendal, død 22. august 1976) og Gunnar Ridley Pihl (født 12. juli 1910 i Kristiansund, død 12. mai 1997). Det var ved byplankontoret i Drammen han møtte sin ektefelle Karin Pihl som også var arkitekt.