Per giftet seg i 1960 med Benedicte Werring (1935–1990), og de fikk datteren Cecilie Ditlev-Simonsen i 1964. I 1992 giftet han seg med Turi Klaveness (1941–).