Per Ditlev-Simonsen, kalt «Diffen» blant venner, er sønn av skipsreder Sverre Ditlev-Simonsen og Lily Kaurin. Han er dermed sønnesønn av Olaf Ditlev-Simonsen og nevø (brorsønn) av Olaf Christian Ditlev-Simonsen. Ditlev-Simonsen har altså skipsfartsbakgrunn på farssiden og embetsmannsbakgrunn på morssiden. Farfaren, faren og to onkler var skipsredere, mens morfaren nedstammet fra en lang rad av prester. Barndomshjemmet var preget av sterk familiefølelse, kombinert med samfunnsengasjement og interesse for kunst og kultur.