Die Calvocoressi waren eine der Familien, die nach dem Massaker von 1822 von der Insel Chios vertrieben worden waren. Peters Vater Pantias Calvocoressi (1874–1965) war als Kaufmann für den Konzern der Ralli Brothers in New York, Indien und England tätig. 1924 gab er seine französische Staatsbürgerschaft auf und nahm die britische an. Seine Mutter war Irene Ambrose Ralli (1882–1937), ein Mitglied der weitverzweigten Ralli-Familie, die Inhaber der international tätigen "Ralli Brothers" waren.