Petter var sønn av revisjonssjef Torjus Graver (1893–1981) og Marie Utstrand (1893–1962). Søstera Astrid Margret Graver (1926–2012) ble gift med sentralbanksjef Knut Getz Wold. Han var formann i Bærum AUF i 1939. Etter examen artium 1940 deltok han i Kampene i Lunner, Oppland som soldat i kaptein Phillip Hansteens skiløperkompani. Han rømte til Little Norway i 1944. Han tok Flyvåpenets flyveskole i Skottland 1945, ble cand.jur. 1947 og ansatt i Utenriksdepartementet samme år, etter å ha vært ett år ved Arbeidernes Opplysningsforbund.