Philips familie måtte reise i eksil kort etter at Philip ble født. Det ble tidlig klart at hans mor var psykisk syk og hun ble etter hvert innlagt på en psykiatrisk klinikk og trakk seg siden helt inn i en religiøs orden, og hans far viste liten interesse for å ta seg av barna og døde tidlig. Philip hadde derfor lite kontakt med foreldrene i oppveksten, og ble fra tiårsalderen tatt hånd om av forskjellige slektninger i Tyskland og England. Etter råd fra søsteren Theodora, gift prinsesse av Baden, gikk han på Schule Schloss Salem, som var eid av Baden-familien, noe som betød at familien slapp å betale skolepenger. Senere ble han sendt på internatskoler i Frankrike og Skottland, hvor han gikk på Gordonstoun. Både Salem-skolen og Gordonstoun er reformpedagogiske skoler som legger mye vekt på friluftsaktiviteter.