Als Kind wurde Philipp für eine geistliche Laufbahn bestimmt. Er lernte Lesen und auch Latein. Zeitweise wurde Philipp wohl im Prämonstratenserstift Adelberg unterrichtet. Von April 1189 bis Juli 1193 war Philipp Propst des Aachener Marienstifts. Philipps Vater war währenddessen 1189 zum Kreuzzug aufgebrochen, doch er ertrank 1190 im Fluss Saleph im Südosten Anatoliens. Die Nachfolge trat Philipps Bruder Heinrich VI. an. Ab 1190/91 war Philipp Bischofselekt von Würzburg, doch konnte Heinrich die Weihe seines Bruders wohl nicht durchsetzen. Heinrich hatte 1186 Konstanze von Sizilien geheiratet, die Tante des regierenden Königs Wilhelm II. von Sizilien. Dies gab den Staufern die Möglichkeit einer Vereinigung des Normannenreiches mit dem Kaiserreich "(unio regni ad imperium)". Dadurch verschlechterte sich aber das Verhältnis zum Papst, denn das Papsttum wollte den Lehnsanspruch über das Königreich Sizilien behaupten. Im Frühjahr 1193 verließ Philipp seinen geistlichen Stand, vielleicht wegen der Kinderlosigkeit des Kaiserpaares. Auch Philipps weitere Brüder hatten keine Kinder. Herzog Friedrich VI. von Schwaben war bereits verstorben und sein Bruder Konrad von Rothenburg, der die Nachfolge als schwäbischer Herzog antrat, war unverheiratet. Dazu hatte Philipps Bruder Otto, der Pfalzgraf von Burgund, noch keine männlichen Nachkommen. Die Bedenken des Kaiserpaares erwiesen sich allerdings als unbegründet. Heinrichs Frau Konstanze brachte am 26. Dezember 1194 in Jesi einen Sohn zur Welt, den späteren römisch-deutschen Herrscher Friedrich II. 1194/95 befand sich Philipp in Italien im Umfeld seines kaiserlichen Bruders. Während der Abwesenheit des Kaisers wählten die Fürsten Ende 1196 in Frankfurt seinen zweijährigen Sohn Friedrich zum römisch-deutschen König. Heinrich wollte damit seine Nachfolge vor dem Aufbruch zum Kreuzzug geregelt wissen.