1848年、フランス王室が2月革命によってパリを追われると、フィリップはバイロイトのファンタイズィー宮殿に住む父の元に引き取られた。若い頃、フィリップにはオーストリア皇后エリーザベトの一番下の妹であるバイエルン公女ゾフィーとの縁談があったが実現しなかった。1865年、フィリップはオーストリア大公アルブレヒトの娘マリー・テレーゼと結婚し、ウィーンに居を構えた。