Майка му умира, когато той е на шест месеца и го завеждат в Парижкия двор, където е възпитаван от дядо му френския крал Луи-Филип и баба му кралица Мария-Амалия. Там Филип става католик. През 1848 г. кралското семейство бяга от Париж от революцията. Филип се връща при баща си и се заселва в дворец Фантазия в Байройт.