Баща му е убит през 1683 г. при Втората обсада на Виена от турците. Майка му се омъжва втори път на 1 юли 1685 г. в "Св. Петър" в Мюнхен за граф Паул Фугер фон Кирхберг-Вайсенхорн (1637 – 1701). Филип Йозеф расте при майка си.