Philipp von Stadion var sønn av den kurmainziske Johann Franz Konrad von Stadion zu Warthausen und Thannhausen (1736–1787) og hans hustru Maria Ludovica Zobel von Giebelstadt (1740–1803).