Philipp ble født i Marburg an der Lahn i Hessen som sønn av landgreve Wilhelm II av Hessen (død 11. juli 1509) og Anna av Mecklenburg (født 14. september 1484, gift 20. oktober 1500, død 15. april 1549). Etter farens død i 1509 brøt det ut en tvist mellom landstenderne og moren landgrevinne Anna om formynderansvaret. Etter at Ludwig von Boyneburg var styrtet i 1514 gikk Anna seirende ut av striden, og fikk keiser Maximilian I til å erklære Philipp for myndig i mars 1518. Gutten var da 13½ år gammel. De hessiske ridderes revolt, som hadde putret helt siden 1508, var først endelig over etter at Philipp hadde nedkjempet Franz von Sickingen i 1523.