Sannsynligvis under innflytelse fra Melanchthon ble Philipp tiltrukket av den lutherske reformasjon omkring 1524. Sommeren det året forordnet han at evangeliet skulle forkynnes «rent». Det har vært stilt spørsmålstegn om det stod om en religiøs overbevisning eller han snarere så i reformasjonen muligheten til å få makt også over den kirkelige sfære. Hans territorium var på mange måter innbundet av fyrsterkebispedømmet Mainz, Tysklands mektigste og største erkebispedømme. I alle fall hadde Philipps beslutning fra første stund av også politisk betydning. På den annen side finnes det også vitnesbyrd om Philipps personlige fromhet.