I 1540 inngikk Philipp sitt såkalte «dobbeltekteskap» . Ekteskapet ble forrettet av Dionysius Melander den 4. mars 1540 på slottet Rotenburg a.d. Fulda. Hans «ekstrahustru» var Margarete von der Saale (død 31. mars 1567 i Kassel), og hun skjenket ham syv sønner som fikk titler som grever av Diez. Seks av dem døde mellom 1568 og 1575; grev Christoph døde i fengsel i 1603 i Ziegenhain.