Pada tanggal 26 Desember 1194, Ratu Costanza akhirnya melahirkan seorang putra, calon Kaisar Friedrich II. Untuk mengamankan suksesinya, ayahandanya Heinrich melantik bocah yang baru berusia dua tahun itu sebagai Raja Romawi sebelum ia berangkat ke Perang Salib 1197. Untuk meningkatkan hubungan dengan Kekaisaran Romawi Timur, Heinrich menjodohkan Philipp dengan Irene Angelina, putri Kaisar Isaakius II dan janda Ruggero III dari Sisilia, seorang wanita yang digambarkan oleh Walther von der Vogelweide seperti "bunga mawar tak berduri, seputih merpati". Pada awal tahun 1195, Philipp dilantik sebagai Adipati Toskana dan menerima wilayah-wilayah Matilda yang disengketa. Pemerintahannya disana tidak disukai oleh Paus Selestinus III. Pada tahun 1196 saudaranya Konrad II meninggal dan ia menggantikannya sebagai Adipati Swabia. Pernikahannya dengan Irene dilangsungkan pada tahun 1197 di Augsburg.