Philipp von Segesser var sønn av regjeringsråden i Luzern og guvernøren for kondominatet i grevskapet Sargans, Heinrich Ludwig von Segesser von Brunegg, og hans kone Maria Katharina Rusconi.