Pocházel ze starého rakouského šlechtického rodu, náležel k linii "Sinzendorf-Neuburg". Byl mladším synem dlouholetého prezidenta dvorské komory Jiřího Ludvíka Sinzendorfa (1616–1681) a jeho manželky, šlesvicko-holštýnské princezny Doroty Alžběty (1645–1725). Pro Filipa Ludvíka byla původně určena církevní dráha a získal post kanovníka v Kolíně nad Rýnem. Po smrti staršího bratra Kristiána Ludvíka (1669–1687), který padl v bitvě u Moháče, se duchovní dráhy vzdal a vstoupil do státních služeb. V roce 1694 byl jmenován císařským komořím a v roce 1695 se stal členem říšské dvorské rady. Mezitím začal působit jako diplomat, na přelomu let 1694 a 1695 pobýval v Mnichově a již v sedmadvaceti letech byl jmenován císařským velvyslancem ve Francii (1699–1701). Do Paříže přijel v srpnu 1699, na první oficiální audienci k Ludvíkovi XIV. byl pozván v říjnu. Versailles musel opustit po začátku války o španělské dědictví. V roce 1701 byl jmenován císařským tajným radou a od roku 1705 byl dvorským kancléřem. Patřil k blízkým spolupracovníkům Josefa I., po jeho boku se zúčastnil obléhání pevnosti Landau, mezitím byl znovu pověřován diplomatickými úkoly. Mimo jiné jednal s vévodou Marlboroughem a v letech 1709–1711 byl vyslancem v Nizozemí. Po smrti Josefa I. se zúčastnil volby Karla VI. římským císařem ve Frankfurtu nad Mohanem (1711), poté vedl habsburskou diplomacii na mírových jednáních v Utrechtu. V roce 1712 obdržel Řád zlatého rouna a po skončení války o španělské dědictví zůstával ve Vídni jako státní a konferenční ministr, po smrti Jana Bedřicha Seilerna byl jmenován prvním, respektive nejvyšším dvorským kancléřem (1715–1742).