Felső-ausztriai eredetű, ősi nemesi családból származott. Őseit, oklevelekkel igazolhatóan Adalbertig, Enns várgrófjáig († 1088) tudta visszavezetni. A Starhemberg család nevének első okleveles említése 1240-ből való. A Starhembergek a Bécs városában legrégebben polgárjogot nyert nemesi családok közé tartoztak. Katonaként szolgálták Ausztria főhercegét és a császárt. 1529-ben, Bécs első török ostroma idején Ernst Rüdiger gróf egyik őse, Hanns Starhemberg védelmezte "„Óperenciát”," azaz Felső-Ausztriát Szulejmán portyázó hadaitól. Egy másik Starhemberg-fiú, Erasmus (1493–1560) a város védőinek soraiban harcolt.