Pocházel z rakouského šlechtického rodu Starhembergů, byl synem Paula Jakoba Starhemberga (1560–1635), který byl tajným radou a diplomatem. Konrád měl celkem deset sourozenců, z nichž tři bratři a čtyři sestry zemřeli v dětství. Jedna ze sester Anna Marie (1600–1682) byla manželkou Ladislava Buriana z Valdštejna. Konrád byl nejprve důstojníkem císařské armády, bojoval v bitvě u Nördlingenu (1634), o rok později kvůli zranění vojsko opustil a začal se angažovat ve správě Dolních Rakous, kde byl od roku 1641 guberniálním radou. V roce 1643 byl povýšen do říšského hraběcího stavu. Od roku 1657 byl v Dolních Rakousích zástupcem místodržitele, téhož roku byl zároveň jmenován nejvyšším štolbou císařovny Eleonory Magdaleny, vdovy po Ferdinandovi III. V jejích službách se seznámil se svou druhou manželkou Kateřinou, rozenou Cavriani (její otec byl Konrádovým předchůdcem na postu císařovnina nejvyššího štolby). V letech 1663–1687 zastával funkci místodržitele Dolních Rakous. Vynikl především v době moru v roce 1679 a při přípravě obrany Vídně před Turky v roce 1683. V září 1665 byl spolu s Humprechtem Janem Černínem a maršálem Souchesem jmenován členem tajné rady a v roce 1681 obdržel Řád zlatého rouna. Přispěl také k rozšíření rodového majetku, mimo jiné koupil v roce 1666 zpět panství Eferding v Horních Rakousích zkonfiskované jeho rodině po roce 1620 (zdejší "zámek Starhemberg" byl později hlavním rodovým sídlem). V roce 1667 obdržel od císaře Leopolda I. souhlas k nakupování statků v Čechách. Již předtím v roce 1665 koupil Vranov nad Dyjí, kde prováděl stavební úpravy zámku, nakonec ale na základě soudního rozhodnutí z roku 1680 musel předat panství předbělohorským majitelům Althannům.