Conrad von Hötzendorf urodził się w Penzing (wtedy przedmieście Wiednia). Był późnym dzieckiem emerytowanego pułkownika huzarów, Franza Xavera Conrada (1793–1878), który w 1813 wziął udział w Bitwie Narodów pod Lipskiem, a w 1848 w tłumieniu rewolucji marcowej w Wiedniu w okresie Wiosny Ludów. Wtedy też został poważnie ranny, a swoje rozgoryczenie i niechęć do idei rewolucyjnych przekazał synowi. Przyszły marszałek odziedziczył tytuł szlachecki po pochodzącym z południowych Moraw pradziadku, który przed nobilitacją w 1816 nosił nazwisko "Conrad". Dzieciństwo miał trudne; ojciec zmarł wcześnie, a matka, córka praskiego artysty Küblera, musiała łożyć sama na edukację syna. W 1863 został wysłany do szkoły kadetów w Hainburg an der Donau, następnie w latach 1867–1871 był słuchaczem Terezjańskiej Akademii Wojskowej w Wiener Neustadt. Na stopień podporucznika został mianowany ze starszeństwem z 1 września 1871 i został wcielony do 11. Dolnoaustriackiego Batalionu Strzelców Polnych w St. Pölten.