Han fikk sin militære utdannelse ved Theresianische Militärakademie, hvor han ble uteksaminert i 1871 som løytnant i den keiserlige og kongelige hær, og tok senere krigsskolen, uteksaminert i 1877 og tjenestegjorde deretter i den østerrikske generalstaben. I 1878 deltok han i en infanteridivisjon under et felttog og okkupasjon av Bosnia-Hercegovina og Sandžak. I 1882 deltok han som i å slå ned et opprør i det sørlige Dalmatia. I april 1886 giftet han seg i Lemberg mens han var stasjonert i denne byen med Vilma Le Beau (1860–1905) som han senere fikk fem barn med. Året etter vendte han tilbake til Wien og tjenestegjorde i generalstaben en periode før han året etter ble forfremmet til major og lærer ved den østerrikske krigsskolen, hvor han særlig hentet fram sine erfaringer etter studiereiser under Den fransk-prøyssiske krig. Fra oktober 1892 ledet han en bataljon i Olmütz og deretter, fra 1895 til 1899 var han oberst sjef for infanteriregiment «Kaiser» i Krakau. I 1899 ble han utnevnt til generalmajor og sjef for 55. infanteribrigade i Trieste, hvor han blant annet med våpenmakt slo ned en oppstand blant italienske havnearbeidere. mini|left|54 år gamle Franz Conrad von Hötzendorf som general i 1906 Fra 1903 til 1906 var han sjef 8. infanteritroppedivisjon i Innsbruck og i 1906 ble han etter forslag fra sin venn erkehertug Franz Ferdinand utnevnt til hans nærmeste militære medarbeider av ham som generalstabssjef. I denne rollen var han øverstkommanderende for alle militære enheter, også utenfor hæren.