Hans far, Karl Ludvig, inträdde som tronföljare 1889, efter kronprins Rudolf av Österrikes död (Mayerlingdramat). Franz Ferdinand blev Österrike-Ungerns tronföljare vid faderns bortgång 1896 och 1898 kejsar Franz Josephs ställföreträdare som krigsmaktens högste chef. 1913 blev han generalinspektör för armén. Som närmaste förtrogne i militära frågor hade han Franz Conrad von Hötzendorf, som han 1906 hade lyckats få utnämnd till generalstabschef.