Zginął w stolicy Bośni, Sarajewie, w zamachu dokonanym przez organizację Czarna Ręka. Został zastrzelony wraz z żoną Zofią przez Gawriła Principa. Wydarzenie to było bezpośrednią przyczyną wybuchu I wojny światowej. Ironią losu jest fakt, że bezpośrednią przyczyną wojny stał się Franciszek Ferdynand, który najżarliwiej się jej sprzeciwiał, a mordercą był przedstawiciel narodu, który pod rządami arcyksięcia miał zostać trzecim „narodem rządzącym” i współdecydować o losach państwa. Gdy kula przeszyła Franciszkowi Ferdynandowi gardło, znalazł jeszcze dość siły, by sześć lub siedem razy powtórzyć słowa: „To nic”.