Tunga familjesorger drabbade Frans Josef, 1867 arkebuserades brodern Maximilian som avsatt kejsare i Mexiko, sonen Rudolf begick självmord i Mayerlingdramat 1889, 1897 omkom hans svägerska, hertiginnan av Alençon, vid en basarbrand i Paris och sedan föll hans maka kejsarinnan Elisabeth 10 september 1898 i Genève offer för den anarkistiska lönnmördaren Luigi Lucheni. År 1914 dog så brorsonen Franz Ferdinand och hans gemål vid ett attentat i Sarajevo.