Il fratello minore Massimiliano era stato nominato imperatore del Messico e venne fucilato dagli insorti a Santiago de Querétaro nel 1867. Sua madre Sofia morì nel 1872 ammalata di polmonite in seguito alla tragica morte del figlio Massimiliano che l'aveva lasciata distrutta. Per Francesco Giuseppe fu la fine di ogni sostegno affettivo, morale e politico. Il figlio ed erede al trono Rodolfo morì tragicamente durante i cosiddetti fatti di Mayerling (1889), suicida insieme alla baronessina Maria Vetsera; la prima figlia, Sofia, morì nel 1857, in Ungheria, a Budapest, in seguito a una visita con i genitori e la sorella minore Gisella, anch'essa ammalata di polmonite; la moglie Elisabetta venne assassinata nel 1898 a Ginevra dall'anarchico italiano Luigi Lucheni e morì il giorno stesso per emorragia interna; il nipote Francesco Ferdinando fu ucciso a Sarajevo nel 1914 dallo studente serbo-bosniaco Gavrilo Princip, atto tra quelli che scatenarono il primo conflitto mondiale.