Frans Joosef solmi vuonna 1854 avioliiton Sissinä tunnetun Elisabetin kanssa, jonka nuoruusvuosiin "Sissi"-elokuvasarja löyhästi pohjautuu. Sarjassa nuorta keisaria esitti Karlheinz Böhm. Keisaripariskunnan ainoa poika, arkkiherttua Rudolf, teki 30. tammikuuta 1889 itsemurhan Mayerlingin metsästysmajassa surmattuaan rakastajattarensa paronitar Maria von Vetseran. Tapausta väitettiin myös turvallisuuspalvelun tai Ranskan järjestämäksi murhaksi. Keisariparin kolme tytärtä olivat Sophie Friederike (1855–1857), Gisela Louise Marie (1856–1932) ja Marie Valerie (1868–1924).