Njuno zakonsko življenje ni bilo veselo. Sisi se ni nikoli prilagodila dvoru in je zmeraj bila v nesoglasju s kraljevo družino; njuna prva hči Zofija je umrla kot dojenček; njun edini sin, kronski princ Rudolf, pa se je ubil leta 1889 v zloglasnem mayerlinškem incidentu. Cesarica je bila zagrizena popotnica, jahalka in modna navdušenka, ki so jo na Dunaju le poredko videvali. Leta 1898 jo je v Ženevi do smrti zabodel italjanski anarhist Luigi Luccheni; Franc Jožef si od tega stresa ni nikoli popolnoma opomogel. Po pričevanju bodoče cesarice Cite Burbonsko-Parmske, je svojim sorodnikom baje večkrat rekel: "Nikoli ne boste vedeli, koliko mi je pomenila " in pa: "Nikoli ne bo vedela, kako sem jo imel rad".