Elisabet ja Frans Joosef saivat neljä lasta. Kruununprinssiä saatiin kuitenkin odotella, sillä kaksi ensimmäistä lasta olivat tyttöjä, Sofia ja Gisela, ja heistä ensimmäinen, Sofia, kuoli kaksivuotiaana. Nuori äiti suri tyttärensä kuolemaa pitkään ja katsoi Giselan tartuttaneen tähän taudin, josta Gisela parantui, mutta johon Sofia kuoli. Sophie otti lastenhoidon täysin omalle vastuulleen, myös kruununprinssi Rudolfin synnyttyä 1858. Elisabet tuskin tapasi poikaansa, eikä heidän suhteensa muodostunut läheiseksi, vaikka Rudolf ihannoikin äitiään. Rudolfin hämärissä olosuhteissa tapahtunut itsemurha vuonna 1889 oli Elisabetille suuri järkytys, ja hän pukeutui lopun elämänsä mustaan. Neljännen lapsen, Budapestissä syntyneen Marie Valerien, Elisabet sai kasvattaa itse, ja heidän suhteensa muodostuikin paljon läheisemmäksi kuin Elisabetin ja hänen muiden lastensa.