Han var først gift med Maria Kristina av Savoia som døde i barsel da hun fødte sønnen Frans i 1832, og deretter med Maria Theresa av Østerrike.