Han var sønn av Frederik II av Sachsen og Margaretha. Ernst av Sachsen var gift med Elisabeth av Bayern. Ernsts etterkommere dannet den såkalte ernestinske linjen av Wettindynastiet.