Perteneciente a la casa de Wittelsbach, Ernesto era el último hijo del Duque Alberto V de Baviera y de la Archiduquesa austriaca Ana de Habsburgo-Jagellón (hija del Emperador Fernando I y de Ana de Bohemia y Hungría).