El príncipe José Fernando nació en Viena el 28 de octubre de 1692, hijo del duque-elector Maximiliano II Manuel de Baviera y de la archiduquesa María Antonia de Austria, hija del emperador Leopoldo I y de la infanta Margarita Teresa de Austria.