Han var sønn av kurfyrst Maximilian II Emanuel av Bayern. Hans familie ble splittet under den spanske arvefølgekrigen og var i mange år i husarrest i Østerrike. Først i 1715 ble familien gjenforent. Hans bror Clemens August av Bayern, senere erkebiskop og kurfyrste av Köln, som i hovedsak støttet Habsburg-Lothringen gjennom Habsburg-suksesjonene, støttet broren og kronet ham personlig som romersk keiser i Frankfurt am Main.