Kun Wittelsbachien baijerilainen haara sammui mieslinjalta vaaliruhtinas Maksimilian III Joosefin kuoltua 30. joulukuuta 1777, Kaarle Teodor peri samalla tavalla myös Baijerin valtaistuimen. Hän yhdisti kaksi vaaliruhtinaskuntaa personaaliunioniin käyttäen tästä alkaen Baijerin vaaliruhtinaan arvoa. Tämän seurauksena Itävalta vaati itselleen kompensaationa Ala-Baijerin aluetta, mihin hän tarjoutui suostumaan, sillä hän oli itsekin vailla laillista perillistä ja toivoi keisari Joosef II:n antavan vastineeksi hänen aviottomille pojilleen valtakunnanruhtinaan arvon. Tämä kuitenkin johti Itävallan ja Preussin väliseen Baijerin perimyssotaan. Sodan päättäneessä Teschenin rauhassa toukokuussa 1779 Itävalta sai Baijerilta vain Innviertelin alueen ja Kaarle Teodorin perilliseksi sovittiin Wittelsbachien kolmannen sukuhaaran päämies, Zweibrücken-Birkenfeldin herttua Kaarle II August. Vuonna 1785 Kaarle Teodor yritti saada keisarin vaihtamaan Baijerin Itävallan Alankomaihin, jotta hän voisi julistaa itsensä Burgundin kuninkaaksi, mutta Preussin kuningas Fredrik Suuri esti tämänkin hankkeen kokoamalla niin sanotun ruhtinasliiton eli "fürstenbundin" Itävallan vastavoimaksi keisarikunnan sisälle.