Károly volt I. Lipót császár és Pfalz–Neuburgi Eleonóra Magdolna második felnőttkort megélt fia, aki fivérét, I. József császárt követte a trónon annak fiúutód nélkül bekövetkezett 1711-es halála után. Rokona, II. Károly spanyol király halálát követően kialakult örökösödési háború során sikertelenül követelte a Spanyol Birodalom trónját. 1708-ban vette feleségül Braunschweig–Wolfenbütteli Erzsébet Krisztinát, akitől négy gyermeke született, amelyek közül csak két leány élte meg a felnőttkort. 1723-ban, szembesülve esetleges fiúutód nélküli halálával, elfogadtatta a "Pragmatica sanctio"t, biztosítva ezzel leánya, Mária Terézia uralkodását. 1740-es halálát követően azonban kirobbant az osztrák örökösödési háború, amely nyolc évig sújtotta leánya, Mária Terézia uralkodását. Károly volt a Habsburg-ház utolsó egyenesági férfi leszármazottja.