Kaarlen isä oli Toscanan suurherttua, vuodesta 1790 pyhä saksalais-roomalainen keisari Leopold II. Kaarle varttui Italiassa. Hän osallistui vuonna 1792 alkaneisiin Ranskan vallankumoussotiin ja menestyi 1793 Aldenhovenin ja Neerwindenin taisteluissa, minkä jälkeen hänet nimitettiin Itävallan Alankomaiden kenraalikuvernööriksi. Vuonna 1796 hänestä tuli Itävallan Reinin-armeijan ylipäällikkö ja Pyhän saksalais-roomalaisen keisarikunnan kenraalisotamarsalkka. Samana vuonna hän löi useasti kenraali Jourdanin ja Moreaun komentamat ranskalaiset joukot ja pakotti ne perääntymään Reinin länsipuolelle. Toisen liittokunnan sodassa (1798–1802) Kaarle oli jälleen Reinin armeijan johdossa ja päihitti jälleen Jourdanin sekä Massénan joukot. Hän joutui jättämään tehtävänsä huonon terveyden vuoksi vuonna 1800, mutta hänet kutsuttiin takaisin Itävallan kärsittyä tappion Hohenlindenin taistelussa. Ranskalaisten voiton jälkeen Kaarle ei kyennyt kuitenkaan pysäyttämään Moreaun etenemistä Wieniin.