Његов отац аустријски цар Леополд II је дозволио да Карло одраста код тетке Марије Кристине од Аустрије и њеног мужа Алберта од Сакса-Тешена. Тетка није имала властите деце. Младост је провео у Тоскани, Бечу и Аустријској Низоземској, где је и започео војну каријеру у рату против револуционарне Француске. Командовао је бригадом у бици код Жемапа, а током 1793. истакао се у бици код Алденховена и бици код Нервиндена. Тада је 1793. постао намесник у Белгији и добио је високи чин. Учествовао је и у бици код Флера. На Рајни је служио 1795, а 1796. поверена му је главна команда над аустријским снагама на Рајни. Његово вођење операција 1796. против француске војске под командом Жана Журдана и Жана Мороа показало је да је један од највећих генерала у Европи. Победио је Журдана у биткама код Амберга и Вирцбурга и протерао га преко Рајне. Затим се преусмерио на Мороову армију, коју је победио и истиснуо из Немачке.