В 1796 году Карл-Людвиг-Иоганн возвращён в армию и назначен сперва командующим Нижнерейнской, а затем Верхнерейнской австрийскими армиями. Ему было присвоено звание генерал-фельдмаршала. Командование австрийскими армиями эрцгерцог Карл начал успешно: он одержал над французскими войсками ряд побед и оттеснил их за Рейн. Он предложил венскому правительству и гофкригсрату следующий план действий: заключить на Рейне перемирие с французами, а его армию оттуда перебросить на север Италии. Однако его план не был принят. После неудач австрийцев в Италии в том же году он получил начальство над остатками той армии, но поправить дело уже не мог, и кампания скоро закончилась Леобенским перемирием.