En af de norske officerer, der var med ved angrebet på Sverige, den senere oberst Nicolai Tidemand, har i efterladte "Optegnelser" kritiseret prinsens ledelse af dette lille felttog ligesom i det hele hans færd som praktisk officer meget skarpt. Men helt retfærdig er denne kritik dog næppe. Det var imidlertid fra nu af forbi med prinsens popularitet i Norge, og i Danmark, hvor ingen havde ønsket at komme i krig med Sverige igen, gav mange – for øvrigt uden grund – ham skyld for krigen. Ligesom han i selve regeringskredsene havde en ivrig modstander i kronprinsens svoger, hertug Frederik Christian II af Augustenborg, således var fremskridtspartiet her hjemme ham lidet gunstigt, blandt andet fordi han bekæmpede trykkefriheden. Skønt han vedblev at være statholder i Slesvig og Holsten samt kommanderende general over den norske hær, tabte hans indflydelse sig efterhånden. Under konflikten med England 1801 kommanderede han den styrke, der besatte Hamborg og Lübeck; men det var kun en militær promenade, der snart endte. Landgreven ville meget gerne spille en politisk rolle, men ofte endte det med en uheldig udgang. I 1806 indledte han uden kongens vidende hemmelige forhandlinger med englænderne, og den danske regering måtte fortælle den engelske gesandt, at prins Carl intet officielt mandat havde fra den danske konge.