督署官员肆意贪渎、降低工程标准，中饱私囊的情况，在当时就为舆论谴责。南河总督及下属官员驻扎的清江浦，繁荣也达到鼎盛，上下十数里长街，各种店铺、酒楼、茶社、浴室鳞次栉比，上百家青楼妓院日夜歌舞，风气奢侈。咸丰五年（1855年，太平天国战争期间），黄河北徙。咸丰十年（1860年），前来夺取粮仓的捻军攻破清江浦，烧毁南河总督署和整个城市。次年，南河总督被裁撤。今天，南河总督署的花园——清晏园已被修复，位于淮安市清浦区人民南路。