铺、酒楼、茶社、浴室鳞次栉比，上百家青楼妓院日夜歌舞，风气奢侈。咸丰五年（1855年，太平天国战争期间），黄河北徙。咸丰十年（1860年），前来夺取粮仓的捻军攻破清江浦，烧毁南河总督署和整个城市。次年，南河总督被裁撤。今天，南河总督署的花园——清晏园已被修复，位于淮安市清浦区人民南路。