咸丰五年（1855年）开始，当地长期发生瘟疫横行，令人口大量减少；光绪元年（1875年）左右，急水溪暴涨使得港道淤积；以上种种因素，使得盐水港街开始逐渐没落。然而在台湾日治时期初期，盐水港街在当地仍为要地，附近地区划为盐水港厅，但后来因铁路行经该厅底下太子宫堡的新营庄，使得新营的地位逐渐取代没落中的盐水，大正九年（1920年）盐水港街改制成「台南州新营郡盐水街」后，等于正式宣告盐水昔日的区域中心地位已被新营给取代。而随着城垣已失去防卫功能，再加上盐水港街的没落，盐水城也逐渐倾圮消失，仅留下西门段城墙的一部分