超过十万名清兵当俘虏，日夜赶工一年建好苏州忠王府，当年8月，拙政园及其周围的潘姓、汪姓等宅邸逐步改建为其办公及居住场所，是为忠王府。忠王府当时共分为官署、左右宅第和花园部分，现拙政园中部和西部为当时忠王府的花园部分。同治二年十一月（1863年12月），李鸿章的淮军攻克苏州，其时对忠王府的改造还未彻底完成。此后在给原住在主人支付了归公费用后，忠王府被改为江苏巡抚衙门，并按照清代礼制重建了忠王府的大门，并且拆除了东西辕门、角楼和鼓吹亭，所有带龙的彩绘被全部涂抹。同治五年（1866年），江苏巡抚衙门迁至新址。同治