เมื่อเสด็จทิวงคตรัชกาลที่หนึ่งก็มิได้ตั้งตำแหน่งนี้อีกจึงหมดสภาพความเป็นวังตั้งแต่นั้นเป็นต้นมาในสมัยรัชกาลที่ห้าพื้นที่บริเวณนี้จึงได้ใช้เป็นโรงเรียน