สมัยรัชกาลที่ห้าเป็นต้นพระตำหนักเหล่านี้หลายหลังได้ย้ายไปตั้งอยู่นอกพระบรมมหาราชวังเช่นพระตำหนักเขียวได้ถวายเป็นกุฏิเจ้าอาวาสวัดอมรินทราราม