30 Mayıs 1876 Darbesi ile tahttan indirilen Abdülaziz 4 gün Topkapı Sarayı'nda kaldıktan sonra, kaldığı yerden hoşnut kalmadığı için Feriye Sarayına nakledildi. Ancak Feriye Sarayına yerleştikten kısa bir süre sonra kendi yaptırmış olduğu bu sarayda 4 Haziran 1876 günü bilekleri kesilmiş olarak ölü bulundu. 3 Mart 1924 tarihinde halifeliğin kaldırılmasına kadar Osmanlı hanedanının çeşitli üyeleri bu saraylarda yaşadı. Hanedan üyelerinin yurt dışı edilmeleri üzerine bir süre boş kalan sarayların eğitim kurumları tarafında kullanılmasına karar verildi. 1927 yılında binaların bir bölümüne Yüksek Denizcilik Okulu yerleşti. Kabataş Erkek Lisesi de 1928-1929 öğretim yılında Feriye Saraylarının diğer bir bölümüne taşındı. 1967 yılında Galatasaray Lisesi'ne kız öğrenci alınınca Feriye Saraylarının bir kısmı lisenin kız bölümü olarak kullanıldı. Binaların Ortaköy Camii'nin yakınındaki diğer bir bölümü ise bakımsızlıktan uzun yıllar boş kaldı.