II. Mahmud üzerinde etkisi olan Halet Efendi'yle geçinemedi ve 1821 Rum isyanı ile ilgili yapılan bir toplantıda fikir ayrılığından dolayı yaşanan sert tartışmadan sonra 28 Mart 1821'de azledilerek eşi Zîbâ Hatun ile birlikte Bursa'ya sürüldü. Bir süre sonra İstanbul ile haberleştiği gerekçesiyle Afyon’a gönderildi. Tek başına Bursa'da kalan eşi Ziba Hanım ise büyücülükle suçlanarak Halet Efendi tarafından öldürtüldü. Halil Efendi, bu olayı duyduktan sonra felç olup 2 veya 12 Ağustos 1821'de Afyonkarahisar'da öldü.