Wegen der gescheiterten Belagerung von Belgrad 1456 gegen Johann Hunyadi wurden Zaganos als Großwesir abgesetzt, seine Tochter aus dem Harem ausgewiesen und beide nach Balikesir verbannt; Zaganos war unter anderem mit der Tochter des Sultan Murad II. und Anna, der Enkelin des Despoten Demetrios I. Kantakuzenos verheiratet. In Balikesir stiftete er die noch heute bestehende Zaganos-Pascha-Moschee, einen Hamam und weitere Bauten.