Разозлённый Рустем-паша жаждал казни Ташлыджалы и всячески пытался устроить её, однако султан оказался против. Султан лишил поэта всех привилегий, полученных ранее, однако, поскольку Яхья являлся представителем класса (класс имперских управленцев), за ним сохранилось право на получение некоторого дохода. Во избежание дальнейших преследований, Ташлыджалы был выслан на Балканы, где он продолжил писать сатирические стихи о Рустеме-паше даже после его смерти. Согласно некоторым источникам, Яхья был выслан в поместье близ Зворника, где получал 27—30 тысяч акче годового дохода. По другой версии, поэт оказался в Темешваре, который являлся центром одноимённой провинции. Яхья продолжал участвовать в военных кампаниях и после ссылки. Так, уже будучи в возрасте, Ташлыджалы участвовал в осаде Сигетвара в 1566 году. Во время этой осады он написал касыду и подарил её султану Сулейману. После похода Яхья обратился к исламскому мистицизму.