しかし、天文24年（1555年）、島津義弘、喜入季久らの猛攻撃を受け、さすがの良重も支えきれず、祁答院へと退去する至った。
天文24年（1555年），受岛津义弘、喜入季久等猛攻，于是向祁答院撤退。