しかし、娘の亀寿と忠恒の不仲などから関係は次第に悪化したと言われる。忠恒・亀寿夫妻の間には1人も子が無かったことから外孫の島津久信を忠恒の次の後継者に据えようとしたが失敗したとされる。また、義弘・忠恒親子が積極的に推進した琉球出兵にも反対していたとされる。慶長15年頃には「龍伯様（義久）、惟新様（義弘）、中納言様（忠恒）が疎遠になられ、召し使う侍も三方に別れ、世上に不穏な噂が流れて」いたという。