出水隐居。此后，迎岛津义久的长女于平为正室，以求和解，并在以后臣从（一说指，在实久与忠良父子战斗，一直至实久死去，在义虎一代才开始臣从）。另一方面，虽然向继承岛津宗家的伊作家臣从，不过经常独自作出行动。永禄6年（1563年），上洛并拜谒第13代将军足利义辉（义晴的儿子），得到一字拜领并改名为义俊，后来再改名为义虎。另外，因为东乡的领主东乡重治（大和守）偷走义虎的家臣汤田兵库成重秘藏的饲犬，双方从天文16年（1547年）开始，持续约20年的争斗，不断展开合战。更在永禄8年（1565年）3月，命令叔父忠兼攻