守护职后，失去作为守护而对备前、美作2国的权限。而剩下的播磨的权势亦被政宗夺去，永禄元年（1558年），被迫与受政宗拥立的嫡子义祐对抗，并逃到女婿赤松政秀的居城龙野城。在政秀的庇护下，与义祐、政宗争斗，不过在永禄8年（1565年）1月16日死去。墓所在兵库县姬路市的松安寺迹。