不断下降。在这段时期，受将军足利义晴下赐偏讳（「晴」字），改名为晴政。天文21年（1552年），在尼子晴久被任命为备前、美作守护职后，失去作为守护而对备前、美作2国的权限。而剩下的播磨的权势亦被政宗夺去，永禄元年（1558年），被迫与受政宗拥立的嫡子义祐对抗，并逃到女婿赤松政秀的居城龙野城。在政秀的庇护下，与义祐、政宗争斗，不过在永禄8年（1565年）1月16日死去。墓所在兵库县姬路市的松安寺迹。