领国陷入混乱，一时间逃到投靠。不久后，因为别所氏亦与尼子氏连结，于是逃亡至堺。天文9年（1540年）至天文10年（1541年），尼子氏远征安艺国失败（吉田郡山城之战），尼子氏从播磨撤退。虽然解除领国的危机，赤松氏的权威亦不断下降。在这段时期，受将军足利义晴下赐偏讳（「晴」字），改名为晴政。天文21年（1552年），在尼子晴久被任命为备前、美作守护职后，失去作为守护而对备前、美作2国的权限。而剩下的播磨的权势亦被政宗夺去，永禄元年（1558年），被迫与受政宗拥立的嫡子义祐对抗，并逃到女婿赤松政秀的居城