山城之战期间，撤去播磨的驻军后，天文11年（1542年），得到幕府的协助，与晴政一同返回播磨。天文13年（1544年），成功回复播磨、备前两国的领地。在这段过程中，一直担任赤松家臣团的总指挥，因此在以后就成为晴政的第一宿老，与晴政的奉行人连署，发出传达赤松氏命令的奉书等。另外，独自与备前西部的、税所氏等建立亲戚关系，以的室山城为据点，加强在备前、播磨的势力，渐渐脱离赤松家臣的身份。
与弟弟对立.天文20年（1551年），尼子晴久再次侵攻备前，因对晴久持和善立场，而与弟弟宗景产生嫌隙