上政宗另行拥立赤松晴政的嫡男义祐，迫使岳父晴政自遭流放，幸赖政秀收留保护。永禄9年（1566年），兴兵讨伐政宗等，为再兴赤松氏尽力。与主家的义祐关系不佳。在庇护的晴政病死后，暂时与义祐达成和睦，但在不久后恢复对立，并成为独立势力，与室町幕府第15代将军足利义昭和织田信长同盟，和义祐形同水火。另外，与的同盟者亦有激烈对立，与东播磨的实力者别所安治联手，与小寺政职和其家臣黑田职隆战斗，亦与从西面侵攻的浦上政宗的弟弟宗景（与政宗对立）战斗。不过受小寺氏的家臣黑田孝高奇袭而大败，许多有力家臣战死（青山土器山之战