神城；还在永禄10年（1567年）、和当时正在流浪的足利义昭私下接触。另一方面，东播磨的有力领主别所安治也开始不受控制。在义祐统治下的赤松氏，已经逐渐失去驾驭周遭领主的力量了。
赤松政秀的对立.永禄11年（1568年）9月、在织田信长的协助下，足利义昭就任征夷大将军、成为室町幕府第15代将军，赤松政秀也将自己的女儿送到将军家当侍女服侍义昭。政秀这种无视于本家、擅自和将军家加深交情的行为触怒了义祐，于是命令御着城主小寺政职前往京都绑架政秀的女儿，并以「无道之仁」的理由弹劾政秀；且催促