足利义辉的仲裁，希望与毛利氏达成和睦。同年，为了自身复权，成功流放赤松晴政并令其子义祐继承家督。不过被追放的晴政亦投靠女婿兼城主赤松政秀，于是令龙野赤松氏成为独立势力，产生新的敌人。永禄6年（1563年），与对立超过10年的宗景达成和睦，并与播磨的黑田职隆结亲，以图再起。永禄7年（1564年）1月，在室山城中，职隆的女儿和儿子清宗（小次郎、或与四郎）举行婚礼期间，婚礼当晚受赤松政秀奇袭，父子一同战死。法名实严祐真禅定门。