与的同盟者亦有激烈对立，与东播磨的实力者别所安治联手，与小寺政职和其家臣黑田职隆战斗，亦与从西面侵攻的浦上政宗的弟弟宗景（与政宗对立）战斗。不过受小寺氏的家臣黑田孝高奇袭而大败，许多有力家臣战死（青山土器山之战）。失去军事抵抗力后，被迫在永禄12年（1569年）11月向宗景降伏，因此失去西播磨的霸权。在元龟元年（1570年）11月12日被毒杀。被认为是由浦上宗景策划。