禄4年（1531年），在拥立与细川晴元对立的管领细川高国的村宗侵攻摄津国时，以村宗的后阵参战，不过秘密向足利义维送出人质并约定倒戈。6月4日，在布阵，并成为晴元方的内应，攻撃高国、村宗军的背后。受到两面挟击的高国、村宗军溃败，村宗战死，高国亦被迫自杀（大物崩）。由此回复一定程度的实权，不过在此后，继续与村宗的儿子政宗和宗景对立。天文7年（1538年），开始受出云国的尼子诠久（后来的晴久）侵攻，在西播磨的被攻夺后，领国陷入混乱，一时间逃到投靠。不久后，因为别所氏亦与尼子氏连结，于是逃亡至堺。天文9年（