甚盛，受到多数人支持」（）（『土佐物语』）。但是由于与香美郡的山田氏持续抗争，加上获得政元和一条氏为后盾，于是态度渐渐变得傲慢，于是令土佐的豪族反感（此时被形容为「在年间得到细川殿御前（细川政元）欢心，以其威势轻视国内武士」（）（『土佐军记』））。在永正4年（1507年）因为政元被暗杀而失去后盾，更被家臣团放弃而受到孤立。于是看准这个机会的本山氏、山田氏、大平氏、吉良氏等诸豪族在翌年（1508年）结成同盟，共同向长宗我部氏的居城冈丰城进军。兼序虽然在初战中获得胜利，但是因为势孤力弱而令到冈丰城被包围，于