得到细川殿御前（细川政元）欢心，以其威势轻视国内武士」（）（『土佐军记』））。在永正4年（1507年）因为政元被暗杀而失去后盾，更被家臣团放弃而受到孤立。于是看准这个机会的本山氏、山田氏、大平氏、吉良氏等诸豪族在翌年（1508年）结成同盟，共同向长宗我部氏的居城冈丰城进军。兼序虽然在初战中获得胜利，但是因为势孤力弱而令到冈丰城被包围，于是补给路被切断，己方亦渐渐出现背叛者。在通説中，兼序在冈丰城内自杀，兼序的遗儿千雄丸（后来的长宗我部国亲）成功逃脱并投靠一条房家。不过近年的说法是兼序没有自杀并逃命，