为父亲雄亲死去而继任家督，仕于守护细川政元（兼序的别名元秀中的「元」字被认为是政元所赐的偏讳）。因为兼序是智勇兼备的武将而受到家臣团深厚的信任和期望，所以最初能很好的治理领地（此时被形容为「威势甚盛，受到多数人支持」（）（『土佐物语』）。但是由于与香美郡的山田氏持续抗争，加上获得政元和一条氏为后盾，于是态度渐渐变得傲慢，于是令土佐的豪族反感（此时被形容为「在年间得到细川殿御前（细川政元）欢心，以其威势轻视国内武士」（）（『土佐军记』））。在永正4年（1507年）因为政元被暗杀而失去后盾，更被家臣团放