しかし香美郡の山田氏と抗争し続けたうえ、守護の細川政元の後ろ盾をいいことに次第に傲慢な態度が目立つようになり、土佐の豪族から反発を買うようになった.
守護の細川