当時は阿蘇よりも矢部の方が生産性が高く地の利が良かったようで、「岩尾城」「愛藤寺城、別名矢部城」など要害の地に立つ堅牢な山城を築城して勢力を誇った。