義続・義綱の時代になると専横に振る舞うようになり、畠山七人衆の筆頭となった頃には、遊佐氏の当主・遊佐続光を蹴落とし、権力を欲しいままにした。
但是在义续、义纲时代变成専横的家臣，成为“畠山七人众”的笔头期间把游佐氏当主游佐续光排除，之后一直握有实权。