氏有深厚关系的名族井上氏和水内郡的高梨氏斗争，而在东信浓亦与以关东管领上杉家为后盾的小县郡海野氏纠缠，在消灭信浓守护代‧佐久郡的大井氏后，持续与甲斐的武田氏抗争，虽然义清的佐久郡被武田氏夺去，但是在与武田信虎和诹访赖重联军的海野平之战中，击退海野栋纲和真田幸隆等，成功完全掌握小县郡。在大永元年（1521年）10月昇叙从四位下并转任左卫门佐。在大永7年（1527年）1月转任左近卫少将。在天文5年（1536年）1月昇叙正四位上。之后受到武田晴信（武田信玄）攻击。天文17年（1548年），在上田原之战中击退侵