在天正18年（1590年）被移封至关东地方，于是离开代代领有信浓国木曾地方，改为领有下总国阿知户1万石（网户，现今的旭市）。文禄4年（1595年），因为父亲义昌死去而继承家督。有许多乱暴行为，因为杀害叔父上松义丰（上松藏人）而被改易。此后，前往母亲真龙院（真理姬）之下隐居（不过关于失去阿知户后的事绩，史料并无明确记载。而被改易之际，有流放到下总国或只是追放的説法）。一说指在宽永16年（1639年）于伊予国松山死去，不过没有确証。而弟弟义一（义通）亦与母亲真龙院一同在中隐居，没有史料记载此后或子孙的事。