入麾下，被忠直拒绝，并联手芋川亲正等人一同反抗。本能寺之变后森长可败退，上杉家趁机吞并北信浓领地。忠直借此机会回到了长沼城。之后把家督之位让与嫡男义忠。庆长3年（1598年）随上杉家移封会津之际，离开了信浓，被赋予陆奥长沼城。同年嫡男义忠死去，迎接岩井信能的次男・利忠为义忠的女婿继承家督。庆长9年（1604年）8月1日去世。戒名忠广院殿嶋全翁大居士。