胜入封会津因而成为了上杉家的客将，并参加了庆长出羽合战。在上杉氏会津的领地被没收后，义孝留在了会津并继续成为、加藤嘉明之后的歴代会津藩客将。宽永20年（1643年）3月的会津骚动导致加藤氏被改易之际，隠栖在故乡度过余生。庆安元年（1648年），又受到了冈崎藩主的招聘。义孝以本人年老自身无法仕官的原因辞退，由其两个儿子代为出仕。忠善给予嫡男义张700石，二男义正300石登庸，义孝又将养老的钱扶持给予了二百人。