。1870年改名保科赖母。1872年获得赦免，在伊豆开设私塾。此后担任九州岛都都古别神社宫司的职务，但在西南战争期间由于曾经与西乡隆盛关系密切而被免职。1887年参加了大同团结运动。1889年担任灵山神社的宫司，在此期间将祖传的大东流合气柔术传给了武田惣角。1899年辞职返回乡里，1903年死去。葬于会津的善龙寺。着有《栖云记》。西乡赖母以其大多数家族成员为江户幕府殉难而被当作悲剧人物介绍。此外，讲道馆四天王之一的西乡四郎是他的养子。