887年参加了大同团结运动。1889年担任灵山神社的宫司，在此期间将祖传的大东流合气柔术传给了武田惣角。1899年辞职返回乡里，1903年死去。葬于会津的善龙寺。着有《栖云记》。西乡赖母以其大多数家族成员为江户幕府殉难而被当作悲剧人物介绍。此外，讲道馆四天王之一的西乡四郎是他的养子。