继任西乡家家督并担任会津藩的家老，俸禄1700石。1862年（文久2年），江户幕府邀请藩主松平容保担任京都守护职，西乡赖母认为政局动盪，劝松平容保不要答应，遭到松平容保的愤怒拒绝。禁门之变发生之后，西乡赖母前往京都，劝说松平容保回藩，结果被罢免了家老一职蛰居。1868年（明治元年），戊辰战争爆发，松平容保恢复了他家老一职。在会津战争中，最初他主张对新政府持恭顺态度，但得知长州藩、萨摩藩提出斩容保亲子前来投降的要求后转为强硬态度。西乡赖母据守白河城抗击新政府军，但被由伊地知正治所率的萨摩兵击败，城池失陷（