先是室町时代的三河国的仁木氏，松平家（德川家）势力扩大后臣服于松平家。江户幕府建立之后，西乡家历代当主担任会津藩家老达200年之久，传至西乡赖母已是第九代。西乡赖母于1860年（万延元年）继任西乡家家督并担任会津藩的家老，俸禄1700石。1862年（文久2年），江户幕府邀请藩主松平容保担任京都守护职，西乡赖母认为政局动盪，劝松平容保不要答应，遭到松平容保的愤怒拒绝。禁门之变发生之后，西乡赖母前往京都，劝说松平容保回藩，结果被罢免了家老一职蛰居。1868年（明治元年），戊辰战争爆发，松平容保恢复了他家