渋沢市郎右衛門
しかし文久3年(1863年)栄一らが挙兵計画を企てて江戸に出ようとした際にも制止したが容れられず、後に計画が不発して上方へ出奔することになった際には勘当を申し入れられたが、これを退けて逆に資金100両を渡している。しかし明治元年(1868年)、栄一の仕えていた徳川慶喜が朝敵となったため、藩命を受けてやむを得ず栄一を除籍している。
晩年となる明治維新後、「右衛門」の官途名乗り禁制により市郎と改名した。実兄宗助とともに古河市兵衛に通じて、当時過熱していた横浜での蚕卵紙輸出を早くから図っている。この事は後に栄一が蚕卵紙暴落問題を解決する助けとなった。明治4年(1872年)11月に病気となり、その月のうちに死去した。享年64。最後まで栄一に家督を継がせることを望んだといわれるが、その死後は栄一によって娘貞子の婿に、須永惣次郎に嫁いだ妹の子の才三郎が迎えられ、市郎を襲名し家督を継いでいる。栄一の晩年、市郎右衛門の語録として『晩香遺薫』(ばんこういくん)が出版されている。
栄一が15歳のころ、江戸に出た栄一が華美な硯を買ってくると、常々言いつけている質素倹約を破るとは言語道断であると烈火のごとく怒り、親族らの宥める声にも耳を貸そうとしなかった。後年栄一は市郎右衛門がこれほどまでに自らを譴責することはなかったと回想し、奢侈がいずれ身を滅ぼすことを知っていたのだと語っている。
維新後、新政府より取り立てられた栄一の栄達を喜び、栄一を「殿」、栄一の妻・千代(市郎右衛門にとっては姪でもある)を「奥様」と呼ぶようになった。千代は堪らず謙遜したが、市郎右衛門は「栄一自身の才覚で栄達したのであり、その廷臣に対して軽々しく名を呼ぶことはできない」とその呼称を改めなかったという。