也有意回任高须藩主（长子义端早逝后，由最小的弟弟的义勇继承高须藩主）。最终，他于文久3年（1863年）9月13日隐居，藩主让给改名为义宜的养子徳成。隐居后自号玄同（げんどう）。庆应2年（1866年）12月27日，在兄长庆胜和弟弟松平容保（会津藩主／京都守护职）的斡旋下，接替来自一桥家而继承德川宗家（就任第15代将军）的德川庆喜而继承了一桥家当主，并改名为茂荣（もちはる）（当初是预定由清水家继承，后来幕府接受庆胜请愿，才确认由茂荣继承一桥家）。明治维新之际，担任德川一族的总代表与明治新政府交涉。庆应4年（1