年（1858年）4月，父亲庆胜所属的一桥派与身为大老井伊直弼所属的南纪派斗争，井伊直弼遂发起安政大狱，以「不时登城（未依规定时间擅自进入将军居城）」为由，处以德川庆胜隐居（退休）、谨慎（软禁在家）等处罚。德川庆胜只好将藩主之位让给五弟高须藩第十一代藩主松平义比，而义比接任藩主后改名德川茂德，并安排其子松平义端接任高须藩主，又将庆胜的儿子德川义宜为养子。尾张藩实权其实仍在庆胜手上。文久3年（1863年）9月13日，德川茂德隐居，让位给当时6岁的养子义宜为藩主。元治元年（1864年），义宜就任成为第十六代藩