父、第12代藩主德川齐彊去世，以养子身份继任家督，成为纪州藩第13代藩主。安政5年（1858年），在与一桥派的后继之争中取胜，于第13代将军德川家定死后继任为第14代将军。当时只有13岁的家茂以第11代将军德川家齐孙子的身份压倒德川庆喜继任将军。直到文久2年（1862年）一直受到田安庆赖、一桥庆喜等人的监视和制约。文久2年（1862年），作为公武合体政策的一环与和宫结婚。虽然是政略结婚，但对和宫非常殷切，频频送礼，两人关系相当良好。被认为是德川家历代将军中与正室关系最为和谐的。文久3年（1863