慶応元年（1865年）、兵庫開港を決定した老中・阿部正外らが朝廷によって処罰されると、自ら将軍職の辞意を朝廷に上申している。
庆应元年（1865年）、朝廷处罚了作出兵库开港决定的老中阿部正外等人、家茂以辞去将军职位作为要挟。