文久3年(1863年)1月に帰国すると9月には直目付を辞職し、子の晋作に家督を譲っている。