1866年(慶応2年)正月14日には従五位下・安芸守に叙任されて諸大夫となり、勘定奉行小栗忠順らと親交を結んだ。