安政3年(1856年)、大坂城加番を命じられる。