元治元年(1864年)5月に大坂町奉行に推薦されたが着任せず退隠し、同年8月に閑職の西ノ丸留守居となる。