しかし、江戸幕府による安政の大獄が起こると伝馬町の獄に捕えられ、翌安政6年(1859年)に遠島刑となるが、配所前の万延元年(1860年)に獄死した。