Som inrikesminister 1854 förlorade han äterstodenaf