Han fikk avskjed i 1856 og døde i 1860 på Semb hovedgård i Borre som han hadde kjøpt noen år før. Før hans bortgang ble det i 1859 sjøsatt et skip fra Karljohansvern i Horten som het «Statsraad Erichsen». Kona levde videre og ble kalt "Tante Rikke" frem til hennes død i 1883, ifølge Borre Golfklubb der de har "Statsraaden" som navn på hull 16 på Borre Golfbane.