På grunn av tiltagende dårlig hørsel og skrivekrampe søkte og fikk han 25. februar 1860 avskjed i nåde fra sitt embete som fogd, og flyttet til fødebyen Skien, der han kjøpte eiendommen Lille Follestad av sin fetter Julius Plesner. Han hadde en relativt stor formue og forekommer i oversikter over Skiens mest velstående i bl.a. 1869 og 1872. Han bodde der frem til sin død, 33 år senere. Lille Follestad ble også kalt Fogdegården etter ham. Lille Follestad lå sentralt i Skien rett overfor Klosterøya, med rundt hundre meter strandlinje; eiendommen hadde blitt avertert til salg i 1859 og da blitt beskrevet som «det for sin skjønne Beliggenhed bekjendte smukke Landsted 'Lille Follestad' tæt ved Byen» med «herskabelig Bolig» med ni rom, bryggerhus, to kjellere, stall, fjøs, 6 mål blomster- og frukthage, et mindre toroms hus ved sjøen m.m.