Både post- og tollkontoret ble nedlagt ut på 1860-tallet etter at varer ble stadig mer fraktet med skip og med jernbanen etter at den var bygget. Møller fikk tilbud om ny postmesterstilling et annet sted, men valgte å bli på gården og han var dessuten også aktiv i lokalpolitikken.