Moren Henriette og søsteren Laura flyttet sammen med Johan fra Bergen til marinebyen Horten. Her ble villaen Granlien (senere omdøpt til Gullkronen) oppført rundt 1860, bydelen Apenes neste eldste hus. Familien hadde flere tjenestefolk og noen sjøkadetter som losjerende. På sine eldre dager bodde Johan mye hos sin søster Laura i Moss.