Etter en måneds ferie i Sverige, Danmark og Tyskland sammen med sine to søstre, bosatte de seg i Arendal på Langbryggen i ett av Thor Thommesens hus. De bodde etter dette en periode i huset til bestemor til Alice, også på Langbryggen, så til hjørnet av Kirkegaten og Havnegaten. I 1866 kjøpte Smith landstedet Frednes ved Longumvannet, og brukte dette som sommerbolig. I bybrannen i 1868 mistet de sitt hjem i Arendal by, og flyttet midlertidig til Frednes. Der døde Alice i sin ellevte barnefødsel, kun 36 år gammel, 19. juni 1869. Han kjøpte 11. desember 1871 en tomt i Tollbodgaten for 6 600 kr, hvor han fikk reist en murbygning som han brukte som bolig. Bygningen kom på 57 000 kr. Der bodde han til sin død, hvoretter den ble solgt 30. mars 1906 for 42 000.