Etter at Moss tok over en stor del av handelen fra Son stoppet veksten opp, men forholdene var nokså stabile frem til midten av 1800-tallet. Hollendertiden hadde vært på hell siden århundreskiftet, og tømmereventyret var til slutt over. Son klarte seg likevel rimelig godt, ikke minst på grunn av flere dyktige handelsmenn som flyttet dit.