Fra 1860-årene begynte byen for alvor å vokse ut over sine grenser. Denne byveksten fortsatte med økende hastighet fram til Arendalskrakket i 1886. På slutten av 1800-tallet kunne man konstatere at byen omfattet hele området omkring Byfjorden, fra Sperrevik og Kolbjørnsvik til Strømmen og videre til Songe eller Krøgenes. Skilsø på Tromøy hadde fått en urban utvikling omkring Pusnes mekaniske verksted. Byen hadde dermed sin bebyggelse fordelt på fire eller fem kommuner.