Neset var bebygd allerede på 1700-tallet, og her lå Arendals Hospital og fattigkirkegård. På 1800-tallet ble det bebyggelsemønsteret som eksisterer per 2011 etablert.