Byen er bortsett fra turismen mest kjent for sin rike maritime historie. På 1700-tallet begynte man å bygge seilskip her, men det var på 1800-tallet at det virkelig tok av. Trelasthandelen var en svært viktig faktor, og det eksisterte flere rederier og mange verft i byen og omlandet. By- og Sjøfartsmuseet er en gammel skipsredergård, som på et tidspunkt tilhørte rederen Carl Knudsen. Mellom Lillesand og Flakksvann i Birkenes kommune ble det i 1895 bygget en privatdrevet, smalsporet jernbane, Lillesand–Flaksvandbanen med to damplokomotiver, tre passasjervogner og 34 godsvogner (se også Jernbane i Norge). Denne banen hadde fire bemannede stasjoner (sørfra og nord: Lillesand, Tveide, Birkeland og Flakksvann) og fraktet hovedsakelig tømmer, torvstrø fra Myhre torvstrøfabrikk på Tveide og annet gods. Banen gikk i de fleste år med underskudd, og ble til slutt nedlagt i 1953. Alle stasjonene bortsett fra Birkeland står ennå.