Bis um 1600 gab es hier ungefähr 30 Einwohner, und der Ort hieß damals Sanden. Um 1800 lebten bereits 100 Menschen dort. Im 19. Jahrhundert, während der Blütezeit der großen Segelschiffe, wuchs der Wohlstand und die Bevölkerung stieg auf 1500 Einwohner im Jahre 1890. Reiche Reeder ließen sich in dieser Zeit nieder, es gab zahlreiche Schiffswerften und bis zu 80 große Segler. Der Niedergang des Segelschiffbaus nach 1900 reduzierte auch die Einwohnerzahl Lillesands. Das deutsche Frachtschiff Rio de Janeiro, mit Soldaten und Vorräten für den unmittelbar bevorstehenden deutschen Überfalls auf Norwegen an Bord, wurde von einem alliierten U-Boot am 8. April 1940vor Lillesand versenkt. Rund 180 Männer wurden von den Bewohnern gerettet, rund 200 starben. Anfang der 1960er Jahre erfolgte ein neuer wirtschaftlicher Anstieg. 1962 erfolgte die Zusammenlegung der Gemeinden Lillesand, Vestre Moland und Høvåg.