Når Kleven ble bebygd er uvisst, men det var bosetninger der på 1630-tallet. Området besto på 1700-tallet av et stort antall småhus, som var bygget tett sammen. Skattelistene viser at de som bodde der var i stor grad arbeidsfolk, håndverkere og sjømenn. På 1850-tallet lå byens postkontor i Olavskleivå og noe senere Jernbanehotellet.