Bebyggelsen lå opprinnelig i Harstadgårdene på toppen av bakken med sorenskrivergården og klokkergården. Jakob Tønder var første sorenskriver. Jens Pedersen Hind tok i bruk Harstad nordre som embetsgård for sorenskriveren. Hind var bestefar til Hans Egede som vokste opp på stedet. Wilhelm Kaarbø kjøpte Øvre Harstad i 1841. I 1876 var det noen få hus i Harstadhamn, i årene etter vokste det rundt dampskipskaia frem en liten tettbebyggelse blant i regi av Rikard Kaarbø. Kaarbø anla for egen regning dampskipskai på Klubbskjæret i 1888 og utvidete i 1894 for å ta i mot Hurtigruten. I 1895 ble Harstad beskrevet som en liten by med tre gode hoteller og flere restauranter og ølhaller, flere handeslmenn og en sparebank. Etter at Harstad hadde fått preg av by var det fortsatt noen husmannsplasser i drift midt i bebyggelsen inntil innmarken ble bebygget.