Det var kvartalene langs Otra og Øster- og Vesterhavna som ble bebygd først og i 1666, da Kristiansand ble garnisonsby, hadde den 230 hus med ca. 1 500 beboere. Fremdeles var området midt på sandmoen dekket av furuskog. Den ble hugd i 1685, men på begynnelsen av 1800-tallet var det ennå store, ubebygde løkker midt i Kvadratuen.