I middelalderen var Kopervik en liten by med en god havn. Ytterst mellom de to vågene, Vågen og Stangelandsvågen, som byen er bygget rundt, er Kopervik havn. På høyden ovenfor havna finner man Koperviks gamle bydel, hvor det også sies at Kong Sverre fikk bygget en borg av tre og torv. Nettopp derfor kalles denne delen av sentrum idag Treborg. Byen fikk en stor vekst på 1500- og 1600-tallet da det var flere gjestgivere og vertshus her. Sentral var gjestgiveren David Davidsen. Etterhvert ble også den første Kopervik kirke (1861) reist.