De første bygningene i området, datert til 1100-tallet, lå i Højen, på vestsiden av halvøyen. Bygningen tilhørte Tronder, en gjeter som også ble Skagens første fisker. Omtrent 1340 var Vesterby, som ligger langs østkysten, og sørvest for dagens havneområde, blitt viktigste landsbyen i området. Lengre mot sørvest ble Den tilsandede Sct. Laurentii Kirke satt opp mot slutten av det 14. århundre. I 1413 fikk Skagen srettigheter av Erik av Pommern, og byen ble etter hvert Vendsyssels største, med en bebyggelse på mellom 1500 og 2000 innbyggere.