Farven på husene er spesiell – skagengul – og karakteristisk er de hvite kantene på taksteinene. Dette er spesielt fremtredende i den gamle bydelen Gml. Skagen, eller Højen, som også har en av byens flotteste strender.