Historisk en del av Dumfriesshire, inkluderer dens offentlige bygninger Annan Academy, hvor forfatteren Thomas Carlyle var elev, og en georgiansk bygning nå kjent som «Bridge House». Annan har også et historisk ressurssenter. I Port Street kan man se bygninger hvor vinduene er murt igjen for å slippe å betale vindusskatt, en spesiell form for eiendomsskatt. De fleste husene i sentrum er bygget av rød sandstein. Blant offentlige bygninger er rådhuset i viktoriansk stil fra 1878. Byen har et .