Viseu était entourée de remparts. Une première muraille date de l'époque romaine (vers le ), elle entourait la colline où se trouve l'actuelle cathédrale. Des restes de cette muraille ainsi que d'une tour semi-circulaire ont été trouvés Rua Formosa en et peuvent désormais être vus à travers un sol vitré. Une seconde muraille a été élevée après la crise de 1383-1385, travaux terminés en 1472 tel qu'indiqué sur la "Porta do Soar". Les remparts ont été en grande partie démolie au sur ordre de la Câmara Municipal (décision de 1844). Les murailles et portes encore debout ont été classées Monument National par un décret du .