Die alte Burg bzw. das alte Schloss lag an der Spitze des geschilderten Dreiecks. Die älteste Bebauung wird im Bereich des heutigen Pfarrhofes und der Stadtpfarrkirche vermutet; der heutige Kirchturm ist früher wahrscheinlich der Bergfried der Burg gewesen. Im Laufe der Zeit wurden weitere Teile östlich des Burggrabens in die Befestigung einbezogen. Hier wurde dann ein neuer Halsgraben errichtet und mit Mauern abgesichert; der frühere Burggraben wurde so zu einem Abschnittsgraben. Die Anfang des 14. Jahrhunderts begonnene Burg- und Stadtbefestigung wurde im 15. Jahrhundert vollendet. Bereits der Hussiteneinfall von 1418 soll an den Mauern der Stadt gescheitert sein. Herzog Johann der Neunburger soll die Befestigungsanlagen verstärkt haben. Die Befestigung besteht aus einer Ringmauer mit einem vorgelegten Zwinger und Mauertürmen. An der Südseite lag davor ein breiter Weihergraben, ebenso vor dem östlichen Halsgraben.