Zuoberst auf der felsigen Grat des Schlossbergs steht die Ruine Stein, der Überrest einer mittelalterlichen Höhenburg. Sie entstand um das Jahr 1000, wahrscheinlich auf Befehl der Grafen von Nellenburg, den damaligen Herrschern des Zürichgaus. Danach war sie im Besitz der Lenzburger, der Kyburger und der Habsburger. Letztere nutzten die Burg als zentrales Archiv und Verwaltungssitz der österreichischen Vorlande. Kurz nach der Eroberung des Aargaus durch die Eidgenossen wurde sie im Mai 1415 geschleift; erhalten blieb nur die angrenzende St.-Nikolaus-Kapelle. Unterstützt durch die katholischen Orte der Eidgenossenschaft baute die Stadt Baden die Burg nach dem Ersten Villmergerkrieg von 1656 als Festung wieder auf. Sie war bereits bei ihrer Fertigstellung um 1670 technisch veraltet und wurde 1712 nach dem Zweiten Villmergerkrieg von den reformierten Orten ebenfalls geschleift. Ein Teil der Stadtmauer ist erhalten geblieben und führt hinunter zum Stadtturm.