Město vzniklo pod hradem Vildštejn (Wildstein), který vznikl na přelomu 12. a 13. století. První zmínka o hradu je z roku 1166. Prvními majiteli hradu byl rod Nothaftů, další majitelé: Wirspergové, Trautenbergové. V šestnáctém století se zde rozšiřuje řemeslná výroba. Zvláštní rozvoj zaznamenala ruční výroba papíru, výroba kamenin a hrnčířství. Později byla otevřena naleziště keramických jílů a průmysl těžby surových jílů přetrval dodnes. V roce 1850 se stal Wildstein sídlem okresního soudu. Roku 1865 byl Wildstein povýšen na městys. V této době zde žilo 2 300 obyvatel. K povýšení na město došlo díky stálému rozvoji 5. prosince 1905 Františkem Josefem I. Rozvoj pokračoval až do druhé světové války, po jejímž konci byla vysídlena drtivá většina skalenských občanů. Na plenární schůzi MNV ve Vildštejně dne 6. června 1950 schválena změna názvu z Vildštejna na Skalnou. Nastává úpadek, který končí až revolucí v roce 1989. Od té doby město opět vzkvétá.