Od wczesnego średniowiecza obszar zamieszkiwali Słowianie. Pierwotna nazwa brzmiała "Olesnica", po czym uległa zniemczeniu. Najstarsza wzmianka o osadzie pochodzi z 1200, a już w 1225 wzmiankowano kościół św. Jakuba. W latach 1232–1248 lokalni wójtowie wznieśli zamek, nazwany po nich później Voigtsberg. 22 września 1319 na zamku odbyło się spotkanie króla czeskiego Jana Luksemburskiego i piastowskiego księcia Henryka I jaworskiego, w którym zatwierdzono podział Górnych Łużyc między władców. Najstarszy dokument nazywający osadę miastem pochodzi z 1357. W tym samym roku miasto zostało utracone przez Królestwo Czech na rzecz Wettynów i włączone do Marchii Miśnieńskiej. Miasto ucierpiało w pożarach w 1519, 1720 i 1780. Podczas I wojny szmalkaldzkiej w 1546 stoczono tu bitwę, w której czeski dowódca Šebestián z Veitmile odniósł zwycięstwo nad Miśnieńczykami, pozbawiając ich miasta. W 1563 miasto znalazło się w granicach Elektoratu Saksonii. Zostało splądrowane i spalone w 1632 podczas wojny trzydziestoletniej, wielu mieszkańców zginęło. Od 1697 do 1763 w granicach unijnego państwa polsko-saskiego, w 1724 przy Górnej Bramie ("Obertor") stanął polsko-saski słup dystansowy króla Polski Augusta II Mocnego, zniszczony wskutek ostatniego wielkiego pożaru miasta w 1859. Spłonęło wtedy ponad 500 domów, a 70% mieszkańców pozostało bez dachu nad główą. Po pożarze miasto zostało odbudowane w stylu późnoklasycystycznym, a w 1871 znalazło się w granicach Niemiec. Po II wojnie światowej do 1990 w składzie NRD.