Od roku 1396 je doložena existence pevnosti na Zámeckém vrchu, která byla pravděpodobně založena bratry Linhartem a Tůmou z Kamenné Hory. Mezi roky 1502 a 1555 byla pevnost sídlem rodu Bärenklau z Schönreuthu, který ji roku 1548 přestavěl. Následně proběhlo mnoho změn vlastníků a vesnice patřila mezi jinými Kelnerovi z Bezvěrova, Theinerovi z Thein nebo Zedtwitzovi z Liebensteinu. Od roku 1617 vlastnil statky Nikolaus Ratschin z Ratschina. Po bitvě na Bílé hoře mu byl roku 1623 majetek zkonfiskován a panství Bezvěrov s vesnicemi Krašov, Těšetín, Kamenná Hora, Vojtěšín, Račín a Tysová byly prodány Vilémovi z Vřesovic. Ten postoupil vlastnictví roku 1626 Juliu Jindřichovi Sasko-Lauenburskému na Toužimi, který Bezvěrov připojili k panství Brložec. Roku 1837 zdědil statky Bezvěrov Alfred Beaufort-Spontini.