ભાનગઢનાં કિલ્લાને લઇને ફેલાયેલ ચર્ચાની વાત કરીએ તો આ વિસ્તારમાં સિંધીયા નામનો એક તાંત્રિક રહેતો હતો. તે ભાનગઢની રાજકુમારી રત્નાવતીને એક તરફી પ્રેમ કરવા લાગ્યો હતો. આ રાજકુમારીની સુંદરતાને જોઇ તાંત્રિક તેને મનથી પ્રેમ કરવા લાગ્યો હતો. તાંત્રિકે રાજકુમારી રત્નાવતીને મેળવવા માટે એક ષડયંત્ર રચ્યુ, જેમાં તેણે રાજકુમારીની એક દાશીને બજારમાં સુગંધથી ભરેલુ તેલ લેતા જોયા બાદ, સિંધીયાએ આ તેલ પર ટોંટકો કરી દીધો, જેથી રાજકુમારી તેને લગાવ્યા બાદ તાંત્રિક તરફ ખેંચી ચાલી આવે. પરંતુ આ શિશિથી ભેરેલુ તેલ રાજકુમારીનાં હાથમાંથી પડી ગયુ અને બધુ તેલ એક મોટા ખડક પર પડી ગયુ. તેલ ખડક પર પડતા ખડકને જ તાંત્રિકથી પ્રેમ થઇ ગયો અને તે તાંત્રિકની તરફ નમવા લાગ્યુ. આ ખડકની નીચે દબાઇને મરતા પહેલા તાંત્રિકે શ્રાપ આપ્યો કે, મંદિરોને છોડી સમગ્ર કિલ્લો જમીનદોશ થઇ જશે અને રાજકુમારી સહિત ભાનગઢનાં નિવાસી મરી જશે.