ભાનગઢનાં કિલ્લા વિશે એવુ કહેવાય છે કે દુનિયાનાં ટોપ 100 હૉંન્ટેડ પ્લેસમાં આ જગ્યાનું નામ આવે છે. ભાનગઢ કિલ્લાને લઇને એક વાત વારંવાર સાંભળવામાં આવે છે કે અહી સુરજ ડુબ્યા પછી એટલે કે રાત્રીનાં સમયે જે વ્યક્તિ રોકાય છે તે ક્યારે પાછો આવતો નથી, એટલે કે તેને ભૂત મારી નાખે છે તેવું ત્યાના સ્થાનિકો દ્વારા કહેવામાં આવે છે. સાંજનાં 6 વાગ્યા બાદ અહી પ્રવેશ નિશેધ કરી દેવામાં આવે છે. કિલ્લાની બહાર પુરાતત્વ વિભાગનું એક બોર્ડ મારેલ છે, જેમાં સ્પષ્ટ લખ્યુ છે કે સુર્યાસ્ત બાદ અહી પ્રવેશ વર્જિત છે. કિલ્લાની અંદરની વાત કરીએ તો અહી ઘણી જગ્યા પર રાખની ઠગલી, પુજાનાં સામાન અને ત્રિશૂલ સિવાય લોખંડની મોટી કડીઓ છે. એક રિપોર્ટ મુજબ સાંજે 6 વાગ્યા બાદ આ કિલ્લામાંથી ભયંકર અવાજો સાંભળવામાં આવી છે અને ત્યાર બાદ આ કિલ્લો બની જાય છે ભૂતિયા મહેલ. એક સમયે રાજપુતોની શાન કહેવાતો આ કિલ્લો આજે ખંડેરની જેમ દેખાય છે.