खाबा किला वास्तव में पालीवाल ब्राह्मणो का तबाह किया हुआ एक गांव है, जिसे वे ब्राह्मण 250 साल पहले किसी अज्ञात वजह से छोड़ गए थे | कुछ कहानियो के मुताबिक किसी बाहरी ताकत ने उन्हें गांव छोड़ने पर मजबूर किया था | और वे किसी और जगह जाकर रहने लगे, जिसके बारे में अभी किसी को कुछ नहीं पता है | कुछ कहानियो के मुताबिक वहां के राजा को ब्राह्मण की एक सुन्दर युवती पसंद आ गई थी | राजा उस लड़की से शादी करना चाहता था | लेकिन उस लड़की का परिवार इस बात से राजी नहीं था | और उन ब्राह्मणो को रातो रात वो गांव छोड़ना पड़ा | और कहा जाता है की वो ब्राह्मण राजस्थान के पाली जिले में जाकर बस गए | तब से खाबा किले के वहां कोई नहीं रहता है, तथा वह जगह पूरी तरह से तबाह कर दी गयी थी | खाबा किला अपने पीछे एक रहस्यमई कहानी छोड़ गया जिसका इतिहास में बहुत महत्व है |