आज से 500 साल पहले कुलधरा Kuldhara और आस पास के गाँवों में पालीवाल ब्राह्मण बसा करते थे जो बहुत ही मेहनती थे उनका रेतीली जमीन पर खेती करने का तरीका सिख लिया था लेकिन वहा के शाषक उनके द्वारा दिए जाने वाले टैक्स पर पूर्णतया निर्भर थे | कुछ लोगो का माना है कि जैसलमेर के दीवान सलीम सिंह को गाँव के मुखिया की बेटी पसंद आगई तो उसे पाने के लिए उसने लोगो से फ़िज़ूल टैक्स लेना चालू कर दिया कि यदि वो लडकी की शादी उससे नहीं करवाएंगे तो उन्हें दुगना टैक्स देना होगा |