कहा जाता है कि गांव के एक पुजारी की बला की खूबसूरत बेटी पर रियासत के दीवान सालेम सिंह की बुरी नजर पड़ गई। जिद्दी सालेम सिंह ने उस लड़की से शादी करने के लिए गांव के लोगों को चंद दिनों की मोहलत दी, पर यह बात गांव के लोगों को अपने आत्मसम्मान पर चोट लगी। इसके खिलाफ पालीवाल ब्राह्मणों के 5000 से ज्यादा परिवारों ने रियासत छोड़ने का फैसला किया और रातों-रात इस पर अमल भी कर दिया।
इसके बाद कुलधरा कुछ यूं वीरान हुआ कि आज वहां परिंदा तक नहीं दिखाई देता। माना जाता है कि गांव छोड़ते समय ब्राह्मणों ने इस जगह को वीरान रहने का श्राप दे दिया था। आंकड़ों के अनुसार, सालिम सिंह ने दो जैसलमेर राजाओं मूलराज और गज सिंह के समय दीवान के तौर पर काम किया।
माना यह भी जाता है कि सालिम सिंह ने पालीवाल ब्राह्मणों के करों और लगान में इतनी बढ़ोतरी कर दी कि उनका व्यापार और खेती करना मुश्किल हो गया, इसीलिए वे यहां से पलायन कर गए। कर्नल जेम्स टॉड ने भी अपनी किताब ‘ऐनल्स एंड एंटिक्विटीज ऑफ राजस्थान’ में लिखा कि सालिम सिंह के अत्याचारों की वजह से ‘यह पैसे वाला समाज लगभग स्व-निर्वासन में है और बैंकर्स अपनी मेहनत के मुनाफे के साथ घर लौटने को डरते हैं।’
माना जाता है कि यह वीरान गांव आज भी रूहानी ताकतों के कब्जे में है जो अक्सर यहां आने वालों को अपनी मौजूदगी का अहसास भी कराती हैं। तमाम कोशिशों के बावजूद कुलधरा और दूसरा खाभा आज तक पुन: आबाद नहीं हो सके हैं। हालांकि ये गांव अब भारतीय पुरातत्व विभाग के संरक्षण में हैं। इन्हें दिन की रोशनी में पर्यटकों के लिए खोल दिया जाता है।
