કહેવાય છે કે હવેલીના નિર્માણના થોડા સમય બાદ જ જેસલમેરના મોહતા પરિવારને બંદી બનાવી લેવાયો હતો, કેમ કે તે સમયનો તે શક્તિશાળી પરિવાર હતો.