આ સંસ્થાન માં ઈલ્વન અને વાતાયી નામના બે અસુરો નો ત્રાસ હતો . અગસ્ત્ય ઋષિ એ તેઓને શ્રાપ આપી ને નાશ કર્યો હતો. ત્યાર બાદ રજવાડું આવતા ખડકો પર દુર્ગ ના સ્થાપત્યો બંધાયા ને આ પ્રદેશ “ઈલ્વદુર્ગ” ના નામે જાણીતો થયો. જે સમય ના વેહણ માં તણાતા તણાતા કાળક્રમે અપભ્રંશ થઇ ને “ઇડર” તરીકે જાણીતું થયું.