ભોળાનાથે શક્તિપીઠ સ્થાપના માટે શ્રીસ્થળ નજીકના વિસ્તારમાં જગ્યા પસંદ કરી સ્વહસ્તે ઉમિયાજીની સ્થાપના કરી. ઉમિયા માતાનાં નામ ઉપરથી એ સ્થળ ઉમાપુર તરીકે ઓળખાયું. એ પ્રાચીન ઉમાપુર એ આજનું ઊંઝા કહેવાય છે.