મંદિરની પાસે એક ગુફા છે, જેને નૈના દેવી ગુફા તરીકે ઓળખવામાં આવે છે.