કહેવાય છે કે ભગવાન નારાયણના જમણા પગના અંગુઠામાંથી અહીં જળવહન થયું હતું, તે જ પવિત્ર પાણીએ નારાયણ સરોવરનું સ્વરુપ ધારણ કર્યું. સમુદ્ર કિનારે આવેલું આ જળાશય અત્યંત વિશાળ હતું પરંતું વર્ષો પહેલા આવેલા વિનાશક ભૂકંપથી તે મીઠા પાણીમાંથી ખારા પાણીમાં ફેરવાઇ ગયું. બાદમાં હાલ જે સરોવર છે તે બનાવવામાં આવ્યું. અનેક તપસ્વીઓએ અહીં તપ કર્યા હોવાનું જાણવા મળે છે.