એવું કહેવામાં આવે છે કે કોણાર્ક સૂર્ય મંદિર સૌ પ્રથમ સમુદ્ર કિનારે બનાવવામાં આવ્યું હતું, પરંતુ ધીરે ધીરે સમુદ્ર ઓછો થઈ ગયો અને મંદિર પણ દરિયા કિનારાથી થોડે દૂર આવી ગયું.