આ મંદિર ના નિર્માણ ને લઈ ને પણ ઘણા પ્રકાર ની વાર્તાઓ છે, જેમાંથી એક છે કે આ મંદિર નું નિર્માણ પુરાતન કાળ માં મહર્ષિ અગતસ્ય એ કરાવ્યું હતું. ત્યાં જ કેટલાક લોકો માને છે કે આ મંદિર નું નિર્માણ વર્ષ 1583 માં વિજયનગર ના રાજા ના રાજ માં કામ કરવા વાળા બે ભાઈઓ વીરન્ના અને વીરુપન્ના એ કરાવ્યું હતું. પરંતુ કેટલાક સમય પછી વિજયનગર ની સત્તા માં પરિવર્તન થયું અને નવા રાજાઓ એ આ લોપાક્ષી મંદિર નો નિર્માણ કરવા વાળા વીરુપન્ના શિલ્પકાર ની આંખો કાઢવા નું જાહેર કરી દીધું, અને વીરુપન્ના એ રાજા નો આદેશ માં પોતાની જાતે જ પોતાની આંખો કાઢી લીધી.