એવું પણ કહેવાય છે કે આ મંદિર વિજયનગરના રાજા માટે કામ કરતાં બે ભાઈઓ જેમના નામ વિરુપન્ના અને વીરન્નાએ બનાવ્યું હતું.