કહેવાય છે કે આ પથ્થરને તોડવાની શરૂઆત પલ્લવોએ કરી હતી, પરંતુ વિજયનગર રાજ્યના મદુરાઈ નાયકોએ આ મંદિરનું બાંધકામ પૂર્ણ કર્યું.