કહેવામાં આવે છે કે જે સમયે મહાબલીપુરમમાં પલ્લવ વંશના શાસકોનું રાજ હતું, તે સમયે પણ પત્થરને અહીથી હટાવવાનો પ્રયાસ કરવામાં આવ્યો હતો.