વર્ષો પહેલા દક્ષિણ ભારત પર શાસન કરનાર પલ્લવ વંશના રાજાએ આ પથ્થર હટાવવા અનેક પ્રયાસ કર્યા પરંતુ તે તમામ નિષ્ફળ રહ્યાં હતા.