વર્ષો પહેલા દક્ષિણ ભારત પર શાસન કરનાર પલ્લવ વંશના રાજાએ આ પથ્થર હટાવવા અનેક પ્રયાસ કર્યો પરંતુ તમામ નિષ્ફળ રહ્યા હતા.