એવું કહેવાય છે કે સન ૬૩૦ થી ૬૬૮ દરમિયાન દક્ષિણ ભારત પર રાજ કરનારા પલ્લવ વંશના રાજા નરસિંહ વર્મને આ પથ્થરને હટાવવાની ખૂબ કોશિશ કરી હતી.