મંદિરમાં અરુણ સ્તંભ પણ છે, જે સદીઓ પહેલાં કોણાર્કના સૂર્ય મંદિરમાંથી લાવવામાં આવ્યા હતો. સમગ્ર મંદિર કિલ્લેબંધ છે. તેનું કારણ એ કે આ પ્રસિદ્ધ મંદિર પણ આક્રમકોનો ભોગ બનતું આવ્યું છે.૧૫૦૦ વર્ષના ઇતિહાસમાં ૧૮ વાર આ મંદિર પર હુમલો કરીને તેને લૂંટવામાં આવ્યું છે. સૌ પ્રથમ હુમલો પાંચમી સદીમાં ઇન્ડો-ગ્રીક રાજા રક્તબાહુએ કર્યો હતો. તે વખતે પૂજારીઓએ મૂર્તિઓને એક ગુફામાં છુપાવી દીધી હતી. ૧૬મી સદીમાં કાલાપહાડ નામના મુસ્લિમ તરીકે વટલાયેલા આક્રમણખોરે મંદિરની લાકડાની મૂર્તિઓને બાળી નાખી હતી. કદાચ આવી ઘટના પછી જ મૂર્તિઓના નવકલેવર દ્વારા પુનઃજન્મની પરંપરા શરૂ થઈ હશે.