১২১৩ হিজরি থেকে ১৩৭৭ হিজরি পর্যন্ত এই পাথরগুলি চুরি হয়ে গিয়েছিল। আজানখানার জায়গা সংকীর্ণ হওয়ায় এখানে শুধুমাত্র একজন ব্যক্তি দাঁড়াতে পারে, এই কারণেই সেখান থেকে পাথরগুলি সরিয়ে কাবার দরজার কিনারায় কাছে লাগান হয়।