কিন্তু কিছু ইসলামবিরোধী লেখকের অভিযোগ হচ্ছে—কা’বা ছিল আরব মূর্তিপূজকদের মন্দির। মুহাম্মাদ(ﷺ) তাদের মন্দির থেকে তাদের উচ্ছেদ করে এক আল্লাহর উপাসনা ও হজ শুরু করেন। এছাড়া মুসলিমদের দাবি নাকি মিথ্যা— ইব্রাহিম(আ.) নাকি কখনোই মক্কায় আসেননি, কাজেই তাঁর পক্ষে কা’বা নির্মাণ সম্ভব না। ইহুদি-খ্রিষ্টানদের প্রাচীন গ্রন্থ ইব্রাহিম(আ.) এর ব্যাপারে ব্যাপক আলোচনা করে। কিন্তু কা’বার ব্যাপারে নাকি এসব গ্রন্থ কিছু বলেনি। অতএব কা’বা ইব্রাহিমী (Abrahamic) স্রষ্টার উপাসনা গৃহ হতে পারে না, ইত্যাদি ইত্যাদি।