L'histoire de la Kaaba, avant sa reconstruction par Ibrahim et Ismail, reste empreinte de mystère. Bien que les fondations existaient déjà, les détails précis sur les origines de la Kaaba demeurent incertains. Cependant, un verset clé du Coran, le verset 26 de la Sourate Al Hajj, révèle que le choix du lieu de la Kaaba a été fait par Dieu lui-même. Ce verset, adressé à Ibrahim (Abraham), révèle l'instruction divine de purifier la Maison (La Kaaba) et de l'associer exclusivement à Dieu. Il mentionne également que la Maison est destinée à ceux qui effectuent les circumambulations, ceux qui se tiennent debout pour la prière et ceux qui s'inclinent et se prosternent.