Jabarkan Pembangunan Ka'bah dari Ismael

Dalam Al-Qur'an disebutkan bahwa bersama Ismael, Abraham meninggikan pondasi Ka'bah. As-Suddiy menyatakan bahwa tatkala diperintahkan Allah untuk membangun Ka'bah, Abraham dan Ismael tidak mengetahui tempat yang cocok untuk tempat pembangunan tersebut, Allah mengutus angin yang menyapu segala hal yang ada di sekitar tempat yang akan dibangun Ka'bah. Saat Ka'bah sudah mulai tinggi, Abraham menggunakan batu pijakan agar dapat menggapai bagian atas Ka'bah. Batu pijakan tersebut kemudian disebut "Maqam Ibrahim" dan di sana terdapat bekas pijakan kaki Abraham. Pada masa 'Umar bin Khaththab, maqam Ibrahim yang awalnya menempel ke dinding Ka'bah kemudian digeser menjauh dari dinding agar tidak menghalangi orang yang sedang thawaf. Tatkala pondasinya telah sempurna, Abraham memerintahkan Ismael untuk mencari batu untuk diletakkan di sudut Ka'bah. Namun sebelum Ismael tiba, Malaikat Jibril membawakan batu tersebut. Batu tersebut adalah "hajar aswad."

Setelah usai, Abraham kemudian diperintahkan menyeru manusia untuk melaksanakan ibadah haji dan mengajarkan tata caranya. Haji tetap terus dijalankan setelah Abraham dan Ismael wafat. Menurut sejarawan Marshall Hodgson (1922–1968).

Saat bangsa Arab perlahan mulai jatuh dalam kemusyrikan, ibadah haji masih bertahan, tetapi tercampuri ritual pengagungan pada berhala-berhala dan di sekitar Ka'bah didirikan banyak berhala. Pada masa Nabi Muhammad, ibadah haji kemudian dikembalikan untuk pengagungan Allah semata sebagaimana pada masa Abraham dan berhala-berhala di sekitar Ka'bah dihancurkan.