Jabarkan Pembangunan Ka'bah dari Ismail

Dalam Al-Qur'an disebutkan bahwa bersama Isma'il, Ibrahim meninggikan pondasi Ka'bah. As-Suddiy menyatakan bahwa tatkala diperintahkan Allah untuk membangun Ka'bah, Ibrahim dan Isma'il tidak mengetahui tempat yang cocok untuk tempat pembangunan tersebut, Allah mengutus angin yang menyapu segala hal yang ada di sekitar tempat yang akan dibangun Ka'bah. Saat Ka'bah sudah mulai tinggi, Ibrahim menggunakan batu pijakan agar dapat menggapai bagian atas Ka'bah. Batu pijakan tersebut kemudian disebut "Maqam Ibrahim" dan di sana terdapat bekas pijakan kaki Ibrahim. Pada masa 'Umar bin Khaththab, maqam Ibrahim yang awalnya menempel ke dinding Ka'bah kemudian digeser menjauh dari dinding agar tidak menghalangi orang yang sedang thawaf. Tatkala pondasinya telah sempurna, Ibrahim memerintahkan Isma'il untuk mencari batu untuk diletakkan di sudut Ka'bah. Namun sebelum Isma'il tiba, Malaikat Jibril membawakan batu tersebut. Batu tersebut adalah "hajar aswad."

Setelah usai, Ibrahim kemudian diperintahkan menyeru manusia untuk melaksanakan ibadah haji dan mengajarkan tata caranya. Haji tetap terus dijalankan setelah Ibrahim dan Isma'il wafat. Menurut sejarawan Marshall Hodgson (1922–1968), umat Kristen Arab juga melaksanakan haji pada masa pra-Islam.

Saat bangsa Arab perlahan mulai jatuh dalam kemusyrikan, ibadah haji masih bertahan, tetapi tercampuri ritual pengagungan pada berhala-berhala dan di sekitar Ka'bah didirikan banyak berhala. Pada masa Nabi Muhammad, ibadah haji kemudian dikembalikan untuk pengagungan Allah semata sebagaimana pada masa Ibrahim dan berhala-berhala di sekitar Ka'bah dihancurkan.