Die huidige struktuur beslaan ’n gebied van 356 800 m2, insluitende die bidgebiede binne en buite. Dit is te alle tye oop.
Volgens die Koran het Abraham en sy seun, Ismael, die fondamente van ’n huis gelê [Koran 2:127] wat deur die meeste kenners as die Kaäba geïdentifiseer word. Allah het aan Abraham die presiese terrein uitgewys, na aan die Zamzam-put, waar hy en Ismael omstreeks 2130 v.C. met die bou van die Kaäba begin het. Nadat Abraham dit voltooi het, het ’n engel vir hom die Swart Steen gebring, ’n klip wat volgens tradisie uit die hemel geval het. Volgens ’n gesegde wat aan Mohammed toegeskryf word, het die Swart Steen "witter as melk uit die Paradys geval, maar die sondes van die seuns van Adam het dit swart gemaak".
Nadat Abraham die Swart Steen in die oostehoek van die Kaäba geplaas het, het hy ’n openbaring gehad waarin Allah die bejaarde profeet vertel het hy moet nou die bedevaart aan die mense verkondig sodat hulle van beide Arabië en verre lande per kameel of te voet daarheen kon kom. [Koran 22:27]
Dit het ’n belangrike rol gespeel in die godsdiens van die meeste Arabiese stamme en volke. Anders as wat Abraham volgens Islam bedoel het, is die Een God egter nie tydens bedevaarte daarheen aanbid nie, maar baie verskillende afgode.
Met Mohammed se triomfantelike terugkeer na Mekka in 630 het hy en sy skoonseun, Ali Ibn Abi Talib, die afgode in en om die Kaäba gebreek en die heidense gebruik daarvan beëindig. Dit was die begin van die Islamitiese beheer van die Kaäba en die gebou van Al-Masdjid al-Haram daaromheen.
Die moskee was eers net ’n klein, oop gebied met die Kaäba in die middel. Die eerste groot restourasie het in 692 plaasgevind. Die buitemure is verhoog en die plafon versier. Teen die einde van die 8ste eeu is die moskee se ou houtpilare met marmerkolomme vervang, die vleuels van die gebedsaal is aan albei kante vergroot en ’n minaret is bygevoeg. Later het die verspreiding van Islam deur die Midde-Ooste en die intog van pelgrims genoodsaak dat die hele gebou oorgebou is.
Tydens ’n latere restourasie onder koning Fahd is ’n nuwe vleuel en ’n buitelug-gebedsarea bygevoeg. Toegang tot die nuwe vleuel, wat ook vir gebede gebruik word, word verkry deur die Koning Fahd-poort. Dié uitbreiding het tussen 1982 en 1988 plaasgevind.
Tydens die derde Saoedi-restourasie (1988–2005) is nog minarette gebou, asook ’n paleis vir die koning met ’n uitsig oor die moskee. Nog poorte, koepels, gebedsareas in en om die moskee en byna 500 marmerpilare is ook bygevoeg. Ander moderne ontwikkelings sluit in verhitte vloere, lugreëling, hysers en ’n rioolstelsel.
Die Kaäba (Arabies: الكعبة) is ’n klein vierkantige gebou in die middel van Al-Masdjid al-Haram en is een van die heiligste terreine in Islam. Alle Moslems regoor die wêreld draai in die rigting van die Kaäba wanneer hulle bid. Dié rigting word die kiebla genoem.
Tydens die hadj moet pelgrims sewe keer antikloksgewys om die Kaäba loop. Hierdie tawaf word ook tydens die oemra uitgevoer.
Die Swart Steen (Arabies: الحجر الأسود; al-Ḥajar al-Aswad) is die oostelike hoeksteen van die Kaäba. Dit is in die jaar 605 deur Mohammed gelê, vyf jaar voor sy eerste openbaring. Sedertdien is dit in ’n paar dele gebreek en dit is nou in ’n silwerraam vas teen die kant van die Kaäba.
Die Maqām Ibrahim (Plek van Abraham) is ’n rots wat na berig word ’n afdruk van Abraham se voet bevat. Dit word in ’n glaskoepel langs die Kaäba gehou. Die meeste Islamkenners identifiseer dit as die rots waaragter Abraham gebid het toe hy om die Kaäba geloop het. Daar bestaan verskeie tradisies oor hoe Abraham se voetafdruk wonderbaarlik op die rots verskyn het. Volgens een het dit gebeur terwyl hy daarop gestaan het toe hy die Kaäba bou; toe die mure te hoog word, het hy op die maqām gestaan – dit het hoër geword wanneer hy verder moes bou en weer laer wanneer sy seun Ismael vir hom klippe moes aangee. Volgens ander tradisies het dit gebeur toe Ismael se vrou Abraham se kop was, of terwyl Abraham daarop gestaan het om die bedevaart na Mekka aan die mense te verkondig.
’n Muezzin (muadhdhin) doen die oproep om gebed en voer ander pligte uit. Die oproep word as ’n kunsvorm beskou wat weerspieël word in die melodieuse gesing van die adhan. Verskeie families deel dié pligte in Al-Masdjid al-Haram.