Baie mense glo Salomo se tempel het eens op ’n tyd op die plek gestaan waar die moskee tans opgerig is. Daar word geglo die Romeinse keiser Titus (toe nog ’n generaal) het in 70 n.C. die Joodse tempel wat deur koning Herodes op die plek herbou is, vernietig. Keiser Justinianus I het in 530 n.C. ’n kerk ter ere van Moeder Maria op die plek opgerig wat in die 7de eeu deur die Perse vernietig is.
Dit het onder verskeie aardbewings deurgeloop en is in die Abbasidiese tydperk deur kalief al-Mahdi (775–785) verbeter en herstel, en moontlik ook deur kalief al-Mansur (754–775). Verdere bouwerk is ook in die 11de eeu gedoen tydens die Fatimidiese tydperk.
Die Kruisvaarders het geglo die gebou is op die bouvalle van Salomo se tempel gebou en het na die gebou verwys as die Templum Salomonis, terwyl hulle die Rotskoepel die Templum Domini ("Die Tempel van God") genoem het.
Die moskee is in die 14de en 20ste eeu verskeie kere gerestoureer. Skade wat in 1927 en 1936 deur aardbewings veroorsaak is, het dit genoodsaak om feitlik die hele moskee te herbou, en dit het daartoe gelei dat antieke dele van die oorspronklike moskee weer ontdek is. Die moskee is verskeie kere aangepas om dit teen aardbewings te beskerm en om aan die behoeftes van die plaaslike bevolking te voldoen. Die struktuur bly egter steeds in wese dieselfde as wat dit was ná die herbouing deur kalief Al-Dhahir in 1033 n.C.