Након муслиманског освајања Јерусалима у 7. веку, омејадски халиф Абдул Малик наредио је изградњу исламске светиње на овом месту. Првобитно, на овом месту се налазила мала кућа од стране праведног халифа Омера, али је 691. године подигнута и Купола на стени. Године 705, Али Валид I је подигао и Ал Аксу, која се налазила у дворишту некадашњег храма. После земљотреса који је Јерусалим погодио 746. године, џамија је потпуно уништена, а нову џамију је обновио абасидски халиф Ел Мансур 754, те његов наследник Ал Махди. Нови земљотрес који је погодио Јерусалим 1033. поново је уништио ову џамију. Две године касније фатимидски халиф Али аз Захир подигао је нову џамију која стоји на данашњем месту. Нова џамија је битније проширена и улепшана у односу на претходне. Када су крсташи освојили Јерусалим 1099. године, они су џамијске просторије користили као палату са црквом, али када је Саладин понови освојио Јерусалим 1187. године, џамији је враћена стара функција. Касније током времена, џамија је доживела више реновирања, поправки и допуна од стране владајућих Ајубида, Мамлука, Османлија, те на крају Јорданске државе. Данас, Стари град у Јерусалиму је под израелском контролом, али џамија остаје под управом јорданско-палестинске исламске заједнице.