Ал Акса се налази на Храмовној гори, месту где се некада налазио Јерусалимски храм. Овај храм је до темеља срушен у 1. веку, након неуспеле јеврејске побуне против Римљана. Након разарања, Јеврејима је био забрањен улазак у Јерусалим. Пошто су га преотели од хришћанске Византије град су заузели муслимани, који су на месту некадашњег храма сазидали џамију. Западни зид који опасује узвишење на коме се налази Ал Акса, сматра се јединим остатком Иродовог храма и представља најсветије место за Јевреје који га називају и Зидом плача.