Den ble bygd av omajadene tidlig på 700-tallet etter modell av Omajademoskeen i Damaskus. Den store moskeen hadde vært en kirke i Østromerriket som ble tilpasset islamsk bruk. Selve kirken var i sin tid bygd der det en gang stod et romersk tempel. Noe av den østromerske strukturen finnes fortsatt, men det meste av bygningen ble ødelagt under den østromerske gjenerobring av det nordlige Syria i 986. At moskeen opprinnelig var en kristen basilika kan men se i strukturen som har tre ganger, og at taket over bønnehallen består av fem kupler, formet som et kors.