Como la de más importancia en Noroeste China cual goza de la fama pequeña Meca, esta mezquita fue construida hacia la dirección oeste originariamente en el año 742 durante la dinastía Tang para poder atender a los cada vez más numerosos creyentes musulmanes que habitaban en la ciudad.