Initiativet til bygget kom fra Kong Fahd bin Abdul Aziz av Saudi-Arabia i 1966 og moskeen stod ferdig i 1986. Den ble bygget etter en anbudskonkurranse hvor det deltok arkitekter fra 17 land og det kom inn 43 forslag. Det var forslaget fra den tyrkiske arkitekten Vedat Dalokay som ble valgt. Byggesummen kom på 130 millioner saudiarabiske rijaler (om lag 850 million norske kroner).