Fasad dan serambi masjid ini dibangun dan diperluas oleh para penguasa Fatimiyah , Tentara Salib , Mamluk dan Ayyubiyah .