Madabakartet viser Jerusalem med Nea (Nykirken), som ble innviet den 20. november, 542 e.Kr. Bygninger som er reist i Jerusalem etter 570 e.Kr. finnes ikke avbildet, noe som avgrenser tidfestingen for når kartet ble laget til mellom 542 og 570 e.Kr. Mosaikken ble laget av ukjente kunstnere, sannsynligvis for det kristne samfunnet i Madaba, som på den tiden var sete for biskopen. I 614 ble Madaba erobret av det persiske rike. På 700-tallet fikk umajjadene, de muslimske herskerne fjernet en del figurative motiver fra mosaikken. I 746 ble Madaba stort sett ødelagt av et jordskjelv og siden forlatt. Mosaikken ble gjenoppdaget i 1894, under byggingen av en ny greskortodoks kirke på stedet der oldstidskirken stod. I de følgende tiårene ble store deler av mosaikkartet skadet av branner, aktiviteter i den nye kirken og av effekten av fuktighet. I desember 1964 ga Volkswagenstiftelsen («Det tyske samfunnet for utforskning av Palestina») 90 000 DM for å redde mosaikken. I 1965 restaurerte og konserverte arkeologene Heinz Cüppers og Herbert Donner de gjenværende restene av mosaikken.