Bispestolen ble opprettet i romertiden, i byen Mainz, som hadde vært en romersk provinshovedstad kalt Moguntiacum. Bispedømmet ble først viktig da det fikk status som erkebispedømme i 780-782. De første biskopene før 300-tallet har legendariske navn, og startet med Crescens. Den første stadfestet biskopen av Mainz var Martinus i 343. Mainz ble først viktig da St. Bonifatius ble biskop i 747. Bonifatius var tidligere en erkebiskop, men denne tittelen gikk ikke til bispestolen før etterkommeren hans, Lullus.