Kirkens historie går tilbake til tidlig romersk tid. Det første kjente tyske bispedømmet, Trier, ble opprettet på 200-tallet. Kort etter oppstod bispedømmer som Köln (omkring 300) og Mainz. Med romerrikets undergang kom det til en stillstand i misjonen, til tross for enkelte irske og skotske vandremunkers virksomhet. Først med Bonifatius kom det på ny bevegelse i kirken i Germania, og en rekke nye bispedømmer ble grunnlagt. Mainz, Köln og Trier ble opphøyet til erkebispedømmer og ble dermed de første kirkeprovinsene. Det tysk-romerske rikes østekspansjon i det 10. århundre medførte misjonering og grunnleggelser av nye bispedømmer. På begynnelsen av 1100-tallet kan organiseringen av kirken betraktes som fullført og forble forholdsvis uendret frem til reformasjonen. En særegenhet ved de tyske bispedømmene var deres størrelse, som var vesentlig større enn bispedømmene i Vestfrankerriket og Italia.