Den første kjente biskop av Köln var den hellige Maternus omkring 313. Fra 795 førte biskopene av Köln tittelen erkebiskop. I 1164 overførte erkebiskop Rainald av Dassel de hellige tre kongers benrester til Köln. I 1248 la erkebiskop Konrad av Hochstaden ned grunnstenen til Kölnerdomen. I løpet av historien hadde erkebiskopene av Köln, som også var verdslige herskere av erkestiftet Kurköln og tysk-romerske kurfyrster, stadig flere uoverensstemmelser med borgerne i byen Köln. Under de limburgske arvefølgekrigene stilte Köln-borgerne seg ved slaget i Worringen i 1288 på fiendens side, og erkebiskopen mistet den verdslige makten over byen Köln. Erkebispens residens ble derfor flyttet til Bonn. I 1794 ble erkebispedømmet oppløst som følge av urolighetene som fulgte den franske revolusjon, men det ble gjenopprettet i 1821 av pave Pius VII. I 1958 avsto erkebispedømmet deler av sitt territorium til det nygrunnlagte bispedømmet Essen.