元4世纪末或5世纪初起，在这个位置上开始建起了小规模的教堂。之后教堂不断扩建和改建，直到873年9月27日老教堂正式落成——今日科隆主教座堂的前身。这座教堂在1248年4月30日的一场火灾中几乎毁坏殆尽。
建造.1164年，神圣罗马帝国皇帝腓特烈一世将原存放于米兰主教教堂的“三王圣龛”（存放东方三博士的遗骨）赠给科隆大主教Rainald von Dassel。由此，各地来科隆朝圣的信徒骤增，原先的老教堂难以承受。1225年开始，建造新教堂的计划提上日程。1248年8月15日，新