Under dagens kirke ligger en eldre kirke, som ble forlatt i 1108 da den sto i fare for å rase sammen. Den ble fylt med jord, og den nye kirken bygget over. Under der igjen ligger romerske bolighus, samt et tempel for Mithras-kulten. Ett av bolighusene skal være Klemens' barndomshjem.