En dedikasjon oppgir Agrippa, Augustus' svigersønn som byggherre i år 27 f.Kr., men denne bygningen er helt forsvunnet, selv om en inskripsjon på fasaden fremdeles forteller at det var «Marcus Agrippa, sønn av Lucius, reiste dette i sitt tredje konsulat». I år 80 ble det ødelagt, gjenoppbygd under Domitian, ødelagt av lynnedslag i år 110, og deretter gjenoppbygd igjen. I år 609 fikk pave Bonifatius VI Pantheon som gave av den bysantinske keiser Fokas. Bygningen ble innviet som Maria-kirke 13. mai. I den anledning sørget paven for å lagre 28 vognlass med relikvier fra kristne martyrer i Pantheons katakomber, og tempelets navn var nå «Santa Maria ad Martyres». Innvielsesdagen, 13. mai 609 eller 610, ble feiret som en årlig martyrfest inntil pave Gregor III flyttet den til 1. november, hovedsakelig fordi høsten med sine velfylte matlagre er en bedre tid for bespisning av store pilegrimsflokker; men først i 835 krevde pave Gregor IV at Ludvig den fromme skulle innføre allehelgensdag i hele sitt kongerike (Frankrike, Tyskland og den nordlige delen av Spania).