I 663 fjernet den bysantinske keiser Constans II de forgylte taksteinene. Gregor III dekket taket med bly i stedet. Da Bernini lagde sine snodde søyler til høyalteret i Peterskirken i 1632, lot pave Urban VIII smelte om bronsebjelker fra Pantheons forhall. At bygningen ennå står, skyldes rett og slett at den ble vigslet til kirke i 609/10. Like fullt ble den utvendige marmor-bekledningen fjernet i middelalderen.