En el siglo X el papa Sergio III restauró el palacio tras un desastroso incendio; posteriormente fue embellecido por el papa Inocencio III.