Existió un palacio anterior, que el arzobispo Diego Gelmírez reconstruyó de raíz desde 1117.