A finales del siglo XIV, el arzobispo García Fernández de Heredia comienza la transformación del castillo defensivo en un palacio episcopal.