El castillo fue levantado en su mayor parte durante las prelaturas de los arzobispos don García Fernández de Heredia (1382-1411) y don Dalmacio de Mur y Cervellón (1431-1456).