Su construcción comenzó a finales del siglo XV, sustituyendo a otro edificio anterior, cuyos restos se conservan en la Capilla de los Palacios.