Siendo Juan todavía infante, residió en el castillo durante algún tiempo, de forma que en él nació (1421) su primer hijo, Carlos, príncipe de Viana.