William de la Pole, un pretendiente al trono de la Casa de York superviviente, fue encarcelado en el castillo durante el reinado de Enrique y permaneció en él hasta su ejecución en 1513.