Su hijo Diego de Castilla y Sandoval, apresado en Carmona fue encarcelado en este castillo por Enrique II.