Juana de Aragón muere en 1510, dejando Castilnovo a su marido, el duque de Frías, que tras su muerte en 1512, lo deja en herencia a su hija Juliana Ángela de Velasco y Aragón, quien casa con su primo hermano, Pedro Fernández de Velasco, quien más tarde sucedería como III duque de Frías.