Íñigo Fernández de Velasco, hermano de Bernardino, obtuvo la confianza de Carlos I, hasta el punto de ser encargado en 1528 de guardar en su castillo al Delfín de Francia y a su hermano el duque de Orleans, como rehenes hasta que su padre Francisco I de Francia cumpliera el tratado suscrito después de la batalla de Pavía.