El señorío de Pedraza desde la muerte de su esposa Blanca de Herrera fue ejercido por él mismo, y a su muerte también pasó a manos de su hermano Íñigo, en vez de a la hija habida entre ambos, Ana Fernández de Velasco y Herrera, casada con Alonso Pimentel y Pacheco, V conde de Benavente, quien se enfrentó violentamente a Iñigo en 1512 reclamando los derechos de su esposa sobre la villa, sin conseguirlo.