La inseguridad de permanecer en una villa tan grande como Valladolid, aunque fuera afín al almirante Fadrique Enríquez, partidario de Isabel, les llevó a tomar la decisión de resguardarse en la protección que ofrecía el Palacio de los Acuña de Dueñas, donde se trasladan en mayo de 1470 hasta diciembre del mismo año, donde pasan unos meses complicados, mantenidos por el propio conde, pues ellos no cuentan con ningún medio, al mismo tiempo que Enrique IV avanza contra ellos.