Aunque la pareja tuvo muchos hijos, mantuvieron casas separadas, Leonor en Carrión de los Condes con su madre, mientras el almirante permanecía en la residencia familiar de Guadalajara con su prima y amante Mencía de Ayala.