Desde pequeño se mostró como un gran jinete, montando en el Soto de Mozanaque, una finca familiar ubicada en Algete, donde aparece siempre acompañado de su tío Juan de Silva, futuro marqués de Arcicóllar, que era más joven que él; de Andrés de Arteaga, marqués de Valmediano y casado con una hermana de su madre, de su primo Jacobo Méndez de Vigo, conde de Santa Cruz de los Manueles y de Nicolás Patiño, marqués del Castellar, entre otros, que eran conocidos por su edad como «"los pollos"».