Se convirtió en hombre de confianza de Enrique IV de Castilla, de quien fue compañero de juegos durante su infancia después que el condestable Álvaro de Luna interviniese para que él y su hermano Pedro entrasen en la corte, donde ya se documenta su presencia en 1436 —como doncel o paje del infante— según se menciona en un manuscrito guardado en la biblioteca del Monasterio de El Escorial, que dice que «siendo mozo vino a vivir con el príncipe Enrique (...) en la edad de mozo tuvo seso y autoridad de viejo.»