Nació en el castillo de Cuéllar (Segovia), propiedad de su padre, sin la esperanza de ser duque de Alburquerque, pues ocupó el tercer lugar en su nacimiento, adelantado por dos varones: Francisco, hijo primogénito y sucesor de su padre, y Juan, que murió joven.