Fue hijo bastardo, aunque reconocido, de Diego González de Carvajal, arcediano de Coria y canónigo de Plasencia, segundo hijo de la familia de los Carvajales extremeños, de cuyo seno surgieron destacados personajes: su bisabuelo Alvar García Bejarano había obtenido en 1375 de Enrique II el señorío de Orellana la Nueva, y el hermano de éste, Juan Carvajal, había sido cardenal de Sant'Angelo; del primero eran hijos su abuelo Gómez, regidor de Trujillo y alcaide de su fortaleza, y Garci, oidor de la Chancillería de Valladolid y consejero de Juan II.