Han var fra en velstående bakgrunn, faren var den jødiske konvertitten Alonso de Ávila og moren Catalina Xixón. Han ble 14-år gammel sendt til juss-studier ved Universitetet i Salamanca, men han ga opp studiene etter et år, og det kan skyldes at han måtte forlate universitetet fordi faren var jøde.