Aunque ha habido cierta controversia sobre su filiación, no hay dudas de que fue hijo de Luis Osorio de Acuña, obispo de Segovia (1449), de Burgos (1456-1495) y señor de Abarca de Campos, y de Aldonza de Guzmán, hija de Gil Dávila e Inés de Guzmán, señores de Cespedosa de Tormes.