Probablemente era hijo de García Álvarez de Toledo y Ayala y de una hebrea del arrabal de Oropesa.