Fue hijo póstumo de Fadrique Álvarez de Toledo Osorio, I marqués de Villanueva de Valdueza, y de Elvira Ponce de León.