García Álvarez de Toledo y Carrillo de Toledo era el hijo primogénito de Fernando Álvarez de Toledo y Sarmiento, I conde de Alba de Tormes, y su esposa Mencía Carrillo de Toledo y Palomeque.