Hijo de Joaquín Álvarez de Toledo y Caro (1865-1915), duque de Medina Sidonia, y de Rosalía Caro y Caro, hija del conde de Caltavuturo y nieta del marqués de la Romana.