Fue uno de los hijos de don José Joaquín Álvarez de Toledo y Silva, XVIII duque de Medina Sidonia, XVI marqués de Cazaza, XI duque de Fernandina y príncipe de Montalbán, XIV marqués de Villafranca del Bierzo, XIV marqués de los Vélez, Grande de España y Jefe Superior de Palacio de Alfonso XII y de su esposa y prima Rosalía Caro y Álvarez de Toledo; hija de don Pedro Caro y Salas, IV marqués de la Romana, y de María Tomasa Álvarez de Toledo.