Nació en Madrid, el 28 de diciembre de 1865, hijo segundo de José Álvarez de Toledo y Silva, XVIII duque de Medina Sidonia, y de Rosalía Caro y Álvarez de Toledo, hija del IV marqués de la Romana.