Nació en Madrid el 14 de agosto de 1826, hijo primogénito de Pedro de Alcántara Álvarez de Toledo y Palafox, XVII duque de Medina Sidonia, y de María Joaquina de Silva, hija de José de Silva, X marqués de Santa Cruz de Mudela, y de Joaquina Téllez-Girón, I condesa de Osilo.