Fue hijo del matrimonio entre Pedro de Alcántara Álvarez de Toledo y Silva, XII duque del Infantado, y de la princesa Maria Anna Viktoria Wilhelmine zu Salm-Salm, perteneciente a una familia de la nobleza del Sacro Imperio Romano Germánico.