La infancia de Fernando estuvo marcada por el hecho de que su madre, la reina María Luisa Gabriela de Saboya, falleció a los cinco meses de su nacimiento, y de que su padre contrajo nuevas nupcias siete meses después de haber enviudado con la princesa del ducado de Parma, Isabel de Farnesio, que le dio seis hijos que prosperaron —el primero fue el infante Carlos nacido el 20 de enero de 1716.