Su infancia estuvo marcada por los cambios políticos que se producían, y en 1854 su padre fue asesinado, convirtiéndose así en duque de Parma con tan sólo seis años, y su madre se ocupó de la regencia durante la minoría de edad, pero tuvo que exiliarse ante la derrota austríaca en la Batalla de Magenta. En 1859 los ducados de Parma, Plasencia se unieron al Gran Ducado de Toscana y al Ducado de Módena para formar las "Provincias Unidas de Italia Central", un estado cliente del Reino de Cerdeña que fue finalmente anexionado a Cerdeña en marzo de 1860. Roberto perdió su posición, y pasó a ser sólo duque titular de Parma.