Francisco José tuvo tres hermanos, el primero de ellos fue Maximiliano (1832-1867), con el cual tenía escasa diferencia de edad.