Jules est le fils unique du conventionnel Rovère de Fontvielle, mort en Guyane le après y avoir été déporté pour ses positions royalistes durant le coup d'État du 18 fructidor. Sa mère, née Marie-Augustine Angélique de Belmont (1762-1818), avait déjà eu deux filles d'un précédent mariage avec François-Édouard, marquis d’Agoult ; elle éduque seule son fils, servie par une importante fortune constituée de biens immobiliers. Elle l'encourage à s'intéresser aux exercices d'agilité. Au décès de sa mère puis de son oncle, émancipé bien plus tôt que la loi ne le permettait alors, Jules, après une obscure affaire d'héritage et de gestion de fortune, se laisse impressionner par les nombreux artistes illusionnistes, et donne bientôt des représentations à Lyon, Anvers et Gand en faisant des tours d'agilité, faisant apparaître et disparaître des objets, distrayant les spectateurs d'illusions. Il use d'un langage très recherché, composé de mots savants, et fait appel à des techniques nouvelles.