François Ignace décide de rentrer en France, où son père est mort trois ans plus tôt en laissant une veuve ruinée par la révolution de Saint-Domingue. Il n'est protégé des lois de proscription que par un passeport suédois délivré sous le nom de « Smith ». Il arrive à Paris le . Contraint de s'y cacher par un redoublement de sévérité envers les émigrés, il rentre en Nivernais en 1801, à Nevers puis à Vanzé où le château, pillé, n'offre plus qu'un toit effondré et des murailles nues.