D’Isoard besuchte das Kleine Seminar in Aix, wo er Joseph Fesch, den Onkel Napoleon Bonapartes kennenlernte, aber seine theologische Ausbildung nicht abschloss. Während der Terrorherrschaft floh er 1794 nach Italien an den Hof des zukünftigen Königs Ludwig XVIII. Nach dem Staatsstreich des 18. Fructidor V war er wieder zur Flucht nach Italien gezwungen. Nachdem Napoleon das Konsulat begründet hatte, kehrte er zurück, um kurz darauf Joseph Fesch, der zum französischen Botschafter beim Papst ernannt worden war, nach Rom zu begleiten. Auf dessen Betreiben hin wurde d’Isoard 1803 zum Auditor der Römischen Rota ernannt.