Après la nouvelle de la défaite de Waterloo, une semaine plus tard, il fait réprimer une manifestation royaliste par ses troupes de fédérés. Il tient la ville jusqu'au , date à laquelle la société des fédérés est dissoute. Boyer-Fonfrède est obligé de se cacher, tandis que son bureau de commerce est saccagé, ses domestiques et employés jetés en prison. Malgré la protection de Joseph Fouché, qui écrit au nouveau préfet, Charles de Rémusat, Boyer-Fonfrède est arrêté le et emprisonné dans les prisons du Capitole. Il est libéré en septembre, mais à nouveau incarcéré en octobre et transféré à Agen sur ordre du nouveau ministre de la Police, Élie Decazes. Malgré la loi d'amnistie, il n'est libéré qu'en , alors que sa femme vient de le faire condamner au paiement des reprises dotales. Il prend le chemin de l'exil, en Suisse, avec son fils et sa maîtresse, mais il est arrêté à Lyon à la demande de ses créanciers, et ramené en résidence surveillée à La Rochelle. Les scellés sont apposés sur ses biens et sa faillite judiciaire est prononcée en . Il rejoint ensuite Bordeaux, puis, en , il est revenu à Toulouse.