En 1792, Boyer-Fonfrède épouse Marie-Anne Barrère. Cette même année, il aménage aussi sa manufacture aux Jacobins, à la Daurade et au Bazacle. Il emploie particulièrement les talents d'Isaac Gouldbroof, juif de Leeds qu'il a recruté à Manchester, et qui est chargé de construire les machines à tisser, mais aussi de former les ouvriers toulousains. La manufacture possède déjà 14 métiers de tisserands aux Jacobins quand la déclaration de guerre à l'Espagne, en , désorganise la jeune manufacture : Boyer-Fonfrède doit abandonner les Jacobins, transformés en hôpital militaire, les ouvriers anglais sont arrêtés et emprisonnés, puis il rencontre des difficultés à s'approvisionner en coton. Il entre en conflit avec les ouvriers, qui se plaignent du maximum général qui limite leurs salaires, tandis que certains partent s'établir dans d'autres villes – Bergerac, Pamiers, Pau – pour créer des établissements rivaux. Le , son frère, Jean-Baptiste Boyer-Fonfrède, est exécuté à Paris avec les Girondins. François-Bernard Boyer-Fonfrède a publiquement montré son hostilité aux Montagnards et le soutien qu'il apporte à son frère. Une commission d'enquête est formée par la municipalité toulousaine pour enquêter sur la gestion de la manufacture. On lui reproche d'être un accapareur de biens et de soustraire à l'impôt : à Bordeaux, ses affaires sont vendues publiquement.