Faits: Faits: A. Le 24 juillet 2003, l'Institut fédéral de la propriété intellectuelle (ci-après: l'Institut fédéral) a déposé plainte pénale auprès du Ministère public du canton de Vaud contre les dirigeants de la société I._ pour infraction à la loi fédérale sur la concurrence déloyale (LCD; RS 241) et à la loi fédérale sur les armoiries publiques et autres signes publics (LPAP, RS 232.21), ainsi que pour escroquerie (art. 146 CP). L'Institut fédéral reproche à I._ d'avoir proposé à des sociétés françaises la publication contre paiement d'informations les concernant, au moyen d'un formulaire portant la mention "Made in France. Registre de données de base du commerce, des affaires et de l'industrie" et reproduisant le drapeau tricolore. Ce formulaire se rapprocherait des informations collectées dans le Registre national du commerce et des sociétés (ci-après: RCS) tenu par l'Institut national de la propriété intellectuelle en France (ci-après: INPI). Une consultation du site Internet de I._ montrerait qu'un grand nombre de sociétés françaises y sont recensées. Le 27 octobre 2003, l'Institut fédéral a dénoncé le fait que I._ démarchait également des sociétés suisses, en présentant un formulaire analogue portant la croix fédérale et la mention "Made in Switzerland". Le 4 février 2004, le Juge d'instruction du canton de Vaud a ordonné le séquestre auprès de la banque X._ à Genève des comptes n°xxx et n°yyy détenus par I._ et son dirigeant C._, pour un montant total de 3'171'503 fr. Le 16 avril 2004, le Secrétariat d'Etat à l'économie (ci-après: Seco) s'est substitué comme plaignant à l'Institut fédéral, pour le compte de la Confédération. Les 21 et 29 avril 2004, I._ et C._ ont demandé la levée intégrale des séquestres portant sur les comptes n°xxx et yyy. Le 30 avril 2004, le Juge d'instruction a levé le séquestre pour un montant de 100'000 fr. concernant le compte n°xxx, et pour un montant de 50'000 fr. concernant le compte n°yyy. Il a rejeté la requête pour le surplus. Le 11 juin 2004, le Tribunal d'accusation du Tribunal cantonal du canton de Vaud a rejeté le recours formé par I._ et C._ contre cette décision, qu'il a confirmée. Il a considéré, en bref, qu'il existait des indices suffisants de la commission d'une infraction à la LCD et à la LPAP, pouvant donner lieu, le cas échéant, à une confiscation des avoirs saisis selon l'art. 58 CP, voire au recouvrement d'une créance compensatrice au sens de l'art. 59 CP. Le 11 juin 2004, le Tribunal d'accusation du Tribunal cantonal du canton de Vaud a rejeté le recours formé par I._ et C._ contre cette décision, qu'il a confirmée. Il a considéré, en bref, qu'il existait des indices suffisants de la commission d'une infraction à la LCD et à la LPAP, pouvant donner lieu, le cas échéant, à une confiscation des avoirs saisis selon l'art. 58 CP, voire au recouvrement d'une créance compensatrice au sens de l'art. 59 CP. B. Agissant par la voie du recours de droit public, I._ et C._ demandent au Tribunal fédéral d'annuler la décision du 11 juin 2004 et de renvoyer la cause au Juge d'instruction pour nouvelle décision au sens des considérants. Ils invoquent les art. 9 Cst., leur droit d'être entendus et se plaignent de la violation du droit fédéral. Le Tribunal d'accusation se réfère à sa décision. Le Juge d'instruction a renoncé à se déterminer. Le Ministère public conclut au rejet du recours. Le Seco a produit des observations.