Faits:
Faits:
A. La société X._ Sàrl (ci-après : la société) a pour but la gestion, la direction et l'exécution de projets en tout genre, notamment dans le domaine immobilier, ainsi que les services techniques et commerciaux y relatifs. Au mois de février 1988, A._ et son épouse B._ ont acquis les parts de la société, dont ils sont devenus les associés gérants, chacun avec signature individuelle. A._ a été engagé en qualité de directeur, à plein temps et pour une durée indéterminée, à partir du 1er janvier 1990. Tout en conservant cette fonction, l'intéressé a cédé sa part (28'000 fr.) à H._ au mois de juillet 1997, lequel est devenu actionnaire majoritaire et gérant unique avec signature individuelle. Le solde des parts sociales (22'000 fr.) est resté en mains de B._.
Son contrat de travail ayant été résilié pour le 30 avril 1998, A._ a requis l'octroi d'une indemnité de chômage. La société lui ayant toutefois demandé de rester à son service à mi-temps, l'assuré n'a finalement été licencié le 25 novembre 1998, que pour le 31 décembre suivant. Depuis cette date, il a bénéficié d'une indemnité pleine et entière jusqu'au 31 mars 1999, date à partir de laquelle il a demandé la suspension de son droit, afin d'effectuer des recherches de travail à l'étranger. Ce projet n'ayant pas abouti, l'assuré a derechef bénéficié d'une indemnité à partir du 15 juin 1999.
Au mois d'août 1999, A._ a reçu une offre de travail de l'entreprise Y._, laquelle désirait confier le mandat de coordonner des permis de construire à une société tierce qui accepterait d'engager l'assuré. Au mois d'août 1999, A._ a été derechef inscrit au registre du commerce en qualité d'associé gérant de la société, avec signature individuelle, après avoir racheté à H._ la part qu'il lui avait précédemment cédée. La société a ensuite accepté le mandat proposé par l'entreprise Y._ et a repris l'assuré à son service dès le 1er octobre 1999 en qualité de directeur, à plein temps et pour une durée indéterminée. De son côté, son épouse a repris sa fonction d'associée gérante avec signature individuelle.
A._ a été licencié le 28 février 2001. Il a requis l'octroi d'une indemnité de chômage à partir du 1er mars 2002.
Par décision du 30 juillet 2002, la Caisse publique cantonale vaudoise de chômage (ci-après : la caisse) a dénié à l'assuré le droit à une indemnité de chômage dès le 1er mai 1998, motif pris qu'il n'avait jamais cessé d'exercer une fonction dirigeante dans la société. Par une autre décision du même jour, elle a réclamé à l'intéressé la restitution d'un montant de 52'947 fr. 15, somme correspondant aux indemnités de chômage indûment perçues durant les périodes du 1er mai 1998 au 31 mars 1999 et du 15 juin au 30 septembre 1999.
Saisi d'un recours contre ces décisions, le Service de l'emploi du canton de Vaud (ci-après : le service de l'emploi) l'a rejeté par décision du 19 mai 2003.
Saisi d'un recours contre ces décisions, le Service de l'emploi du canton de Vaud (ci-après : le service de l'emploi) l'a rejeté par décision du 19 mai 2003.
B. Par écriture du 19 juin 2003, A._ a recouru contre cette décision devant le Tribunal administratif du canton de Vaud, en concluant à l'annulation de son obligation de restituer les prestations perçues et à l'octroi d'une indemnité de chômage à partir du 1er mars 2002.
La juridiction cantonale a rejeté ce recours par jugement du 26 février 2004.
La juridiction cantonale a rejeté ce recours par jugement du 26 février 2004.
C. A._ interjette recours de droit administratif contre ce jugement, dont il demande la réforme partielle, en ce sens qu'il n'est pas tenu de restituer les indemnités de chômage perçues durant la période du mois de janvier au mois de septembre 1999.
La caisse s'en remet à justice, tandis que le service de l'emploi déclare se référer à ses déterminations en instance cantonale. De son côté, le Secrétariat d'Etat à l'économie a renoncé à se déterminer sur le recours.

Considérant en droit:
Considérant en droit:
1. Par l'une de ses décisions du 30 juillet 2002, la caisse a réclamé au recourant la restitution des indemnités de chômage perçues durant les périodes du 1er mai 1998 au 31 mars 1999 et du 15 juin au 30 septembre 1999. Dans son recours de droit administratif, l'intéressé conteste exclusivement son obligation de restituer les indemnités de chômage allouées durant les périodes du 1er janvier au 31 mars 1999 et du 15 juin au 30 septembre 1999. Seule la restitution de ces prestations est dès lors litigieuse en procédure fédérale.
1. Par l'une de ses décisions du 30 juillet 2002, la caisse a réclamé au recourant la restitution des indemnités de chômage perçues durant les périodes du 1er mai 1998 au 31 mars 1999 et du 15 juin au 30 septembre 1999. Dans son recours de droit administratif, l'intéressé conteste exclusivement son obligation de restituer les indemnités de chômage allouées durant les périodes du 1er janvier au 31 mars 1999 et du 15 juin au 30 septembre 1999. Seule la restitution de ces prestations est dès lors litigieuse en procédure fédérale.
2. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-chômage. Cependant, le cas d'espèce reste régi par les dispositions de la LACI en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (<ref-ruling> consid. 1).
Pour les mêmes motifs, les dispositions de la novelle du 22 mars 2002 modifiant la LACI, entrée en vigueur le 1er juillet 2003 (RO 2003 1728), ainsi que les dispositions de l'OACI modifiées le 28 mai 2003, entrées en vigueur le 1er juillet 2003 également (RO 2003 1828), ne sont pas non plus applicables.
Pour les mêmes motifs, les dispositions de la novelle du 22 mars 2002 modifiant la LACI, entrée en vigueur le 1er juillet 2003 (RO 2003 1728), ainsi que les dispositions de l'OACI modifiées le 28 mai 2003, entrées en vigueur le 1er juillet 2003 également (RO 2003 1828), ne sont pas non plus applicables.
3. 3.1 D'après la jurisprudence rendue à propos de l'<ref-law> (en vigueur jusqu'au 31 décembre 2002 [cf. consid. 2]), dont le Tribunal fédéral des assurances a jugé qu'elle s'appliquait par analogie à la restitution d'indemnités indûment perçues dans l'assurance-chômage (cf. <ref-ruling> consid. 3, 110 V 179 consid. 2a, et les références), une prestation accordée sur la base d'une décision formellement passée en force et sur laquelle une autorité judiciaire ne s'est pas prononcée sous l'angle matériel ne peut être répétée que lorsque les conditions qui président à la révocation, par son auteur, d'une décision administrative, sont réalisées.
A cet égard, la jurisprudence constante distingue la révision d'une décision entrée en force formelle, à laquelle l'administration est tenue de procéder lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 3a, 138 consid. 2c, 173 consid. 4a, 272 consid. 2, 121 V 4 consid. 6 et les références), d'avec la reconsidération d'une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à laquelle l'administration peut procéder pour autant que la décision soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 3a, 173 consid. 4a, 271 consid. 2, 368 consid. 3, 121 V 4 consid. 6 et les arrêts cités).
Les conditions qui président à la révocation des décisions administratives, ci-dessus exposées, sont également applicables lorsque des prestations accordées sans avoir fait l'objet d'une décision formelle ont acquis force de chose décidée (<ref-ruling>).
3.2 Selon l'<ref-law>, l'assuré a droit à l'indemnité de chômage notamment s'il est sans emploi ou partiellement sans emploi (let. a) et qu'il ait subi une perte de travail à prendre en considération (let. b).
Selon l'art. 31 al. 3 let. c LACI, n'ont pas droit à l'indemnité en cas de réduction de l'horaire de travail, les personnes qui fixent les décisions que prend l'employeur - ou peuvent les influencer considérablement - en qualité d'associé, de membre d'un organe dirigeant de l'entreprise ou encore de détenteur d'une participation financière à l'entreprise; il en va de même des conjoints de ces personnes, qui sont occupés dans l'entreprise.
Dans un arrêt M. du 4 septembre 1997 publié aux <ref-ruling>, le Tribunal fédéral des assurances a explicité les motifs fondant l'application analogique de cette règle à l'octroi de l'indemnité de chômage. Il suffit d'y renvoyer. Ainsi, la jurisprudence étend l'exclusion du conjoint du droit à l'indemnité en cas de réduction de l'horaire de travail, au droit à l'indemnité de chômage (cf. arrêt non publié M. du 26 juillet 1999 [C 123/99]; voir aussi Regina Jäggi, Eingeschränkter Anspruch auf Arbeitslosenentschädigung bei arbeitgeberähnlicher Stellung durch analoge Anwendung von Art. 31 Abs. 3 lit. c AVIG, RSAS 2004, p. 9 s.). En effet, les conjoints peuvent exercer une influence sur la perte de travail qu'ils subissent, ce qui rend leur chômage difficilement contrôlable. En outre, aussi longtemps que cette influence subsiste, il existe une possibilité de réengagement. Dans ce cas également, il s'agit de ne pas détourner la réglementation en matière d'indemnité en cas de réduction de l'horaire de travail, par le biais d'une disposition sur l'indemnité de chômage.
Dans un arrêt M. du 4 septembre 1997 publié aux <ref-ruling>, le Tribunal fédéral des assurances a explicité les motifs fondant l'application analogique de cette règle à l'octroi de l'indemnité de chômage. Il suffit d'y renvoyer. Ainsi, la jurisprudence étend l'exclusion du conjoint du droit à l'indemnité en cas de réduction de l'horaire de travail, au droit à l'indemnité de chômage (cf. arrêt non publié M. du 26 juillet 1999 [C 123/99]; voir aussi Regina Jäggi, Eingeschränkter Anspruch auf Arbeitslosenentschädigung bei arbeitgeberähnlicher Stellung durch analoge Anwendung von Art. 31 Abs. 3 lit. c AVIG, RSAS 2004, p. 9 s.). En effet, les conjoints peuvent exercer une influence sur la perte de travail qu'ils subissent, ce qui rend leur chômage difficilement contrôlable. En outre, aussi longtemps que cette influence subsiste, il existe une possibilité de réengagement. Dans ce cas également, il s'agit de ne pas détourner la réglementation en matière d'indemnité en cas de réduction de l'horaire de travail, par le biais d'une disposition sur l'indemnité de chômage.
4. 4.1 La juridiction cantonale a nié le droit de l'assuré à l'indemnité de chômage durant les périodes déterminantes, au motif que, même si l'intéressé a subi un chômage complet du 1er janvier au 30 septembre 1999, son épouse a toutefois gardé sa qualité d'associée, sans que l'on puisse nier qu'elle ait eu une influence sur les décisions de l'entreprise. Cette influence est établie au degré de la vraisemblance prépondérante par le fait que la société a accepté le mandat de l'entreprise Y._, afin de procurer un emploi au recourant postérieurement au rachat de la part majoritaire et à sa réinscription au registre du commerce en qualité d'associé gérant avec signature individuelle.
De son côté, le recourant ne conteste pas qu'en sa qualité d'associée, son épouse ait pu exercer une influence sur la décision de la société de le réengager en tant que directeur, à plein temps et pour une durée indéterminée, à partir du 1er octobre 1999. En revanche, il fait valoir que la société a cessé toute activité durant les huit premiers mois de l'année 1999, de sorte qu'elle ne peut avoir eu un dirigeant susceptible d'en déterminer de manière décisive les orientations et l'activité.
4.2 Le point de vue du recourant est mal fondé. Dans un arrêt récent, le Tribunal fédéral des assurances a considéré que, tant qu'elle a la possibilité de remettre en activité l'entreprise, l'associée d'une Sàrl ne perd pas sa qualité de personne qui fixe ou peut influencer considérablement les décisions que prend l'employeur. En effet, le fait que la Sàrl n'a pas réalisé de chiffre d'affaires depuis quelques temps, n'empêche pas l'associée de la remettre en activité. Un arrêt temporaire de l'entreprise ne met pas fin à la qualité de personne assimilable à un employeur au sens de l'art. 31 al. 3 let. c LACI (DTA 2004 no 20 p. 195 consid. 4).
En l'espèce, l'épouse du recourant ayant gardé cette qualité tout au long des périodes litigieuses, l'intéressé n'avait dès lors pas droit à l'indemnité de chômage durant lesdites périodes. Aussi, du moment que son épouse était dûment inscrite au registre du commerce en qualité d'associée de la Sàrl, l'allocation d'une indemnité de chômage au recourant apparaît-elle sans nul doute erronée. En outre, la rectification des décisions (matérielles) d'octroi de ladite prestation revêt une importance notable, ce qui justifiait leur révocation par voie de reconsidération.
Cela étant, la caisse était fondée, par sa décision du 30 juillet 2002 à réclamer à l'assuré la restitution des indemnités de chômage indûment perçues durant les périodes du 1er janvier au 31 mars 1999 et du 15 juin au 30 septembre 1999. Le recours se révèle ainsi mal fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Vaud, au Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage, et au Secrétariat d'Etat à l'économie.
Lucerne, le 26 juillet 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: Le Greffier: