Faits:
Faits:
A. A.a H._ a travaillé en qualité d'administrateur-représentant au sein de la société X._ Sàrl, dont sa femme R._ détenait la majorité des parts sociales et était associée-gérante avec signature individuelle. Cette société avait pour but la fourniture et la pose de mains courantes et de protections en tous genres. H._ a été licencié en raison de difficultés économiques pour le 31 mars 2001. La Caisse publique cantonale vaudoise de chômage lui a versé des indemnités de chômage pour le mois d'avril 2001.
H._ s'est installé en Valais. Le 21 mai 2001, il s'est présenté à l'Office communal du travail de Sierre, indiquant qu'il était disposé et capable de travailler à plein temps et rechercher un emploi comme administrateur ou représentant de commerce. L'assuré a bénéficié d'indemnités de chômage de la part de la Caisse publique cantonale valaisanne de chômage du 1er mai au 30 septembre 2001.
Le 3 octobre suivant, l'assuré a demandé à l'Office régional de placement de Sierre de l'inscrire au chômage à 30 % seulement. Par la suite, il a remis à la caisse une attestation de gain intermédiaire et un contrat de travail selon lequel il était engagé, depuis le 1er octobre 2001, en qualité d'administrateur-représentant à 70 % par l'entreprise Y._. Cette raison individuelle avait été inscrite au Registre du commerce le 30 avril 2001; R._ en était titulaire avec signature individuelle, tandis que son conjoint bénéficiait d'une procuration individuelle. Entendu par un collaborateur de la caisse le 19 novembre 2001, H._ a indiqué s'être occupé de la visite et de la prospection des clients pour la société X._ Sàrl, et avoir géré l'équipe de montage, alors que son épouse se chargeait de l'administration; l'activité de la société s'était poursuivie jusqu'au 30 juin 2001. Il a par ailleurs précisé que depuis le 1er janvier 2000, il avait mené seul la gestion de la société, déclarée en faillite le 16 octobre 2001. En ce qui concerne son activité au service de l'entreprise Y._, il a expliqué exercer un travail identique à son activité antérieure, tandis que sa femme ne travaillait pratiquement pas pour la nouvelle société; il souhaitait exercer son travail et trouver une autre activité compatible à 100 %.
A.b Le 29 mai 2002, la Caisse publique cantonale valaisanne de chômage a rendu une décision par laquelle elle a constaté que H._ n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001. En bref, elle a considéré que le droit à l'indemnité ne pouvait lui être reconnu au motif qu'il était l'époux de l'associée-gérante de la société X._ Sàrl et avait été le seul administrateur de celle-ci depuis le 1er janvier 2000; il s'était par ailleurs occupé de la mise en place et de l'exploitation de Y._, dont il était, comme de la Sàrl, le «réel patron». Par une seconde décision du 3 juin 2002, la caisse a exigé la restitution de 32'076 fr. 30, correspondant aux indemnités versées à tort de mai à septembre 2001.
L'assuré a déféré ces deux décisions à la Commission cantonale valaisanne de recours en matière de chômage. Statuant le 23 octobre 2003, la juridiction cantonale a partiellement admis les recours en ce sens qu'elle a annulé la décision de la caisse du 29 mai 2002 «pour ce qui concerne la période du mois de mai au mois de septembre 2001», et les a rejetés pour le surplus, en confirmant la décision de la caisse du 3 juin 2002. Par arrêt du 31 mai 2005 (C 38/04), le Tribunal fédéral des assurances a rejeté le recours que H._ avait interjeté contre le jugement du 23 octobre 2003.
A.c Par décision du 23 septembre 2002, la Caisse publique cantonale vaudoise de chômage (la caisse de chômage) a exigé de H._ qu'il lui restitue la somme de 4'518 fr. 10, correspondant aux prestations de l'assurance-chômage perçues à tort pour le mois d'avril 2001.
H._ a recouru contre cette décision devant le Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage (le service de l'emploi). Il a été débouté par décision du 3 avril 2003.
H._ a recouru contre cette décision devant le Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage (le service de l'emploi). Il a été débouté par décision du 3 avril 2003.
B. H._ a déféré cette décision au Tribunal administratif du canton de Vaud. Par jugement du 27 juillet 2004, la juridiction cantonale a admis le recours et annulé la décision du service de l'emploi du 3 avril 2003.
C. Le Secrétariat d'Etat à l'économie interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant à ce que l'intimé soit condamné à rembourser la somme de 4'518 fr. 10.
L'intimé conclut implicitement au rejet du recours. Tandis que le service de l'emploi en propose l'admission, la caisse de chômage s'en remet à justice.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur l'obligation faite à l'intimé de restituer la somme de 4'518 fr. 10 au titre d'indemnités journalières versées durant le mois d'avril 2001.
1. Le litige porte sur l'obligation faite à l'intimé de restituer la somme de 4'518 fr. 10 au titre d'indemnités journalières versées durant le mois d'avril 2001.
2. 2.1 La loi fédérale sur la partie générale des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur au 1er janvier 2003, n'est pas applicable au présent litige, dès lors que le juge des assurances sociales n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date déterminante de la décision litigieuse du 23 septembre 2002 (<ref-ruling> consid. 1.2, 398 consid. 1.1 et les arrêts cités). Pour les mêmes motifs, les dispositions de la novelle du 22 mars 2002 modifiant la LACI, entrée en vigueur le 1er juillet 2003 (RO 2003 1728), ainsi que les dispositions de l'OACI modifiées le 28 mai 2003, entrées en vigueur le 1er juillet 2003 également (RO 2003 1828), ne sont pas non plus applicables.
2.2 Selon l'art. 31 al. 3 let. c LACI, n'ont pas droit à l'indemnité en cas de réduction de l'horaire de travail, les personnes qui fixent les décisions que prend l'employeur - ou peuvent les influencer considérablement - en qualité d'associé, de membre d'un organe dirigeant de l'entreprise ou encore de détenteur d'une participation financière à l'entreprise; il en va de même des conjoints de ces personnes, qui sont occupés dans l'entreprise.
Dans un arrêt M. du 4 septembre 1997 publié aux <ref-ruling>, le Tribunal fédéral des assurances a explicité les motifs fondant l'application analogique de cette règle à l'octroi de l'indemnité de chômage. Il suffit d'y renvoyer. Ainsi, la jurisprudence étend l'exclusion du conjoint du droit à l'indemnité en cas de réduction de l'horaire de travail, au droit à l'indemnité de chômage (cf. arrêt M. du 26 juillet 1999, [C 123/99]; voir aussi Regina Jäggi, Eingeschränkter Anspruch auf Arbeitslosenentschädigung bei arbeitgeberähnlicher Stellung durch analoge Anwendung von Art. 31 Abs. 3 lit. c AVIG, RSAS 2004, p. 9 sv.). En effet, les conjoints peuvent exercer une influence sur la perte de travail qu'ils subissent, ce qui rend leur chômage difficilement contrôlable. En outre, aussi longtemps que cette influence subsiste, il existe une possibilité de réengagement. Dans ce cas également, il s'agit de ne pas détourner la réglementation en matière d'indemnité en cas de réduction de l'horaire de travail, par le biais d'une disposition sur l'indemnité de chômage (DTA 2005 p. 130).
Lorsque l'administration statue pour la première fois sur le droit à l'indemnité d'un chômeur, elle émet un pronostic quant à la réalisation des conditions prévues par l'<ref-law>. Aussi longtemps qu'une personne occupant une fonction dirigeante maintient des liens avec sa société, non seulement la perte de travail qu'elle subit est incontrôlable mais la possibilité subsiste qu'elle décide d'en poursuivre le but social (cf. DTA 2002 p. 183; arrêt R. du 22 novembre 2002, C 37/02). Dans un tel cas de figure, il est donc impossible de déterminer si les conditions légales sont réunies sauf à procéder à un examen a posteriori de l'ensemble de la situation de l'intéressé, ce qui est contraire au principe selon lequel cet examen a lieu au moment où il est statué sur les droits de l'assuré. Au demeurant, ce n'est pas l'abus avéré comme tel que la loi et la jurisprudence (<ref-ruling>) entendent sanctionner ici, mais le risque d'abus que représente le versement d'indemnités à un travailleur jouissant d'une situation comparable à celle d'un employeur (DTA 2003 p. 242 consid. 4).
Dès lors, contrairement à la pratique du Tribunal administratif du canton de Vaud (jugement du 12 avril 2002, PS 2001/0158, cité au consid. 7 du jugement attaqué) que cette autorité a suivie en l'espèce, il n'y a pas de place, dans ce contexte, pour un examen au cas par cas d'une éventuelle fraude à la loi de la part d'un assuré.
2.3 Par ailleurs, selon l'<ref-law>, 1ère phrase, la caisse est tenue d'exiger du bénéficiaire la restitution des prestations de l'assurance auxquelles il n'avait pas droit. Une telle restitution suppose toutefois que soient remplies les conditions d'une reconsidération ou d'une révision procédurale des décisions par lesquelles les prestations litigieuses ont été allouées (<ref-ruling> consid. 3a, 368 consid. 3 et la jurisprudence citée; DTA 2001 p. 148 consid. 1a). Cela vaut aussi, en principe, pour les prestations qui ont été accordées sans avoir fait l'objet d'une décision formelle (voir <ref-ruling> consid. 3; DTA 2001 précité).
2.3 Par ailleurs, selon l'<ref-law>, 1ère phrase, la caisse est tenue d'exiger du bénéficiaire la restitution des prestations de l'assurance auxquelles il n'avait pas droit. Une telle restitution suppose toutefois que soient remplies les conditions d'une reconsidération ou d'une révision procédurale des décisions par lesquelles les prestations litigieuses ont été allouées (<ref-ruling> consid. 3a, 368 consid. 3 et la jurisprudence citée; DTA 2001 p. 148 consid. 1a). Cela vaut aussi, en principe, pour les prestations qui ont été accordées sans avoir fait l'objet d'une décision formelle (voir <ref-ruling> consid. 3; DTA 2001 précité).
3. Les considérants 4.1 et 4.2 de l'arrêt de la Cour de céans du 31 mai 2005 (C 38/04) s'appliquent mutatis mutandis à la solution du présent litige. Il suffit d'y renvoyer.
Comme l'octroi des indemnités de chômage était manifestement erroné pour le mois d'avril 2001, l'administration a exigé à juste titre la restitution des prestations versées. Le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis et le jugement du Tribunal administratif du canton de Vaud du 27 juillet 2004 est annulé.
1. Le recours est admis et le jugement du Tribunal administratif du canton de Vaud du 27 juillet 2004 est annulé.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Vaud, au Service de l'emploi du canton de Vaud, première instance cantonale de recours en matière d'assurance-chômage, et à la Caisse publique cantonale vaudoise de chômage.
Lucerne, le 29 août 2005
Au nom du Tribunal fédéral des assurances
p. le Président de la IVe Chambre: Le Greffier: