Faits:
Faits:
A. H._ a travaillé en qualité d'administrateur-représentant au sein de la société R._ dont sa femme, D._ détenait la majorité des parts sociales et était associée-gérante avec signature individuelle. Cette société avait pour but la fourniture et la pose de mains courantes et de protections en tous genres. H._ a été licencié en raison de difficultés économiques pour le 31 mars 2001.
S'étant d'abord annoncé au chômage dans le canton de Vaud avant de déménager dans le canton du Valais, celui-ci s'est présenté à l'Office communal du travail de I._, le 21 mai 2001. Il a indiqué être disposé et capable de travailler à plein temps et rechercher un emploi comme administrateur ou représentant de commerce. L'assuré a bénéficié d'indemnités de chômage de la part de la Caisse publique cantonale valaisanne de chômage (ci-après: la caisse) du 1er mai au 30 septembre 2001.
Le 3 octobre suivant, l'assuré a demandé à l'Office régional de placement de Sierre de l'inscrire au chômage à 30 % seulement. Par la suite, il a remis à la caisse une attestation de gain intermédiaire et un contrat de travail selon lequel il était engagé, depuis le 1er octobre 2001, en qualité d'administrateur-représentant à 70 % par l'entreprise O._. Cette raison individuelle avait été inscrite au Registre du commerce le 30 avril 2001; D._ en était titulaire avec signature individuelle, tandis que son conjoint bénéficiait d'une procuration individuelle. Entendu par un collaborateur de la caisse le 19 novembre 2001, H._ a indiqué s'être occupé de la visite et de la prospection des clients pour la société R._, et avoir géré l'équipe de montage, alors que son épouse se chargeait de l'administration; l'activité de la société s'était poursuivie jusqu'au 30 juin 2001. Il a par ailleurs précisé que depuis le 1er janvier 2000, il avait mené seul la gestion de la société, déclarée en faillite le 16 octobre 2001. En ce qui concerne son activité au service de l'entreprise O._, il a expliqué exercer un travail identique à son activité antérieure, tandis que sa femme ne travaillait pratiquement pas pour la nouvelle société; il souhaitait exercer son travail et trouver une autre activité compatible à 100 %.
Après un échange de correspondance, la caisse a, le 29 mai 2002, rendu une décision par laquelle elle a constaté que H._ n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001. En bref, elle a considéré que le droit à l'indemnité ne pouvait lui être reconnu au motif qu'il était l'époux de l'associée-gérante de la société R._ et avait été le seul administrateur de celle-ci depuis le 1er janvier 2000; il s'était par ailleurs occupé de la mise en place et de l'exploitation de O._, dont il était, comme de la Sàrl, le «réel patron». Par une seconde décision du 3 juin 2002, la caisse a exigé la restitution de 32'076 fr. 30, correspondant aux indemnités versées à tort de mai à septembre 2001.
Après un échange de correspondance, la caisse a, le 29 mai 2002, rendu une décision par laquelle elle a constaté que H._ n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001. En bref, elle a considéré que le droit à l'indemnité ne pouvait lui être reconnu au motif qu'il était l'époux de l'associée-gérante de la société R._ et avait été le seul administrateur de celle-ci depuis le 1er janvier 2000; il s'était par ailleurs occupé de la mise en place et de l'exploitation de O._, dont il était, comme de la Sàrl, le «réel patron». Par une seconde décision du 3 juin 2002, la caisse a exigé la restitution de 32'076 fr. 30, correspondant aux indemnités versées à tort de mai à septembre 2001.
B. L'assuré a déféré ces deux décisions à la Commission cantonale valaisanne de recours en matière de chômage. Statuant le 23 octobre 2003, la juridiction cantonale a partiellement admis les recours en ce sens qu'elle a annulé la décision de la caisse du 29 mai 2002 «pour ce qui concerne la période du mois de mai au mois de septembre 2001», et les a rejetés pour le surplus, en confirmant la décision de la caisse du 3 juin 2002.
B. L'assuré a déféré ces deux décisions à la Commission cantonale valaisanne de recours en matière de chômage. Statuant le 23 octobre 2003, la juridiction cantonale a partiellement admis les recours en ce sens qu'elle a annulé la décision de la caisse du 29 mai 2002 «pour ce qui concerne la période du mois de mai au mois de septembre 2001», et les a rejetés pour le surplus, en confirmant la décision de la caisse du 3 juin 2002.
C. H._ interjette recours de droit administratif contre ce jugement dont il demande implicitement l'annulation.
La Commission cantonale valaisanne de recours en matière de chômage s'est déterminée sur le recours, tandis que la Caisse publique cantonale valaisanne de chômage et le Secrétariat d'Etat à l'économie ont renoncé à ce faire.

Considérant en droit:
Considérant en droit:
1. Par les deux décisions litigieuses, l'intimée a d'abord, le 29 mai 2002, nié le droit du recourant à des indemnités de chômage à partir du 1er mai 2001, puis demandé la restitution des prestations versées depuis cette date (décision du 3 juin 2002). Comme l'ont à juste titre retenu les premiers juges, l'intimée n'avait, en l'occurrence, aucune raison de dissocier le droit du recourant à des indemnités de chômage à partir du 1er mai 2001 et la restitution des indemnités déjà versées pour la même période, dès lors qu'elle pouvait et devait préserver son intérêt au remboursement des prestations octroyées directement au moyen d'une décision formatrice (arrêt P. du 11 octobre 2002, C 81/01), ce qu'elle a fait par décision du 3 juin 2002. Faute d'intérêt digne de protection à la constatation du droit du recourant à des indemnités journalières pour la période en cause, c'est à tort que l'intimée a rendu, le 29 mai 2002, une décision de constatation sur ce point. Aussi est-ce à bon droit que la juridiction cantonale a annulé d'office cette décision en ce qui concerne la période du 1er mai au 30 septembre 2001 (cf. <ref-ruling>).
Contrairement à ce que fait valoir le recourant, l'annulation de la décision du 29 mai 2002 n'a pas pour effet de «confirmer» son droit aux indemnités de chômage, dès lors que la décision de restitution subséquente (du 3 juin 2002), par laquelle l'intimée a constaté que l'assuré n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001 et demandé la répétition des prestations versées à tort, a été confirmée par l'autorité cantonale de recours.
Contrairement à ce que fait valoir le recourant, l'annulation de la décision du 29 mai 2002 n'a pas pour effet de «confirmer» son droit aux indemnités de chômage, dès lors que la décision de restitution subséquente (du 3 juin 2002), par laquelle l'intimée a constaté que l'assuré n'avait pas droit à l'indemnité de chômage à partir du 1er mai 2001 et demandé la répétition des prestations versées à tort, a été confirmée par l'autorité cantonale de recours.
2. Le litige porte sur l'obligation faite au recourant de restituer la somme de 32'076 fr. 30 au titre d'indemnités journalières versées du 1er mai au 30 septembre 2001.
2. Le litige porte sur l'obligation faite au recourant de restituer la somme de 32'076 fr. 30 au titre d'indemnités journalières versées du 1er mai au 30 septembre 2001.
3. 3.1 La loi fédérale sur la partie générale des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur au 1er janvier 2003, n'est pas applicable au présent litige, dès lors que le juge des assurances sociales n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date déterminante de la décision litigieuse du 3 juin 2002 (<ref-ruling> consid. 1.2, 398 consid. 1.1 et les arrêts cités). Pour les mêmes motifs, les dispositions de la novelle du 22 mars 2002 modifiant la LACI, entrée en vigueur le 1er juillet 2003 (RO 2003 1728), ainsi que les dispositions de l'OACI modifiées le 28 mai 2003, entrées en vigueur le 1er juillet 2003 également (RO 2003 1828), ne sont pas non plus applicables.
3.2 Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels relatifs aux conditions auxquelles l'administration peut demander la restitution des prestations allouées, ainsi qu'à l'exigence d'une aptitude de l'assuré à être placé pour qu'il puisse prétendre une indemnité journalière de l'assurance-chômage, si bien qu'on peut y renvoyer.
3.3 On ajoutera que selon l'art. 31 al. 3 let. c LACI, n'ont pas droit à l'indemnité en cas de réduction de l'horaire de travail, les personnes qui fixent les décisions que prend l'employeur - ou peuvent les influencer considérablement - en qualité d'associé, de membre d'un organe dirigeant de l'entreprise ou encore de détenteur d'une participation financière à l'entreprise; il en va de même des conjoints de ces personnes, qui sont occupés dans l'entreprise.
Dans un arrêt M. du 4 septembre 1997 publié aux <ref-ruling>, le Tribunal fédéral des assurances a explicité les motifs fondant l'application analogique de cette règle à l'octroi de l'indemnité de chômage. Il suffit d'y renvoyer. Ainsi, la jurisprudence étend l'exclusion du conjoint du droit à l'indemnité en cas de réduction de l'horaire de travail, au droit à l'indemnité de chômage (cf. arrêt M. du 26 juillet 1999, [C 123/99]; voir aussi Regina Jäggi, Eingeschränkter Anspruch auf Arbeitslosenentschädigung bei arbeitgeberähnlicher Stellung durch analoge Anwendung von Art. 31 Abs. 3 lit. c AVIG, RSAS 2004, p. 9 sv.). En effet, les conjoints peuvent exercer une influence sur la perte de travail qu'ils subissent, ce qui rend leur chômage difficilement contrôlable. En outre, aussi longtemps que cette influence subsiste, il existe une possibilité de réengagement. Dans ce cas également, il s'agit de ne pas détourner la réglementation en matière d'indemnité en cas de réduction de l'horaire de travail, par le biais d'une disposition sur l'indemnité de chômage (arrêt W. du 7 décembre 2004, C 193/04).
Dans un arrêt M. du 4 septembre 1997 publié aux <ref-ruling>, le Tribunal fédéral des assurances a explicité les motifs fondant l'application analogique de cette règle à l'octroi de l'indemnité de chômage. Il suffit d'y renvoyer. Ainsi, la jurisprudence étend l'exclusion du conjoint du droit à l'indemnité en cas de réduction de l'horaire de travail, au droit à l'indemnité de chômage (cf. arrêt M. du 26 juillet 1999, [C 123/99]; voir aussi Regina Jäggi, Eingeschränkter Anspruch auf Arbeitslosenentschädigung bei arbeitgeberähnlicher Stellung durch analoge Anwendung von Art. 31 Abs. 3 lit. c AVIG, RSAS 2004, p. 9 sv.). En effet, les conjoints peuvent exercer une influence sur la perte de travail qu'ils subissent, ce qui rend leur chômage difficilement contrôlable. En outre, aussi longtemps que cette influence subsiste, il existe une possibilité de réengagement. Dans ce cas également, il s'agit de ne pas détourner la réglementation en matière d'indemnité en cas de réduction de l'horaire de travail, par le biais d'une disposition sur l'indemnité de chômage (arrêt W. du 7 décembre 2004, C 193/04).
4. 4.1 Il est constant que le recourant a été employé par la société R._ dont son épouse détenait la majorité des parts sociales et était associée-gérante avec signature individuelle; il a par ailleurs, de son propre aveu, assumé seul l'administration de cette société à partir du 1er janvier 2000 jusqu'à son licenciement au 31 mars 2001. Il ressort en outre de ses déclarations du 19 novembre 2001 que la société a maintenu ses activités jusqu'en juin 2001, date à partir de laquelle l'entreprise O._ a débuté les siennes. C'est toutefois dans le cadre de l'exploitation de la première société que l'étude et la prospection du marché valaisan avaient été menées par le recourant pour la seconde entreprise. Dès la création de celle-ci, le recourant a disposé d'une procuration individuelle avant d'y être engagé formellement à partir du 1er octobre 2001 pour un taux d'activité de 70 %, en tant que seul employé, sa femme n'envisageant pas d'y travailler.
Dans ces circonstances, on ne saurait considérer que le recourant, conjoint d'une personne dirigeante au sens de l'art. 31 al. 3 let. c LACI avait cessé d'exercer toute influence sur la perte de travail qu'il subissait, ce d'autant plus qu'il a repris par la suite une activité du même type au sein d'une nouvelle entreprise aux mains de sa femme et pour laquelle il disposait d'une procuration individuelle dès le 30 avril 2001. Le droit à l'indemnité de chômage devait dès lors lui être nié à partir du 1er mai 2001. Par la suite, et comme l'ont à juste titre retenu les premiers juges aux considérants desquels on peut renvoyer (consid. 5 du jugement entrepris), le recourant n'était pas apte au placement, puisqu'il entendait avant tout poursuivre et développer les activités de O._.
4.2 En conséquence, les décisions (matérielles) d'octroi des prestations par l'intimée s'avèrent manifestement erronées. Leur rectification revêt par ailleurs une importance notable au vu du montant des indemnités accordées à tort (32'076 fr. 30). Le recourant ne conteste du reste pas l'étendue de la restitution qui ne prête pas à discussion eu égard aux pièces du dossier. C'est dire que les conditions d'une reconsidération sont remplies et que le recourant est tenu de rembourser le montant de 32'076 fr. 30. Comme l'a indiqué la juridiction cantonale, H._ a la faculté de demander la remise de son obligation. Le cas échéant, il appartiendra alors à l'autorité compétente d'examiner l'argument qu'il soulève en relation avec sa bonne foi (cf. art. 95 aLACI, 25 LPGA).
4.2 En conséquence, les décisions (matérielles) d'octroi des prestations par l'intimée s'avèrent manifestement erronées. Leur rectification revêt par ailleurs une importance notable au vu du montant des indemnités accordées à tort (32'076 fr. 30). Le recourant ne conteste du reste pas l'étendue de la restitution qui ne prête pas à discussion eu égard aux pièces du dossier. C'est dire que les conditions d'une reconsidération sont remplies et que le recourant est tenu de rembourser le montant de 32'076 fr. 30. Comme l'a indiqué la juridiction cantonale, H._ a la faculté de demander la remise de son obligation. Le cas échéant, il appartiendra alors à l'autorité compétente d'examiner l'argument qu'il soulève en relation avec sa bonne foi (cf. art. 95 aLACI, 25 LPGA).
5. Vu ce qui précède, le recours de droit administratif est mal fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, à la Commission cantonale valaisanne de recours en matière de chômage, au Service de l'industrie, du commerce et du travail, à l'Office régional de placement et au Secrétariat d'Etat à l'économie.
Lucerne, le 31 mai 2005
Au nom du Tribunal fédéral des assurances
p. le Président de la IVe Chambre: La Greffière: