Faits:
A. Inscrite au registre du commerce le 26 juillet 1988, la société X._ SA a notamment pour but l'achat et la vente de tout matériel de mesures scientifiques et industrielles. J._ en a été l'administrateur unique depuis le 9 novembre 1998. Dès le mois de novembre 2001, il en a été en outre le salarié, en qualité de responsable des ventes.
Après avoir démissionné de sa fonction d'administrateur, le prénommé a été licencié le 20 janvier 2004, avec effet au 30 avril suivant. Lors d'une assemblée générale extraordinaire tenue le 7 mai 2004, les actionnaires de X._ SA ont pris acte de la fin du mandat d'administrateur de l'intéressé et de la nomination d'un nouvel administrateur. A cette occasion, le siège de la société a été transféré de Y._ à Z._. Ces changements ont été inscrits au registre du commerce le 12 mai 2004 et publiés à la Feuille officielle suisse du commerce le 18 mai suivant.
J._ a bénéficié d'indemnités de chômage à partir du 7 mai 2004. Pendant la période d'indemnisation, il a annoncé des gains intermédiaires réalisés au service de X._ SA dès le mois d'octobre 2004. Par contrat de travail du 27 avril 2005, ladite société l'a engagé en qualité d'ingénieur à partir du 2 mai suivant.
Par décision du 27 mai 2005, confirmée sur opposition le 12 juillet suivant, la Caisse de chômage de la Chambre vaudoise du commerce et de l'industrie (ci-après : la caisse CVCI) a nié le droit de l'assuré aux indemnités de chômage allouées à partir du 7 mai 2004. Elle a considéré que malgré son licenciement avec effet au 30 avril 2004 et sa démission de sa fonction d'administrateur unique, l'intéressé avait conservé la capacité d'influencer considérablement les décisions de la société X._ SA. Saisi d'un recours contre la décision sur opposition, le Tribunal administratif du Canton de Vaud l'a rejeté par jugement du 1er mai 2006.
Par une seconde décision du 27 mai 2005, la caisse CVCI a réclamé à l'assuré la restitution d'un montant de 45'440 fr. 90, représentant les indemnités perçues à tort durant la période du 7 mai 2004 au 31 mars 2005.
Saisie d'une opposition contre cette décision, la Caisse d'assurance-chômage de la Société des jeunes commerçants (ci-après : la caisse) - qui avait repris l'ensemble des dossiers de la caisse CVCI à la suite de sa fermeture définitive en décembre 2005 - l'a rejetée par décision du 15 novembre 2006.
B. Statuant le 10 juillet 2008, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition.
C. J._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant, sous suite de frais et dépens, à ce que le Tribunal fédéral constate qu'il n'est pas débiteur de l'intimée. A titre subsidiaire, il demande le renvoi de la cause à la juridiction cantonale pour nouveau jugement ou à la caisse pour nouvelle décision. En outre, il requiert l'octroi de l'effet suspensif.
La caisse a renoncé à présenter des déterminations sur le recours, ainsi que sur la requête d'effet suspensif. Quant au Secrétariat d'Etat à l'économie, il ne s'est pas non plus déterminé.
Par ordonnance du 10 novembre 2008, le Juge instructeur a admis la requête d'effet suspensif.

Considérant en droit:
1. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.3 p. 519; <ref-ruling> consid. 1.4 p. 140).
En outre, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans l'établissement de celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2. Le litige porte sur le point de savoir si la caisse intimée était fondée, par sa décision sur opposition du 15 novembre 2006, à réclamer au recourant le montant de 45'440 fr. 90, représentant la somme des indemnités de chômage indûment perçues durant la période du 7 mai 2004 au 31 mars 2005.
3. 3.1 Selon l'<ref-law>, auquel renvoie l'<ref-law>, les prestations indûment touchées doivent être restituées (al. 1, première phrase). Selon la jurisprudence, les principes régissant la restitution de prestations indûment perçues, applicables avant l'entrée en vigueur de la LPGA, le 1er janvier 2003, sont également applicables sous l'empire de cette loi (<ref-ruling> consid. 5.2 p. 319 et la référence).
D'après la jurisprudence rendue à propos de l'<ref-law> (en vigueur jusqu'au 31 décembre 2002), dont le Tribunal fédéral des assurances a jugé qu'elle s'appliquait par analogie à la restitution d'indemnités indûment perçues dans l'assurance-chômage (cf. <ref-ruling> consid. 3 p. 368; <ref-ruling> consid. 2a p. 179, et les références), une prestation accordée sur la base d'une décision formellement passée en force et sur laquelle une autorité judiciaire ne s'est pas prononcée sous l'angle matériel ne peut être répétée que lorsque les conditions qui président à la révocation, par son auteur, d'une décision administrative, sont réalisées.
Selon l'<ref-law>, l'assureur peut revenir sur les décisions ou les décisions sur opposition formellement passées en force lorsqu'elles sont manifestement erronées et que leur rectification revêt une importance notable. Cela vaut aussi pour les prestations qui ont été accordées sans avoir fait l'objet d'une décision formelle (décision implicite prise dans le cadre d'une procédure simplifiée au sens de l'<ref-law>; cf. <ref-ruling> consid. 5 p. 417).
3.2 Dans son jugement du 1er mai 2006, entré en force, la juridiction cantonale a nié le droit de l'assuré à des indemnités de chômage, motif pris que, dans la mesure où la société X._ SA avait son siège à l'adresse personnelle de l'assuré et celui-ci avait effectué divers mandats pour le compte de cette société, l'intéressé avait conservé le pouvoir d'influencer considérablement les décisions de l'employeur (application analogique de l'art. 31 al. 3 let. c LACI; cf. <ref-ruling>). Dans son jugement entrepris du 10 juillet 2008, le tribunal cantonal s'est fondé sur le prononcé précité pour confirmer la décision de restitution des indemnités de chômage perçues durant la période du 7 mai 2004 au 31 mars 2005.
De son côté, le recourant admet avoir conservé le pouvoir d'influencer considérablement les décisions de l'employeur après le 7 mai 2004. Cependant, il soutient que l'octroi des indemnités de chômage ne reposait pas sur une erreur manifeste, du moment que l'art. 31 al. 3 let. c LACI concerne l'indemnité en cas de réduction de l'horaire de travail et n'est applicable à l'indemnité de chômage que par analogie.
3.3 Le point de vue du recourant est mal fondé.
Selon la jurisprudence constante, les personnes qui n'ont pas droit à l'indemnité en cas de réduction de l'horaire de travail parce qu'elles fixent les décisions que prend l'employeur, ou peuvent les influencer considérablement (art. 31 al. 3 let. c LACI), n'ont pas droit non plus à l'indemnité de chômage (<ref-ruling>; DTA 2008 p. 148, 8C_245/2007 consid. 2; DTA 2008 p. 312, C 13/07 consid. 2).
En l'espèce, il ressort d'un extrait du Registre du commerce du canton de Vaud et du procès-verbal de l'assemblée générale extraordinaire du 7 mai 2004 que le siège de la société X._ SA a été transféré de Y._ à Z._. Par ailleurs, différents documents recueillis par la caisse CVCI le 10 mai 2004 indiquent que l'assuré avait son domicile à l'adresse susmentionnée. Dans ces conditions, et compte tenu du fait qu'il a continué d'effectuer des mandats pour le compte de la société, il apparaît que l'intéressé a conservé le pouvoir d'influencer considérablement les décisions de l'employeur après le 7 mai 2004. Aussi, la caisse a-t-elle commis une erreur manifeste en lui allouant une indemnité de chômage après cette date. Par ailleurs, il est incontestable que la rectification des décisions matérielles d'octroi des prestations indues revêt une importance notable au sens de l'<ref-law>.
Quant aux autres griefs soulevés par le recourant, ils ne font pas obstacle à la demande de restitution des prestations indûment perçues. En particulier, l'argument tiré de la bonne foi devra être examiné par la caisse dans le cadre de la procédure relative à la demande de remise encore pendante.
4. Le recourant fait valoir que la créance de l'intimée en restitution des indemnités allouées à tort était éteinte au moment du prononcé de la décision de restitution du 27 mai 2005.
4.1 Sauf exception - non réalisée en l'espèce - la demande de restitution de prestations de l'assurance-chômage est régie par l'<ref-law> (<ref-law>). Selon cette disposition de la LPGA, le droit de demander la restitution s'éteint un an après le moment où l'institution d'assurance a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation.
Selon la jurisprudence, le délai de péremption d'une année commence à courir dès le moment où la caisse aurait dû se rendre compte de son erreur en faisant preuve de l'attention requise. Lorsque la restitution est imputable à une faute de l'administration, on ne saurait considérer comme point de départ du délai d'une année le moment où l'erreur a été commise par l'administration, mais le moment auquel celle-ci aurait dû, dans un deuxième temps (par exemple à l'occasion d'un contrôle) se rendre compte de son erreur en faisant preuve de l'attention requise. En effet, si l'on plaçait le moment de la connaissance du dommage à la date du versement indu, cela rendrait souvent illusoire la possibilité pour l'administration de réclamer le remboursement de prestations allouées à tort en cas de faute de sa part (<ref-ruling> consid. 1 p. 382 s.).
4.2 Le recourant est d'avis que la caisse de chômage a eu connaissance des faits justifiant sa demande de restitution le 18 mai 2004, moment auquel le transfert du siège social de la société à Z._, a été publié à la Feuille officielle suisse du commerce.
Ce point de vue est mal fondé. L'erreur qui est à l'origine du versement des prestations consiste précisément en ce qu'il a échappé à la caisse que le nouveau siège de la société et le domicile de l'assuré étaient situés à la même adresse. L'intimée ne pouvait donc connaître l'existence des fonctions dirigeantes encore exercées par l'intéressé au sein de la société que le 3 novembre 2004, date à laquelle celui-ci a annoncé pour la première fois le gain intermédiaire réalisé au service de X._ SA.
Cela étant, la juridiction cantonale a considéré à juste titre que le délai de péremption d'une année prévu à l'<ref-law> n'était pas échu le 27 mai 2005, date à laquelle la caisse a rendu la décision en restitution des prestations indûment perçues durant la période du 7 mai 2004 au 31 mars 2005.
5. Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
6. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat à l'économie.
Lucerne, le 1er avril 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Beauverd