Faits:
A. A.a H._ a bénéficié d'indemnités de chômage durant la période du 24 avril 1998 au 23 avril 2000. Le 14 octobre 2003, il a présenté une nouvelle demande d'indemnité de chômage. La Caisse de chômage FTMH (aujourd'hui : la Caisse de chômage UNIA; ci-après: la caisse) a alors appris que l'assuré avait été immatriculé en qualité d'étudiant régulier à la Faculté des Sciences de l'Université X._ à partir du 15 octobre 1997 et qu'il y avait obtenu un diplôme au mois de juin 2002.
Invité par la caisse à vérifier si l'intéressé avait droit à l'indemnité de chômage durant la période du 24 avril 1998 au 23 avril 2000, l'Office du chômage du canton de Neuchâtel a rendu une décision, le 5 janvier 2004, par laquelle il a nié le droit de l'assuré à une indemnité de chômage durant la période en cause, motif pris que l'intéressé était inapte au placement. Cette décision a été confirmée sur opposition par le Service de l'emploi du canton de Neuchâtel, le 7 avril 2004.
Par décision du 2 novembre 2005, le Département de l'économie du canton de Neuchâtel (ci-après: le département) a rejeté le recours formé contre cette décision sur opposition.
Le 29 juillet 2004, la caisse a rendu une décision en restitution d'un montant de 75'094 fr. 30, représentant les indemnités de chômage perçues durant la période du mois d'avril 1998 au mois d'avril 2000. Saisie d'une opposition, elle a suspendu la procédure jusqu'au règlement définitif du litige opposant l'assuré au service de l'emploi.
A.b Statuant le 8 mars 2007, le Tribunal administratif du canton de Neuchâtel a rejeté, dans la mesure où il était recevable, le recours formé contre la décision du département du 2 novembre 2005.
A.c Par arrêt du 1er février 2008, le Tribunal fédéral a rejeté, dans la mesure où il était recevable, le recours en matière de droit public interjeté par H._ contre ce jugement (8C_138/2007).
B. Le 21 mars 2007, la caisse a rendu une décision par laquelle elle a partiellement admis l'opposition formée contre sa décision en restitution du 29 juillet 2004, en ce sens que le montant à restituer compte tenu du délai de péremption, de cinq ans, a été ramené à 28'407 fr. 30, somme représentant les indemnités de chômage indûment perçues durant la période du mois d'août 1999 au 23 avril 2000.
Par décision du 7 août 2007, le département a rejeté le recours formé contre cette décision sur opposition.
C. Saisi d'un recours contre la décision du département, le tribunal administratif l'a rejeté par jugement du 11 août 2009.
D. H._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant, sous suite de frais et dépens, au renvoi de la cause à la caisse pour nouvelle décision qui respecte le droit d'être entendu, subsidiairement à la juridiction cantonale pour nouveau jugement au sens des considérants. Plus subsidiairement encore, il demande que le Tribunal fédéral constate la péremption du droit de la caisse de réclamer la restitution.
La caisse intimée, le département et le Secrétariat d'État à l'économie (SECO) ont renoncé à présenter des déterminations. La juridiction cantonale propose le rejet du recours.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente, mais il n'examine la violation de droits fondamentaux, ainsi que celle de dispositions de droit cantonal ou intercantonal, que si ce grief a été invoqué et motivé par le recourant (<ref-law>; sur les exigences quant à la motivation, cf. <ref-ruling> consid. 3.1 p. 399 et arrêt 9C_722/2007 du 11 avril 2008 consid. 1.2).
2. 2.1 Par un premier moyen, le recourant invoque une violation de son droit d'être entendu, en reprochant à la caisse intimée d'avoir omis de statuer dans sa décision sur opposition sur ses arguments tendant à démontrer que la décision de restitution avait été rendue après l'expiration du délai de péremption d'une année prévu à l'<ref-law>. A cet égard, il conteste le point de vue du département et de la juridiction cantonale, selon lequel ce vice a été réparé dans la procédure devant le département, dès lors qu'au stade du premier échange d'écritures, la caisse s'était déterminée sur cet argument. Certes, l'intéressé admet que le département et la juridiction cantonale constatent d'office les faits et procèdent à l'administration des preuves qu'ils apprécient librement. Cependant, ce vice ne peut pas être réparé lorsque, comme en l'occurrence, la violation est grave et qu'elle a été commise par une autorité administrative jouissant d'un pouvoir d'appréciation dont l'exercice n'est revu par l'autorité de recours que sous l'angle de l'excès ou de l'abus de pouvoir, sans contrôle de l'opportunité.
2.2 Une autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (<ref-ruling> consid. 3a p. 117; Pra 2003 n° 119 p. 633, 1P. 15/2003 consid. 2; arrêt 9C_561/2009 du 14 janvier 2010 consid. 6.2). Par ailleurs, la jurisprudence a déduit du droit d'être entendu, consacré à l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision; elle n'a toutefois pas l'obligation d'exposer et de discuter tous les arguments invoqués par les parties. Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (<ref-ruling> consid. 3.2 p. 236; <ref-ruling> consid. 2b p. 102 s.). En règle générale, l'étendue de l'obligation de motiver dépend de la complexité de l'affaire à juger, de la liberté d'appréciation dont jouit l'autorité et de la potentielle gravité des conséquences de sa décision (cf. <ref-ruling> consid. 2b p. 107).
Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit en principe entraîner l'annulation de la décision attaquée indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 3d/aa p. 437).
Par exception au principe de la nature formelle du droit d'être entendu, la jurisprudence admet qu'une violation de ce dernier principe est considérée comme réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité inférieure et pouvant ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (<ref-ruling> consid. 2.2 p. 204; <ref-ruling> consid. 2.2.3 p. 135; <ref-ruling> consid. 3d/aa p. 437; <ref-ruling> consid. 2b p. 132).
2.3 En l'espèce, le recourant a eu la possibilité de présenter librement son objection de péremption devant le département, ainsi que devant la juridiction cantonale, lesquels disposaient d'un pouvoir d'examen identique à celui de l'autorité saisie de l'opposition. En effet, dans la mesure où la question de la péremption éventuelle du droit de la caisse de réclamer la restitution ne relève pas de l'opportunité de la décision attaquée - à la différence d'une décision de retrait du permis de conduire et de la jurisprudence y relative invoquée par le recourant - , peu importe que le pouvoir d'examen des autorités de recours ne s'étende pas à l'opportunité de la décision attaquée. En tant que l'objection de péremption a fait l'objet d'un examen complet par le département et par la juridiction cantonale, ou que du moins, le recourant n'explique pas en quoi cet examen aurait été incomplet, il faut admettre que la prétendue violation du droit d'être entendu dont il se plaint a bien été réparée par les autorités de recours cantonales, sans que celles-ci eussent dû renvoyer la cause à la caisse.
Le grief de violation du droit d'être entendu se révèle ainsi mal fondé.
3. Le litige porte sur le point de savoir si la caisse intimée était fondée, par sa décision sur opposition du 21 mars 2007, à réclamer la restitution des prestations d'assurance-chômage indûment perçues durant la période du mois d'août 1999 au 23 avril 2000. Singulièrement, il concerne la péremption éventuelle du droit de l'intimée de demander la restitution.
Le jugement attaqué expose de manière exacte et complète la réglementation légale et la jurisprudence concernant la péremption du droit de demander la restitution de prestations indûment perçues. Il suffit donc d'y renvoyer.
4. 4.1 La juridiction cantonale a considéré que c'est seulement au mois d'octobre 2003, lors du dépôt d'une nouvelle demande d'indemnité de chômage, que la caisse a eu ou aurait dû avoir connaissance du fait qu'une des conditions du droit à ladite indemnité - à savoir l'aptitude au placement - n'était pas réalisée durant le délai-cadre d'indemnisation du 24 avril 1998 au 23 avril 2000. En particulier, les premiers juges sont d'avis que la caisse n'a pas eu connaissance de ce fait ni en 1999, lors de la communication d'une lettre de l'Office central universitaire suisse attestant que l'assuré était titulaire d'une licence délivrée à l'étranger, ni en 2002, moment où l'intéressé a déposé une nouvelle demande de prestations, à laquelle il a finalement renoncé le 28 août 2002. La juridiction cantonale a constaté que le dossier constitué à l'occasion de cette demande contenait certains indices justifiant une éventuelle demande de restitution comme une attestation de l'Université X._ relative à l'obtention du diplôme le 26 juin 2002, ainsi qu'une formule d'inscription pour l'année universitaire 2001 - 2002. Toutefois, comme le dossier de l'assuré a été classé sans examen approfondi à la suite du retrait de la demande de prestations, on ne pouvait exiger de l'administration qu'elle se rendît compte que les conditions du droit à l'indemnité de chômage (durant la période litigieuse) n'étaient pas toutes réalisées.
De son côté, le recourant soutient que les organes de l'assurance-chômage savaient ou auraient dû savoir déjà en 1999 que la condition de l'aptitude au placement n'était pas réalisée. Il se réfère pour cela à l'arrêt du Tribunal fédéral du 1er février 2008 (8C_138/2007), duquel il ressort que la volonté de prendre un emploi durant la période du mois d'août au mois d'octobre 1999 devait être niée en raison de l'attitude générale de l'assuré telle qu'elle ressortait des constatations de fait du jugement du tribunal administratif cantonal du 8 mars 2007, lesquelles contenaient notamment le passage suivant :
Lors d'un entretien avec son conseiller de l'office régional de placement du 24 mars 1999, celui-ci a fait remarquer (à l'assuré) que ses recherches étaient insuffisantes; l'intéressé a alors indiqué qu'il voudrait faire des études universitaires et que "pour ça espère bien ne pas être placé". Lors de l'un des entretiens ultérieurs, du 2 novembre 1999, il a été relevé que l'intéressé avait "toujours pour projet de reprendre des études". Le conseiller a relevé encore à cette occasion ce qui suit : "de même les remarques faites au sujet des recherches d'emplois n'ont semble-t-il pas eu d'effet... Toujours répétitives, lettre-type, ne répond pratiquement pas aux annonces, ne contacte pas les agences, etc.".
4.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (cf. Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.).
4.3 En l'occurrence, il n'y a toutefois pas lieu de compléter l'état de fait du jugement attaqué à l'aide des constations effectuées par la juridiction cantonale dans son précédent jugement du 8 mars 2007. En effet, ces constatations, certes déterminantes pour nier l'aptitude au placement de l'assuré, ne sont pas pertinentes, en revanche, pour trancher le présent litige. La jurisprudence considère que lorsque l'octroi de prestations indues - et partant, leur restitution - est imputable à une faute de l'administration, on ne saurait considérer comme point de départ du délai le moment où la faute a été commise, mais bien celui auquel l'administration aurait dû, dans un deuxième temps (par exemple, à l'occasion d'un contrôle), se rendre compte de son erreur en faisant preuve de l'attention requise. En effet, si l'on plaçait le moment de la connaissance du dommage à la date du versement indu, cela rendrait souvent illusoire la possibilité pour une administration de réclamer le remboursement de prestations versées à tort en cas de faute de sa part (<ref-ruling> consid. 1 p. 383, et la référence). Or, en l'occurrence, les faits constatés dans le jugement cantonal du 8 mars 2007 montrent que l'octroi de l'indemnité de chômage reposait sur une erreur de l'administration, puisque la volonté de l'assuré de prendre un emploi durant la période litigieuse - et, partant, son aptitude au placement - devait d'emblée être niée au regard de ses déclarations et de son attitude au moment où les prestations ont été allouées.
Cela étant, les faits constatés dans le jugement cantonal du 8 mars 2007 ne permettent pas de situer le moment de la connaissance de l'erreur - et, partant, le point de départ du délai de péremption d'une année - , de sorte qu'il n'y a pas lieu d'en tenir compte pour trancher le présent litige.
4.4 Par un autre moyen, le recourant soutient que la caisse aurait dû se rendre compte de son erreur au plus tard au mois d'août 2002. A l'appui, il invoque certains faits - constatés lors d'entretiens de conseil des 2 juillet et 28 août 2002 - qui, selon lui, permettaient de se rendre compte de son inaptitude au placement durant la période - déterminante - où il a perçu l'indemnité de chômage.
Sur ce point, le recours ne contient toutefois aucune démonstration du caractère arbitraire des constatations du jugement attaqué. En effet, le recourant n'expose pas en quoi l'appréciation des preuves par les premiers juges serait manifestement insoutenable. Son argumentation tend plutôt à substituer sa propre appréciation à celle de l'autorité précédente. Au demeurant, les entretiens de conseil des 2 juillet et 28 août 2002, invoqués par l'intéressé, concernaient des faits survenus postérieurement à la période durant laquelle il a perçu l'indemnité de chômage réclamée par la caisse et, dès lors, sans incidence sur son aptitude au placement pendant cette période-là.
Sur le vu des faits établis dans le jugement attaqué, la juridiction cantonale était dès lors fondée à considérer que c'est seulement au mois d'octobre 2003 que la caisse a eu ou aurait dû avoir connaissance du fait qu'une des conditions du droit à l'indemnité de chômage n'était pas réalisée durant le délai-cadre d'indemnisation, de sorte qu'elle a fait valoir en temps utile son droit à restitution des prestations indûment perçues.
Le jugement attaqué n'est dès lors pas critiquable et le recours se révèle mal fondé.
5. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Neuchâtel, au département de l'économie du canton de Neuchâtel et au Secrétariat d'État à l'économie.
Lucerne, le 5 juillet 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Beauverd