Faits:
A. C._ a été inscrite auprès de la Caisse cantonale neuchâteloise d'assurance-chômage (ci-après: la caisse) du 1er septembre 2003 au 9 février 2005, avant de prendre un nouvel emploi le 10 février 2005. Elle a bénéficié d'un programme d'emploi temporaire en qualité d'employée polyvalente à 60 % du 6 septembre 2004 au 9 février 2005.
Informé par l'Office régional de placement du Littoral neuchâtelois que la prénommée n'avait pas accepté un emploi assigné, le Service cantonal de l'emploi du canton de Neuchâtel a prononcé, le 3 janvier 2005, une suspension de son droit aux indemnités de chômage pour une durée de 31 jours. L'assurée n'a pas fait opposition à cette décision.
Par décision du 1er avril 2005, la caisse a exigé de C._ la restitution d'un montant de 1'644 fr.75 représentant 22 indemnités de chômage perçues à tort durant le mois de novembre 2004. Elle a considéré que la suspension aurait dû prendre effet au 1er novembre 2004, de sorte que l'assurée avait indûment perçu des prestations durant le mois en question. Par ailleurs, la caisse a compensé une partie de la somme susmentionnée, soit 661 fr.55, avec les indemnités de chômage dues pour la période du 1er au 9 février 2005 et une autre partie, soit 401 fr.60, avec des frais de repas et de déplacement encore dus pour les mois d'octobre 2004 à janvier 2005 dans le cadre du programme d'emploi temporaire. Enfin, elle exigeait la restitution du solde après compensation par 581 fr.60.
Le 18 avril 2005, l'assurée a fait opposition à cette décision et demandé la remise de l'obligation de restituer les prestations indûment perçues. La demande de remise, sur laquelle il n'a pas été statué, a été transmise au service cantonal de l'emploi.
Par décision du 27 juin 2005, la caisse a rejeté l'opposition. Elle a indiqué que les jours de suspension auraient dû, en principe, produire effet sur les mois de janvier et février 2005, mais qu'à la suite d'une erreur, le système informatique avait comptabilisé ladite suspension en novembre 2004.
C._ a recouru contre la décision sur opposition devant le Département de l'économie du canton de Neuchâtel (ci-après: le département), lequel a partiellement admis le recours en ce sens que le montant à restituer a été réduit à 1'243 fr.15. Le département a considéré que la prise en charge des frais de déplacement et de repas assumés par l'intéressée lors de son programme d'emploi temporaire relevait du droit des subventions et non pas de prestations d'assurance sociale. La prise en charge des frais, avancés par l'assurée, ne pouvait donc pas faire l'objet d'une restitution (décision du 12 octobre 2005).
B. La caisse a recouru devant le Tribunal administratif du canton de Neuchâtel contre cette dernière décision.
La juridiction cantonale a admis le recours par jugement du 21 janvier 2008. Elle a annulé la décision attaquée et les décisions précédentes « en tant qu'elles portent sur la compensation d'une partie du montant total à restituer avec des prestations et des frais de repas ». Les premiers juges ont considéré que le montant à restituer était effectivement de 1'644 fr.75, correspondant à 22 indemnités touchées à tort, conformément à la décision sur opposition du 27 juin 2005. En revanche, en ce qui concerne la compensation, celle-ci ne pouvait pas avoir lieu avant qu'il eût été statué sur la demande de remise et, le cas échéant, seulement à la condition qu'elle ne portât pas atteinte au minimum vital de l'intéressée.
C. Le Secrétariat d'Etat à l'économie (seco) interjette un recours en matière de droit public, en concluant, sous suite de frais et dépens, à l'annulation du jugement cantonal, subsidiairement, à la confirmation de la compensation effectuée par la caisse.
L'intimée conclut au rejet du recours, tandis que la caisse propose son admission.
D. Par ordonnance du 15 mai 2008, le juge instructeur a rejeté la requête d'effet suspensif présentée par le recourant.

Considérant en droit:
1. Il n'est pas contesté que l'intimée est en principe tenue de restituer le montant de 1'644 fr.75 correspondant à 22 indemnités journalières. Le litige porte sur le point de savoir si, comme le soutient le recourant, la caisse était fondée à compenser sa créance en restitution sans devoir préalablement se prononcer sur la question de la remise de l'obligation de restituer et sans avoir à examiner si la compensation portait atteinte au minimum vital de l'intimée.
2. 2.1 A l'exception des cas relevant de l'<ref-law> (indemnité en cas d'insolvabilité), la demande de restitution en matière d'assurance- chômage est régie par l'<ref-law>. Selon l'art. 25 al. 1, première phrase, LPGA, les prestations indûment touchées doivent être restituées. En ce qui concerne l'obligation de restituer comme telle, l'<ref-law> ne fait que reprendre la réglementation de l'<ref-law> qui était applicable avant l'entrée en vigueur de la LPGA, soit directement, soit par renvoi ou encore par analogie dans d'autres domaines du droit des assurances sociales (<ref-ruling> consid. 5.2 p. 319 s.; Patrice Keller, La restitution des prestations indûment touchées dans la LPGA, in : Partie générale du droit des assurances sociales, Lausanne, 2003, p. 149 ss, plus spécialement p. 167 ss).
2.2 L'assuré concerné peut demander la remise de l'obligation de restituer, lorsque la restitution des prestations allouées indûment, mais reçues de bonne foi, le mettrait dans une situation difficile (cf. art. 25 al. 1, deuxième phrase, LPGA). Le destinataire d'une décision de restitution qui entend la contester dispose en réalité de deux moyens qu'il convient de distinguer de façon claire: s'il prétend qu'il avait droit aux prestations en question, il doit s'opposer à la décision de restitution dans un délai de 30 jours; en revanche, s'il admet avoir perçu indûment les prestations, mais qu'il invoque sa bonne foi et les difficultés économiques qu'il rencontrerait en cas d'un remboursement, il doit présenter une demande de remise (cf. Boris Rubin, Assurance-chômage: Droit fédéral, Survol des mesures cantonales, Procédure, 2e éd., Zurich 2006, no 10.5.2 p. 719). Dans la mesure où cette requête ne peut être traitée sur le fond que si la demande de restitution est entrée en force, la remise et son étendue font donc l'objet d'une procédure distincte (cf. <ref-law>; arrêt P 63/06 du 14 mars 2007, consid. 3).
2.3 L'<ref-law> traite de la compensation. Selon cette disposition, les restitutions et les prestations dues en vertu de cette loi peuvent être compensées les unes par les autres ainsi que par des restitutions et des rentes ou des indemnités journalières dues au titre de l'AVS, de l'AI, de la prévoyance professionnelle, du régime des allocations pour perte de gain en faveur de personnes astreintes au service militaire, au service civil ou à la protection civile, de l'assurance militaire, de l'assurance-accidents obligatoire, de l'assurance-maladie ainsi que des prestations complémentaires de l'AVS/AI et des allocations familiales légales. La compensation ne doit pas entamer le minimum vital de l'assuré, tel que fixé par l'<ref-law> (voir par exemple <ref-ruling> consid. 5.1 et 5.2 p. 149 s., 115 V 341 consid. 2c p. 343, 111 V 99 consid. 3b p. 102 s.). Cette exigence est à rapprocher de l'<ref-law>, aux termes duquel ne peuvent être éteintes par compensation les créances dont la nature spéciale exige le paiement effectif entre les mains du créancier, tels que des aliments ou le salaire absolument nécessaires à l'entretien du débiteur et de sa famille (<ref-ruling> consid. 2 p. 47). Ce mode d'extinction est considéré comme un principe fondamental en droit des assurances sociales (<ref-ruling> consid. 2 p. 185).
3. 3.1 Le recourant soutient que la caisse était non seulement habilitée à compenser immédiatement les prestations jusqu'à concurrence de la somme correspondant à la suspension à amortir, mais qu'elle n'avait pas à prendre en considération le minimum vital de l'assurée. Il fait valoir que les prestations de l'assurance-chômage sont limitées dans le temps. Si l'administration veut avoir des chances de compenser son dû avec les prestations courantes, elle doit pouvoir s'y prendre immédiatement, sans même devoir attendre l'entrée en force de la décision de restitution. Selon le recourant toujours, les prestations de l'assurance-chômage ont pour rôle de fournir une compensation convenable du manque à gagner, mais non de garantir un revenu minimum couvrant les besoins vitaux; il serait donc, à son avis, « incongru » que l'assurance-chômage puisse priver les assurés de leurs indemnités pendant un certain temps ou verser des prestations n'atteignant parfois pas le minimum vital, alors qu'elle serait obligée de tenir compte de ce minimum vital pour opérer compensation. Enfin, les caisses ne disposent pas des données nécessaires pour calculer le minimum vital des personnes concernées. Le risque existe que l'assuré ait épuisé son droit à l'indemnité avant que les caisses ne soient en mesure de compenser leur créance en restitution.
3.2 Comme on l'a vu, la remise et son étendue font l'objet d'une procédure distincte de la restitution. La question de la remise ne peut être examinée qu'à partir du moment où la décision de restitution est entrée en force. L'extinction de la créance en restitution par voie de compensation ne peut à son tour intervenir qu'une fois qu'il a été statué définitivement sur la restitution et sur une éventuelle demande de remise. La jurisprudence admet une exception lorsque des prestations déjà versées à l'assuré sont remplacées par des prestations de valeur égale dues à un autre titre et qu'une compensation de ces deux types de prestations a lieu. Dans ce cas, il n'y a pas de place pour une remise éventuelle. En revanche, la demande de remise doit être examinée si la prestation à restituer pourrait être compensée par des prestations courantes ou futures de l'autre assurance sociale (<ref-ruling> consid. 5c p. 226; DTA 2000 no 38 p. 202 [arrêt C 223/99 du 14 février 2000]). Il n'en va pas autrement lorsque les créances réciproques découlent de la même assurance sociale: dans ce cas également, la restitution est de nature à mettre l'assuré dans une situation difficile au sens de l'art. 25 al. 2, deuxième phrase, LPGA. On notera enfin que l'opposition, ainsi que le recours de première instance, formés contre une décision en matière de restitution ont un effet suspensif, ce qui fait obstacle à leur exécution immédiate (voir <ref-ruling> consid. 3.4 p. 473; Ueli Kieser, ATSG-Kommentar, n. 17 ad art. 52 et n. 17 ad art. 56).
3.3 Le recourant se prévaut en vain de la nécessité de l'exécution immédiate de la suspension du droit à l'indemnité, en raison du délai d'exécution de six mois prévu par l'<ref-law>. En l'espèce, il ne s'agit pas de l'exécution d'une suspension du droit à l'indemnité, mais de la restitution de prestations indues, régie de manière exhaustive par l'<ref-law>, lequel, au demeurant, instaure des délais de péremption d'une année (délai relatif) et de cinq ans (délai absolu) au delà desquels la restitution ne peut plus être exigée (<ref-law>). Le recourant se méprend, par ailleurs, sur le but qui serait propre aux indemnités de chômage et qui justifierait, selon lui, une compensation immédiate avec des prestations en cours. Dans d'autres branches de l'assurance sociale également, les prestations ne couvrent pas toujours les besoins vitaux des assurés. Quant au caractère temporaire des prestations, il n'est pas non plus spécifique aux indemnités de chômage (par exemple des indemnités journalières de l'assurance-accidents ou de l'assurance-maladie sont également des prestations à caractère temporaire). Enfin, les difficultés d'ordre pratique invoquées ne sont pas plus importantes pour les organes de l'assurance-chômage que pour les administrations chargées de l'application d'autres régimes d'assurance sociale. Elles ne sauraient donc justifier, en dérogation aux principes ci-dessus exposés, une compensation immédiate de la créance de la caisse.
3.4 Les griefs soulevés par le recourant à l'encontre du jugement cantonal sont dès lors mal fondés.
4. Quant à la question de savoir si, comme le soutient le recourant, l'<ref-law> permet une compensation avec une créance de l'assuré en remboursement de frais (frais de déplacement et de repas), elle ne se pose pas à ce stade. D'une part, comme l'ont retenu les premiers juges, la caisse ne pouvait agir par voie de compensation avant qu'il ait été statué sur la demande de remise. D'autre part, l'assurée a retrouvé un emploi et ne bénéficie donc plus des indemnités de chômage. Si la remise n'est pas accordée, la caisse ne pourra au besoin agir que par la voie d'une procédure ordinaire en exécution.
5. Bien qu'il succombe, le recourant ne peut se voir imposer des frais de justice (<ref-law>). Il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale neuchâteloise d'assurance-chômage, au Département de l'économie du canton de Neuchâtel et au Tribunal administratif du canton de Neuchâtel.
Lucerne, le 11 juillet 2008
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset