Faits:
A. Le 16 décembre 2003, le Conseil d'Etat du canton de Vaud a conclu avec le Centre de gestion des programmes d'occupation (devenu par la suite le Centre de gestion des programmes d'insertion [ci-après: le CGPI]) un accord de prestations pour le développement et la mise à disposition de mesures du marché du travail et de mesures de réinsertion professionnelle de type «Emploi temporaire subventionné». Selon son art. 5, l'accord s'applique aux bénéficiaires d'indemnités de chômage au sens de la LACI, aux demandeurs d'emploi inscrits auprès des Offices régionaux de placement et aux bénéficiaires du revenu minimum de réinsertion (RMR). Le Service cantonal vaudois de l'emploi (ci-après: SDE) garantit le paiement des places commandées (art. 6). Il contrôle la réalisation des mesures et l'occupation des places commandées et se réserve le droit de vérifier à tout moment la comptabilité de l'organisateur (art. 8). Ce dernier développe des mesures d'emploi temporaire et assure le suivi des participants (art. 10). Il produit à cette fin des attestations (art. 11). Il tient une comptabilité analytique, en distinguant clairement les frais donnant lieu à une subvention des autres, conformément à la circulaire établie par le Secrétariat d'Etat à l'économie (seco) au sujet des mesures relatives au marché du travail (art. 14). Une enveloppe budgétaire globale est allouée pour les frais de l'organisateur, au titre de la subvention (art. 17). Le montant de l'enveloppe est de 7'830'000 fr.; il porte sur l'organisation de 390 mesures relatives au marché du travail par an, correspondant à 85'800 jours d'occupation au prix de 91 fr. 25 l'unité (art. 16). Le SDE verse à l'organisateur un montant allant jusqu'à 80 % de celui de l'enveloppe sous forme d'acomptes (en principe, deux acomptes de 40 % au début de chaque semestre), le solde après réception de la facture finale, mais au plus tôt le 1er janvier de l'année suivante (art. 17 al. 2). L'accord est entré en vigueur le 1er janvier 2004.
La Fondation X._ est une fondation de droit privé, dont le siège est à A._. Elle a pour but de venir en aide aux chômeurs et autres personnes ayant des difficultés d'insertion. La Fondation X._ a pris l'initiative de créer la Fondation Z._, laquelle, poursuivant les mêmes buts sociaux, a repris les activités de la Fondation X._ dans le canton B._, notamment la gestion d'un atelier à P._. Le 10 février 2005, le Président du Tribunal d'arrondissement de Lausanne a prononcé la faillite de la Fondation Z._, actuellement en liquidation.
Le CGPI a conclu avec la Fondation X._ des contrats portant sur la mise en oeuvre des programmes d'insertion pour les années 2002 à 2005. C'est ainsi que le CGPI a conclu avec la Fondation X._, le 28 avril 2004, un contrat « de mise à disposition de personnel en emploi temporaire subventionné (ETS) LACI ou RMR pour l'année 2004 ». Selon cet accord, la Fondation X._ mettait sur pied un programme pour l'accueil des personnes pouvant prétendre aux mesures relatives au marché du travail, correspondant à 11'200 jours d'occupation et 3'300 jours de formation. Le budget prévu était de 1'100'000 fr., le montant minimal garanti de 900'000 fr. La Fondation X._ avait droit au versement, au titre de la LACI, d'un montant total de 1'084'722 fr. 75; un acompte total de 1'081'000 fr. lui a été payé.
En 2005, le SDE a confié à la société Y._ le mandat de contrôler les comptes de différents organisateurs de mesures relatives au marché du travail, dont la Fondation X._. Le rapport établi par Y._ a amené le SDE à rendre une décision, le 20 janvier 2006, par laquelle il a exigé de la Fondation X._ le remboursement d'un montant de 864'327 fr. 90 pour l'année 2004, au titre de subvention pour des mesures relatives au marché du travail perçues indûment, en réservant une décision analogue pour les années 2002, 2003 et 2005.
B. Conformément à l'indication des voies de droit figurant au bas de cette décision, la Fondation X._ a recouru devant le Tribunal administratif du canton de Vaud.
Statuant le 24 octobre 2006, le Tribunal administratif a partiellement admis le recours, dans la mesure où il était recevable. Il a annulé la décision du 20 janvier 2006. En bref, il a considéré qu'en ce domaine, la loi ne conférait pas de pouvoir de décision à l'autorité administrative. Si celle-ci entendait obtenir le remboursement de montants versés à tort, elle devait agir devant le juge civil, conformément à la répartition des compétences prévues en droit vaudois. En effet, l'accord passé entre l'autorité cantonale compétente en matière de mesures relatives au marché du travail et un organisateur de programmes d'emplois temporaires, prévoyant que celui-ci accueillera des chômeurs et recevra des subventions, constitue un contrat de droit administratif. Or, l'autorité ne peut invoquer des prétentions contractuelles par voie de décision.
C. Par écriture du 23 novembre 2006, le SDE a formé un recours de droit administratif devant le Tribunal fédéral des assurances en concluant à l'annulation de ce jugement et au renvoi de la cause au Tribunal administratif pour nouvelle décision. La Fondation X._ conclut au rejet du recours. Le CGPI a informé le tribunal qu'il s'en remettait à justice. Quant au seco, il propose d'admettre le recours.
Le Tribunal fédéral a procédé à un échange de correspondance avec le Tribunal administratif fédéral, en ce qui concerne la compétence de ce dernier pour statuer sur le recours interjeté contre la décision rendue par le SDE le 20 janvier 2006.

Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
2. Le recours de droit administratif est recevable en tant que la décision attaquée concerne des subventions de droit fédéral et constitue une décision en matière d'assurances sociales au sens de l'art. 128 OJ en corrélation avec les art. 97, 98 let. b à h et 98a OJ (voir également <ref-ruling> consid. 1 p. 193).
3. Le recours de droit administratif ne peut en l'espèce être formé que pour violation du droit fédéral, y compris l'abus ou l'excès du pouvoir d'appréciation (art. 104 let. a OJ). Le tribunal est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 let. b et 105 al. 2 OJ). En outre, le tribunal n'est pas lié par les motifs que les parties invoquent et peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer la décision attaquée pour d'autres motifs que ceux retenus par l'autorité intimée. Enfin, le Tribunal fédéral examine d'office la régularité de la procédure administrative, soit en particulier le point de savoir si c'est à juste titre que la juridiction cantonale s'est saisie du litige (cf. <ref-ruling> consid. 1a p. 23).
4. 4.1 Le chapitre 6 de la LACI institue des mesures relatives au marché du travail (MMT). Selon l'<ref-law>, l'assurance alloue des prestations financières au titre des mesures relatives au marché du travail en faveur des assurés et des personnes menacées de chômage. Les prestations dont la restitution est demandée relèvent de la section 3 de ce chapitre, savoir les mesures d'emplois prévues aux articles 64a et 64b LACI. Sont réputés mesures d'emplois, notamment, les emplois temporaires qui entrent dans le cadre de programmes organisés par des institutions publiques ou privées à but non lucratif; ces programmes ne doivent toutefois pas faire directement concurrence à l'économie privée (<ref-law>). L'assurance rembourse aux organisateurs les frais attestés indispensables à l'organisation de la mesure d'emploi; elle peut moduler ce remboursement en fonction des résultats (art. 64b, 1ère et 2ème phrases LACI). Les frais à prendre en compte pour l'organisation d'une mesure d'emploi sont énumérés à l'<ref-law>.
4.2 Les prestations dont la restitution est demandée ont été allouées, par ailleurs, à titre de mesures collectives relatives au marché du travail au sens de l'<ref-law> (<ref-law>). Par opposition aux mesures individuelles, dont les bénéficiaires directs sont les assurés eux-mêmes, les mesures collectives sont accordées, sous la forme de subventions, à des institutions qui se voient confier l'exécution d'une mesure préventive en matière de chômage (THOMAS NUSSBAUMER, Arbeitslosenversicherung, in Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., n. 644; AGNES LEU, Die arbeitsmarktlichen Massnahmen im Rahmen der Arbeitslosenversicherung in der Schweiz, Zurich 2005, p. 15).
4.3 La compétence et la procédure en matière de mesures relatives au marché du travail (individuelles ou collectives) sont réglées à l'<ref-law>. Cette disposition est issue de la 3ème révision de la LACI et regroupe désormais en un seul article des règles réparties auparavant aux anciens articles 64, 67, 71c et 75 LACI qui ont ainsi été abrogés (voir à ce sujet BORIS RUBIN, Assurance-chômage, Droit fédéral, Survol des mesures cantonales, Procédure, 2ème éd., Zurich, Bâle, Genève 2006, p. 611).
Selon l'<ref-law>, les demandes de subvention pour les mesures relatives au marché du travail doivent être présentées à l'autorité compétente dûment motivées et assez tôt avant le début de la mesure (al. 1). L'autorité compétente statue sur les demandes concernant les mesures spécifiques visées aux art. 65 à 71d et sur les demandes de mesures individuelles de formation (al. 2). Elle transmet à l'organe de compensation les demandes concernant les mesures collectives de formation et d'emploi accompagnées de son préavis; l'organe de compensation statue sur l'octroi des subventions (al. 3).
4.4 Le Conseil fédéral peut autoriser l'organe de compensation à déléguer la compétence de statuer sur les demandes de subventionnement des mesures collectives de formation ou d'emploi jusqu'à un montant maximum qu'il fixe lui-même; à cet effet, il peut édicter des directives sur le contrôle de qualité des mesures de formation (al. 5). Le Conseil fédéral a fait usage de cette délégation de compétence aux art. 81d et e OACI. Il ressort notamment de ces dispositions que l'organe de compensation peut déléguer à l'autorité cantonale la compétence de statuer sur les demandes de subventionnement des mesures de marché du travail collectives pour lesquelles les frais de projet à prendre en compte sont inférieurs à cinq millions de francs (<ref-law>). Par une directive du 19 juin 2003 l'organe de compensation - qui est administré par le seco - (<ref-law>) a délégué aux autorités cantonales compétentes le pouvoir de statuer sur des demandes de subventions des mesures de marché du travail collectives pour lesquelles les frais de projet à prendre en compte sont inférieurs à cinq millions de francs (chiffre marginal A 12 de la circulaire du seco relative aux mesures du marché du travail d'octobre 2004). Cette délégation repose sur l'idée que les cantons disposent des structures nécessaires pour opérer eux-mêmes la sélection des organisateurs et allouer les subventions. Elle laisse aussi à l'organe de compensation plus de champ pour assumer ses tâches de surveillance et de contrôle, en particulier pour effectuer des contrôles beaucoup plus nombreux et plus approfondis (message concernant la révision de la loi sur l'assurance-chômage du 28 février 2001, FF 2001 p. 2166; LEU, op. cit., p. 213)
4.5 Dans le canton de Vaud, le SDE est l'autorité compétente, en application de la loi sur l'emploi et l'aide aux chômeurs du 25 septembre 1996, remplacée depuis le 5 juillet 2005 par la loi sur l'emploi (LEmp; RSV 822.11; art. 10 ss).
5. 5.1 Selon l'<ref-law>, déjà cité, à l'exception des art. 32 (assistance administrative) et 33 (obligation de garder le secret), la LPGA ne s'applique pas à l'octroi de subventions collectives pour le marché du travail, ce par quoi il faut aussi entendre leur restitution éventuelle. Même si la loi parle d' «octroi» («Gewährung», «concessione»), cette exclusion vise, de manière tout à fait générale, le domaine des subventions pour les mesures collectives (voir le rapport de la Commission du Conseil national de la sécurité sociale et de la santé du 26 mars 1999, FF 1999 p. 4388). En effet, la LPGA n'a pas pour vocation de régler les relations internes entre les divers fournisseurs de prestations de l'assurance-chômage (RUBIN, op. cit., p. 783; UELI KIESER, ATSG-Kommentar, Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zurich 2003, n. 29 ad art. 2). Aussi bien la procédure en matière de décisions rendues en vertu de l'<ref-law>, pour ce qui est des mesures collectives relatives au marché du travail, est-elle principalement régie par la PA. En particulier, il n'y a pas de procédure d'opposition telle que prévue par l'<ref-law>. Cela vaut aussi pour les cas où l'organe de compensation a délégué sa compétence en application des <ref-law> et 81e al. 4 OACI. Cette délégation ne change rien au fait que l'autorité cantonale assume sur mandat la tâche d'une autorité fédérale et est réputée agir en cette qualité (NUSSBAUMER, op. cit., n. 879). C'est l'organe de compensation qui reste compétent pour le versement des subventions prévue à l'<ref-law> (art. 83 let. k LACI).
5.2 Il en résulte que la LPGA n'est pas applicable au contentieux en matière de mesures collectives relatives au marché du travail. Les décisions prises en ce domaine ne sont pas sujettes à recours devant le Tribunal des assurances selon l'<ref-law>.
Pour ce qui est des litiges en matière d'assurance-chômage dans les domaines qui ne sont pas soumis à la LPGA, des voies de droit ont été prévues à l'<ref-law>. Cette disposition désigne des autorités spéciales de recours. Selon sa teneur en vigueur jusqu'au 31 décembre 2006, les décisions et décisions sur recours du seco, ainsi que les décisions de l'organe de compensation, pouvaient faire l'objet d'un recours devant la Commission de recours du Département fédéral de l'économie (DFE) (PETER UEBERSAX, in: ANDRÉ MOSER/PETER UEBERSAX, Prozessieren vor eidgenössischen Rekurskommissionen, Bâle, Francfort-sur-le-Main 1998, n. 6.67). La décision de la Commis-sion de recours du DFE pouvait alors faire l'objet d'un recours de droit administratif devant le Tribunal fédéral des assurances. La loi sur le Tribunal administratif fédéral du 17 juin 2005, entrée en vigueur le 1er janvier 2007, a modifié l'<ref-law> en ce sens qu'elle désigne le Tribunal administratif fédéral comme autorité de recours contre les décisions susmentionnées du seco et de l'organe de compensation (RO 2006 p. 2279). En principe, les décisions du Tribunal administratif fédéral peuvent faire l'objet d'un recours en matière de droit public au Tribunal fédéral (<ref-law>).
5.3 En l'espèce, on est certes en présence, formellement, d'une décision de l'autorité cantonale compétente (SDE). Comme on l'a vu, celle-ci agit en lieu et place de l'organe de compensation, de sorte qu'il faut admettre que les voies de droit prévues par l'<ref-law> sont également applicables. Cette interprétation de la délégation de compétence aux cantons s'impose par souci de cohérence et de coordination dans l'organisation des voies de recours. Admettre des voies de droit différentes selon que la décision, pour un même domaine, émane formellement de l'autorité cantonale ou de l'organe de compensation reviendrait indirectement à reconnaître à celui-ci le pouvoir de soumettre - par le biais d'une simple circulaire - un litige à la LPGA, que la LACI exclut précisément de son champ d'application.
6. En conséquence, c'est à tort que le Tribunal administratif vaudois s'est saisi du litige en annulant la décision du SDE. A ce stade, il n'y pas lieu d'examiner plus avant le litige et de se prononcer sur le bien-fondé du jugement attaqué et des griefs soulevés par les parties. Il convient d'annuler le jugement attaqué et de transmettre d'office l'affaire au Tribunal administratif fédéral comme objet de sa compétence. Dans cette mesure, le recours doit être admis.
7. Vu la nature du litige, la procédure est onéreuse. Le SDE ayant indiqué dans sa décision une voie de droit inexacte, il se justifie de mettre les frais à sa charge (art. 156 al. 6 OJ). La Fondation X._, qui a conclu au rejet du recours, doit être considérée comme succombant, de sorte qu'elle ne saurait prétendre une indemnité de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal administratif du canton de Vaud du 24 octobre 2006 est annulé et la cause transmise au Tribunal administratif fédéral.
2. Les frais de justice, d'un montant de 1'000 fr., sont mis à la charge du service de l'emploi et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Centre vaudois de gestion des programmes d'insertion, au Tribunal administratif du canton de Vaud et au Secrétariat d'Etat à l'économie.
Lucerne, le 30 août 2007
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: p. Le Greffier: