Faits: A. Le 16 décembre 2003, le Conseil d'Etat du canton de Vaud a conclu avec le Centre de gestion des programmes d'occupation (devenu par la suite le Centre de gestion des programmes d'insertion [ci-après: le CGPI]) un accord de prestations pour le développement et la mise à disposition de mesures du marché du travail et de mesures de réinsertion professionnelle de type «Emploi temporaire subventionné». Selon son art. 5, l'accord s'applique aux bénéficiaires d'indemnités de chômage au sens de la LACI, aux demandeurs d'emploi inscrits auprès des Offices régionaux de placement et aux bénéficiaires du revenu minimum de réinsertion (RMR). Le Service cantonal vaudois de l'emploi (ci-après: SDE) garantit le paiement des places commandées (art. 6). Il contrôle la réalisation des mesures et l'occupation des places commandées et se réserve le droit de vérifier à tout moment la comptabilité de l'organisateur (art. 8). Ce dernier développe des mesures d'emploi temporaire et assure le suivi des participants (art. 10). Il produit à cette fin des attestations (art. 11). Il tient une comptabilité analytique, en distinguant clairement les frais donnant lieu à une subvention des autres, conformément à la circulaire établie par le Secrétariat d'Etat à l'économie (seco) au sujet des mesures relatives au marché du travail (art. 14). Une enveloppe budgétaire globale est allouée pour les frais de l'organisateur, au titre de la subvention (art. 17). Le montant de l'enveloppe est de 7'830'000 fr.; il porte sur l'organisation de 390 mesures relatives au marché du travail par an, correspondant à 85'800 jours d'occupation au prix de 91 fr. 25 l'unité (art. 16). Le SDE verse à l'organisateur un montant allant jusqu'à 80 % de celui de l'enveloppe sous forme d'acomptes (en principe, deux acomptes de 40 % au début de chaque semestre), le solde après réception de la facture finale, mais au plus tôt le 1er janvier de l'année suivante (art. 17 al. 2). L'accord est entré en vigueur le 1er janvier 2004. La Fondation X._ est une fondation de droit privé, dont le siège est à A._. Elle a pour but de venir en aide aux chômeurs et autres personnes ayant des difficultés d'insertion. La Fondation X._ a pris l'initiative de créer la Fondation Z._, laquelle, poursuivant les mêmes buts sociaux, a repris les activités de la Fondation X._ dans le canton B._, notamment la gestion d'un atelier à P._. Le 10 février 2005, le Président du Tribunal d'arrondissement de Lausanne a prononcé la faillite de la Fondation Z._, actuellement en liquidation. Le CGPI a conclu avec la Fondation X._ des contrats portant sur la mise en oeuvre des programmes d'insertion pour les années 2002 à 2005. C'est ainsi que le CGPI a conclu avec la Fondation X._, le 28 avril 2004, un contrat « de mise à disposition de personnel en emploi temporaire subventionné (ETS) LACI ou RMR pour l'année 2004 ». Selon cet accord, la Fondation X._ mettait sur pied un programme pour l'accueil des personnes pouvant prétendre aux mesures relatives au marché du travail, correspondant à 11'200 jours d'occupation et 3'300 jours de formation. Le budget prévu était de 1'100'000 fr., le montant minimal garanti de 900'000 fr. La Fondation X._ avait droit au versement, au titre de la LACI, d'un montant total de 1'084'722 fr. 75; un acompte total de 1'081'000 fr. lui a été payé. En 2005, le SDE a confié à la société Y._ le mandat de contrôler les comptes de différents organisateurs de mesures relatives au marché du travail, dont la Fondation X._. Le rapport établi par Y._ a amené le SDE à rendre une décision, le 20 janvier 2006, par laquelle il a exigé de la Fondation X._ le remboursement d'un montant de 864'327 fr. 90 pour l'année 2004, au titre de subvention pour des mesures relatives au marché du travail perçues indûment, en réservant une décision analogue pour les années 2002, 2003 et 2005. B. Conformément à l'indication des voies de droit figurant au bas de cette décision, la Fondation X._ a recouru devant le Tribunal administratif du canton de Vaud. Statuant le 24 octobre 2006, le Tribunal administratif a partiellement admis le recours, dans la mesure où il était recevable. Il a annulé la décision du 20 janvier 2006. En bref, il a considéré qu'en ce domaine, la loi ne conférait pas de pouvoir de décision à l'autorité administrative. Si celle-ci entendait obtenir le remboursement de montants versés à tort, elle devait agir devant le juge civil, conformément à la répartition des compétences prévues en droit vaudois. En effet, l'accord passé entre l'autorité cantonale compétente en matière de mesures relatives au marché du travail et un organisateur de programmes d'emplois temporaires, prévoyant que celui-ci accueillera des chômeurs et recevra des subventions, constitue un contrat de droit administratif. Or, l'autorité ne peut invoquer des prétentions contractuelles par voie de décision. C. Par écriture du 23 novembre 2006, le SDE a formé un recours de droit administratif devant le Tribunal fédéral des assurances en concluant à l'annulation de ce jugement et au renvoi de la cause au Tribunal administratif pour nouvelle décision. La Fondation X._ conclut au rejet du recours. Le CGPI a informé le tribunal qu'il s'en remettait à justice. Quant au seco, il propose d'admettre le recours. Le Tribunal fédéral a procédé à un échange de correspondance avec le Tribunal administratif fédéral, en ce qui concerne la compétence de ce dernier pour statuer sur le recours interjeté contre la décision rendue par le SDE le 20 janvier 2006.