Faits: A. La société X._ AG (ou l'intimée) est immatriculée dans le registre de l'Administration fédérale des contributions depuis le 1er janvier 1995 en qualité d'assujettie au sens de l'art. 17 de l'ordonnance du 22 juin 1994 régissant la taxe sur la valeur ajoutée (OTVA; RO 1994 II 1464 et les modifications ultérieures) et de l'art. 21 de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (loi sur la TVA, LTVA, entrée en vigueur le 1er janvier 2001; RS 641.20). Ses actionnaires sont la Fondation de famille A._ par l'intermédiaire de sa société holding, A._ Holding SA (ci-après: A._ Holding), à raison de 63,33%, et B._ Holding AG, à raison de 34,58%. Elle exploite un hôtel. Un premier hôtel (150 lits) exploité à Z._ de 1875 à 1961 fut détruit par un incendie en 1961. Reconstruit d'abord sous une forme modeste en 1986 (20 lits et des appartements), il a été agrandi dès 1997 (132 lits et quatre appartements) et transformé en "hôtel de sport" 4 étoiles. Les fonds nécessaires à cette transformation et à la création d'une maison pour le personnel ont été mis à disposition en totalité, soit à raison de 62'904'445 fr. 05, par A._ Holding sous forme de prêt, aux dires de l'intimée. Celle-ci a déduit dans ses décomptes la TVA facturée par les maîtres d'état. B. A la suite d'un contrôle effectué en juillet et août 2001, l'Administration fédérale des contributions (ci-après: l'Administration fédérale ou la recourante) a établi les décomptes complémentaires suivants: - No 149491, du 27 novembre 2001, de 21'659 fr. plus intérêts pour les périodes fiscales allant du 1er janvier 1995 au 31 décembre 2000. - No 149492, du 27 novembre 2001, de 3'906 fr. plus intérêts pour la période du 1er janvier 2001 au 31 mars 2001. - No 149502, du 15 avril 2002, de 4'288'135 fr. plus intérêts pour les périodes fiscales allant du 1er janvier 1996 au 31 mars 2001. Ces décomptes complémentaires ont été confirmés par décision du 26 juin 2003. Par décision sur réclamation du 10 décembre 2003, l'Administration fédérale constata que les montants de 21'659 fr. et 3'906 fr. n'étaient plus contestés (ch. 1 du dispositif) et qu'ils avaient été acquittés (ch. 3 al. 1 lettres a et b); elle rejeta la réclamation (ch. 2) et fixa le solde dû à 4'288'135 fr. (ch. 3 al. 2). Ce montant se justifiait par la réduction d'impôts préalables mis en compte. Selon l'Administration fédérale, les montants mis à disposition de l'intimée par A._ Holding ne pouvaient être considérés comme un prêt. Il n'existait pas de contrat écrit attestant le prêt, mais seulement un projet, sans date précise ni signature, de 2001. Par ailleurs, il ressortait de l'analyse de différents documents remis par X._ AG (business plan sur huit ans, récapitulation des investissements, tableaux de comparaison chiffrés, etc.) que le prêt en cause ne permettait pas d'obtenir une rentabilité appropriée, ni de maintenir le capital au regard des principes de l'économie d'entreprise, ni même d'assurer un rendement minimal par rapport aux moyennes de la branche. Il n'était pas justifié par l'usage commercial. Il devait être qualifié de don et comme il était en relation directe avec des dépenses de construction et de transformation, la déduction de l'impôt préalable devait être réduite proportionnellement. L'Administration fédérale invoquait sa notice no 23 « Contributions des actionnaires et des associés, contributions de tiers et contributions à des fins d'assainissement », dans sa nouvelle version révisée au 1er juillet 2003. Le 26 janvier 2004, X._ AG a recouru contre cette décision à la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours), en faisant valoir que l'entreprise se développait normalement s'agissant d'hôtellerie de luxe, que A._ Holding lui avait remis une part de sa dette, à raison de 6'764'515 fr. 05, montant correspondant à la perte reportée au 31 octobre 2000 (5'106'515 fr.) et aux intérêts dus sur le prêt au 31 octobre 2001 (1'658'000 fr.), de façon "à partir de la première année d'exploitation avec un compte de pertes et profits à zéro". Elle n'avait par ailleurs qu'un seul créancier, la banque C._, pour un montant de 5'000'000 fr. Le montant avancé par A._ Holding était bien un prêt, et non un don, et donnait droit à la déduction de l'impôt préalable. Subsidiairement, elle demandait que la part justifiée par l'usage commercial du prêt fût déterminée selon les méthodes suggérées, le cas échéant avec l'aide d'un expert indépendant et neutre. C. Par décision du 11 mars 2005, la Commission de recours a admis le recours de X._ AG dans le sens des considérants et annulé la décision sur réclamation. Considérant qu'un prêt est en principe exclu du champ de l'impôt selon les art. 14 ch. 15 lettre a OTVA et 18 ch. 19 lettre a LTVA, sans droit à la déduction de l'impôt préalable, et que les apports des actionnaires à la société ne constituaient pas un échange de prestations, mais bien des "opérations hors du champ de la TVA au sens technique" qui ne pouvaient avoir d'effet sur l'impôt préalable déductible, elle a jugé que ni la partie de la dette de X._ AG représentant un prêt véritable, ni celle constituant un apport dissimulé de capital n'entraînaient de réduction de l'impôt préalable déductible. Il en allait de même des intérêts sur le prêt, auxquels avait renoncé A._ Holding: ils faisaient partie de l'apport en capital. La Commission de recours ne pouvait suivre la notice no 23 (dans sa version du 1er juillet 2003), selon laquelle les contributions non justifiées par l'usage commercial équivalent à des dons, des subventions ou d'autres contributions des pouvoirs publics conduisant à réduire la déduction de l'impôt préalable. D. Agissant par la voie du recours de droit administratif, l'Administration fédérale demande au Tribunal fédéral d'annuler la décision de la Commission de recours du 11 mars 2005 et de confirmer la décision sur réclamation du 10 décembre 2003, avec suite de frais et dépens. Selon elle, les montants versés sans lien économique avec une prestation imposable ne sont pas soumis à la TVA et les opérations réalisées grâce à ces montants ne font pas partie des affectations ouvrant le droit à la déduction de l'impôt préalable. Seules les opérations consenties en dehors d'un échange de prestations par un actionnaire direct et justifiées par l'usage commercial n'induisent pas de réduction de la déduction de l'impôt préalable; à défaut, elles sont qualifiées de dons et entraînent une telle réduction. En l'espèce, l'intimée se maintiendrait en activité non pas grâce à une rentabilité appropriée de ses fonds propres et étrangers, mais par l'apport de contributions de tiers qui ne peuvent être justifiées par l'usage commercial. Les versements en cause permettraient à l'intimée de réaliser son activité en abaissant ses prix et de fournir des prestations gratuites, ce qui pourrait constituer une distorsion de concurrence par rapport aux autres entreprises contraintes par les lois du marché à rentabiliser leurs capitaux sans aide externe. Les montants versés par A._ Holding ayant financé entièrement les investissements, la réduction de l'impôt préalable déductible devrait être totale. La Commission de recours a renoncé à déposer des observations, tout en se reportant à sa décision. L'intimée conclut, sous suite de frais et dépens, au rejet du recours, à la confirmation de la décision du 11 mars 2005 de la Commission de recours et à l'autorisation de mettre en compte le montant de 4'288'133 fr. (recte: 4'288'135 fr.) au titre d'impôt préalable.