Faits : A. Les Installations sportives et touristiques de Crans-sur-Sierre (ISTC; ci-après: l'assujetti ou l'intimé) ont été immatriculées dans le registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA) depuis le 1er janvier 1995. Les Installations sportives et touristiques de Crans-sur-Sierre sont nées d'une "convention et acte de cession" du 12 juin 1979, conclue entre la Société de sports et de développement de Crans, d'une part, et les communes de Chermignon, de Lens et d'Icogne, d'autre part. En vertu de cette convention, la société précitée cédait aux trois communes des immeubles d'une surface de l'ordre de 30'000 m2 sis sur le territoire de la commune de Lens, ainsi que les installations aménagées sur ces fonds: golf, tennis, piscine, patinoire et curling, jeu de la boule, moitié d'une piste de fond. Plus précisément, les biens transférés étaient les suivants (p. 2 de la "note concernant les équivalences d'investissement", faisant partie du rapport de révision de la fiduciaire lamon & renggli relatif aux comptes 1995/1996 de l'assujettie, pièce jointe au recours de l'assujettie du 1er septembre 2004 no 8a): - Une partie des parcelles sur lesquelles se trouvait le parcours de golf, représentant une surface totale de 30'220 m2; - deux parcelles (2'716 m2 au total) correspondant à 90% des surfaces de tennis; - la surface de la piscine, soit environ 1'000 m2; - un mazot situé sur le parcours de golf, ainsi que les constructions du driving range; - les aménagements permettant l'exploitation de la piscine; - les aménagements du curling; - le matériel et les machines du jeu de golf, de la piscine, de la patinoire, de la piste de fond et du jeu de la boule. Les communes devenaient copropriétaires de ces biens à raison de 47,5% chacune pour celles de Chermignon et de Lens et de 5% pour celle d'Icogne; elles convenaient que ces biens ne pourraient être vendus, aliénés ou grevés sans l'accord unanime des copropriétaires (art. 4 de la convention). En contrepartie, les communes reprenaient solidairement entre elles les dettes de la société précitée à hauteur de aaa fr. (art. 2). Selon un projet de convention entre les communes de Chermignon, de Lens et d'Icogne, non daté mais se référant à une réunion de leurs conseils municipaux qui devait avoir lieu le 19 février 1981, les communes en question ont décidé la création d'un comité chargé de gérer les installations dont elles étaient copropriétaires en vertu de la convention du 12 juin 1979 (art. 4 en relation avec l'art. 2 du projet de convention). Ce comité de gestion était composé de sept membres, à savoir trois membres du Conseil municipal de Chermignon, autant de celui de Lens et un membre du Conseil municipal d'Icogne (art. 5). Ses tâches étaient les suivantes (art. 7): - gérer les biens mentionnés dans la convention du 12 juin 1979; - exploiter le jeu de golf; l'art. 11, prévoyant la conclusion d'un accord spécial avec le Golf-Club de Crans-sur-Sierre, était réservé; - exploiter pour le compte des communes le jeu de la boule; - aménager et entretenir les chemins de tourisme pédestre, promenades, bancs, jardins publics, places de jeux, etc.; - de manière générale, assumer les tâches que la loi du 13 novembre 1975 sur l'organisation de l'Union valaisanne du tourisme et des sociétés de développement (Recueil des lois, décrets et arrêtés du canton du Valais 1975 p. 99 ss) attribuait aux communes, pour autant que ces tâches ne soient pas dévolues à la Société de développement de Crans et sous réserve des art. 8 et 9 du projet de convention (l'art. 8 réservait certaines compétences aux conseils municipaux des communes concernées; l'art. 9 réglait le cas où une tâche était assumée par une ou deux des communes en question elles-mêmes). Le comité de gestion était également chargé d'engager le personnel nécessaire à l'exploitation des installations (art. 7 ch. 7). Parmi les tâches que la loi du 13 novembre 1975 sur l'organisation de l'Union valaisanne du tourisme et des sociétés de développement attribuait aux communes figuraient la perception et l'utilisation des taxes de séjour (art. 3 al. 3). Le produit des taxes de séjour devait être affecté en priorité aux charges suivantes (art. 12 al. 1, 13 al. 2 et 14 al. 1 du projet de convention): - couvrir les frais d'encaissement de la taxe; - indemniser la Société de sports et de développement de Crans de ses frais d'information et d'animation; - aménager et entretenir les chemins de tourisme pédestre, les promenades, etc.; - couvrir le déficit des tennis, de la patinoire et de la piscine ainsi que de la piste de ski de fond; - couvrir les intérêts et les frais financiers; - payer les indemnités, jetons de présence etc. des membres du comité de gestion; - financer les nouveaux investissements. Compte tenu de ce qui précède, une partie du produit des taxes de séjour était versée à la Société de sports et de développement de Crans, alors que l'autre restait acquise à l'assujetti. Selon l'art. 12 al. 2, le comité devait veiller, dans la mesure du possible, "à ce que le jeu de golf soit financièrement équilibré, compte tenu des intérêts et amortissements du capital investi [...] et de la location des terrains copropriétés des 3 communes [...], ainsi que des services rendus pour les promenades, ski de fond, etc., et des éventuelles contributions d'autres communes". L'art. 14 al. 2 et 3 réglait le sort des excédents d'exploitation: ceux-ci devaient être affectés, "dans la mesure du possible et après amortissements des actifs, au renouvellement du matériel et des installations ou à de nouveaux investissements [...]". Le solde devait être en principe réparti entre les communes en fonction de leurs parts de copropriété. Jusqu'au début des années 1990, l'assujetti a exploité seul les installations de golf. Dès 1991/1992, il les a exploitées avec le Golf-Club de Crans-sur-Sierre (ci-après: le Golf-Club), association qui a pour but "la pratique du jeu de golf et son développement dans les stations de Crans-sur-Sierre - Montana et les régions avoisinantes" (art. 3 des statuts). Les charges d'exploitation et les investissements (à l'exception des immeubles immatriculés au nom des communes) étaient supportés pour moitié par l'assujetti et pour moitié par le Golf-Club. Le comité de sept membres a été élargi à des représentants du Golf-Club ainsi que du syndicat des propriétaires des terrains (p. 3 de la "note concernant les équivalences d'investissement", précitée). Dans le questionnaire pour l'assujettissement à la TVA, rempli le 27 janvier 1995, les Installations sportives et touristiques de Crans-sur-Sierre ont indiqué qu'elles constituaient un "organisme intercommunal" dont les activités consistaient à gérer des installations sportives et à encaisser la taxe de séjour. Elles employaient 35 personnes, dont 6 engagées de manière fixe et 29 auxiliaires, et avaient réalisé un chiffre d'affaires de l'ordre de bbb fr. en 1994. Les Installations sportives et touristiques de Crans-sur-Sierre ont été dissoutes avec effet au 31 décembre 2002. L'exploitation des installations a été reprise par Crans-Montana Exploitation (piscine et patinoire) ainsi que par le Golf-Club (courrier du 13 juin 2005 de Crans-Montana Exploitation à l'Administration fédérale des contributions, pièce jointe au recours no 14). B. En juillet 1998, l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou la recourante) a procédé auprès de l'assujetti à un contrôle portant sur les périodes fiscales allant du 1er trimestre 1995 au 2ème trimestre 1998. Au terme de ce contrôle, elle a établi un décompte complémentaire de ccc fr. plus intérêts. Ce montant s'obtenait comme suit: 1. Chiffres d'affaires non imposés: participations du Golf-Club de Crans-sur-Sierre (montant d'impôt d'env. ddd), taxes de séjour (env. eee) et divers (fff), au total ggg 2. participations des communes, considérées à tort comme des subventions et non imposées hhh 3. déduction injustifiée de l'impôt préalable iii 4. réduction de l'impôt préalable déductible pour double affectation devenue inutile en raison de la reprise 2) et supprimée -jjj Total ccc L'assujetti a contesté les reprises portant sur les chiffres d'affaires non imposés (participations du Golf-Club de Crans-sur-Sierre et taxes de séjour), à l'exclusion des divers (montant d'impôt de fff fr.), ainsi que les reprises ayant pour objet les participations des communes. Par ailleurs, il a fait grief à l'Administration fédérale de n'avoir pas pris en considération d'office une facture de A._ d'un montant de nnn fr., dont il avait omis de mettre en compte l'impôt préalable de lll fr. Enfin, il a relevé qu'il avait imposé intégralement le prix des abonnements et les green fees, qui constituaient, selon lui, les contre-prestations versées par les usagers du parcours de golf pour la mise à disposition des parcelles de terrain lui appartenant et des installations. Or, de son point de vue, en vertu du principe de l'exclusion de la valeur du sol, seule la mise à disposition des installations était soumise à l'impôt. Il soutenait donc que la mise à disposition des parcelles de terrain avait été imposée à tort, ce qui représentait un montant d'impôt versé en trop de mmm fr. L'assujetti a conclu à ce que le décompte complémentaire soit annulé et à ce que, au vu des éléments nouveaux (facture de A._ et imposition de la mise à disposition des installations de golf excluant la valeur du sol), l'Administration fédérale admette l'existence d'un solde en sa faveur de kkk (fff + iii - [jjj + lll + mmm] = - kkk) pour les périodes fiscales en cause. Par décision du 13 juillet 1999, l'Administration fédérale a confirmé le décompte complémentaire et rejeté les conclusions de l'assujetti. Ce dernier a formé réclamation en prenant les mêmes conclusions. Par décision du 1er juillet 2004, l'Administration fédérale a rejeté la réclamation dans toutes ses conclusions et confirmé le décompte complémentaire. Le 1er septembre 2004, l'assujetti a interjeté recours contre cette décision auprès de la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours). Il a conclu à son annulation partielle, l'autorité saisie étant invitée à dire que les recettes provenant des taxes de séjour, les participations du Golf-Club et celles des trois communes concernées n'étaient pas soumises à l'impôt. C. Par décision du 31 mai 2006, la Commission de recours a admis le recours et annulé la décision sur réclamation du 1er juillet 2004, sous réserve du considérant 1c, où il était question de la facture de A._, point qui n'était plus contesté et sur lequel la décision sur réclamation était par conséquent entrée en force. Après avoir relevé que l'assujetti ne contestait plus être une société simple, la Commission de recours a estimé que les montants qui lui avaient été versés par les trois communes concernées étaient typiques d'une opération d'apport et non d'un échange de prestations. Partant, ils n'étaient pas imposables. La Commission de recours a motivé son point de vue notamment par le fait que les montants réclamés correspondaient systématiquement au "niveau d'intéressement" de la commune concernée, les "factures" émises par l'assujettie constituant en réalité un "calcul de participation". S'agissant des montants versés par le Golf-Club, la Commission de recours a observé que, selon les déclarations de l'assujetti, celui-ci formait avec le Golf-Club une société simple pour l'exploitation des installations de golf, dont ce dernier était devenu copropriétaire à raison de 50%. Les montants versés par le Golf-Club représentaient des apports et n'étaient pas imposables. De son point de vue, l'échange de prestations avait lieu entre l'assujetti - qui encaissait les green fees - et les joueurs. Quant aux taxes de séjour, la Commission de recours a relevé que l'assujetti les encaissait au nom et pour le compte des communes concernées et n'en conservait qu'une partie. De son point de vue, cette part du produit de la taxe de séjour représentait un apport et non une contre-prestation des communes membres de l'assujetti. Si, comme le prétendait l'Administration fédérale, il ne s'agissait pas d'un apport, elle devait être qualifiée de subvention au sens de l'art. 26 al. 6 lettre b OTVA. Dans les deux cas, il n'y avait donc pas d'échange de prestations imposable. D. Agissant par la voie du recours de droit administratif, l'Administration fédérale demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler partiellement cette décision (conclusion 1). Elle prend également les conclusions suivantes: 2) Dire et prononcer que la décision sur réclamation de l'AFC du 1er juillet 2004 est entrée en force en ce qui concerne le refus de la déduction de l'impôt préalable relatif à une facture de A._ portant sur un montant de Fr. nnn.--. 3) Dire et prononcer que la décision sur réclamation de l'AFC du 1er juillet 2004 est entrée en force en ce qui concerne la base d'imposition de la mise à disposition des installations de golf aux utilisateurs. 4) Dire et prononcer que la créance fiscale de l'AFC n'est pas contestée en ce qu'elle porte sur les montants de Fr. fff et Fr. iii taxe sur la valeur ajoutée plus intérêt moratoire. 5) Dire et prononcer que les participations à la couverture du déficit et aux frais d'investissement ainsi que les rétrocessions des taxes de séjour consenties par les communes de Chermignon, Lens et Icogne entraînent une réduction de la déduction de l'impôt préalable. 6) Dire et prononcer que les participations du Golf-Club Crans-sur-Sierre sont soumises à l'impôt." Elle dénonce une violation des art. 4, 26 al. 1 et 6 lettre b ainsi que 30 al. 6 OTVA. La Commission de recours a renoncé à déposer des observations. L'intimé conclut au rejet du recours dans la mesure où il est recevable, sous suite de frais et dépens.