Faits:
A. X._ (ci-après: l'assujetti ou l'intimé), avocat de profession, est immatriculé dans le registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA) depuis le 1er janvier 1999.
Le 1er février 1999, le prénommé a été nommé administrateur spécial de la faillite de Y._.
Par courrier du 21 mai 2002, l'assujetti a demandé à l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou la recourante), de lui créditer un montant de TVA de 27'415 fr. 12, plus intérêt moratoire à compter du 1er septembre 2000. Il a fait valoir qu'il avait facturé à la masse de la faillite précitée des montants de TVA pour ses prestations d'administrateur spécial, alors qu'une telle activité relevait de la puissance publique et n'était de ce fait pas soumise à l'impôt.
Par lettres des 20 juin et 3 septembre 2002, l'Administration fédérale a invité l'assujetti à lui faire parvenir la note de crédit adressée à la masse en faillite en relation avec la TVA facturée à tort durant les périodes fiscales allant du 1er semestre 1999 au 1er semestre 2000, ainsi que la preuve du remboursement du montant de 27'415 fr. 12.
Par courriers des 23 et 29 octobre 2002, l'assujetti a demandé à l'Administration fédérale les raisons pour lesquelles elle exigeait la preuve du remboursement.
L'assujetti a remis à l'Administration fédérale une copie de l'avis de crédit le 15 mai 2003. A la demande de cette dernière, il a encore fourni des informations complémentaires dans un courrier du 8 juillet 2003.
Sur la base des éléments communiqués, l'Administration fédérale a levé l'imposition des prestations d'administrateur spécial et a fait parvenir à l'assujetti l'avis de crédit no 664240 du 5 août 2003, portant sur un montant de 23'185 fr.
Par courrier du 8 septembre 2003, l'Administration fédérale a communiqué à l'assujetti le mode de calcul de l'intérêt rémunératoire sur le montant ressortant de l'avis de crédit précité, intérêt qui se montait à 84 fr. A l'encontre de ce mode de calcul, l'assujetti a interjeté recours devant la Commission fédérale de recours en matière de contributions, laquelle a transmis le dossier à l'Administration fédérale comme objet de sa compétence.
B. Par décision du 19 janvier 2004, l'Administration fédérale a confirmé que l'intérêt rémunératoire auquel l'assujetti avait droit sur la somme de TVA remboursée de 23'185 fr. se montait à 84 fr. A l'encontre de ce prononcé, l'assujetti a formé une réclamation qui a été rejetée le 8 novembre 2005.
La décision sur réclamation a été déférée à la Commission fédérale de recours en matière de contributions, à laquelle a succédé le Tribunal administratif fédéral. Par arrêt du 16 juillet 2009, celui-ci a admis le recours et renvoyé la cause à l'Administration fédérale pour qu'elle procède à un nouveau calcul de l'intérêt rémunératoire, en conformité avec les considérants de son jugement. Le Tribunal administratif fédéral a soulevé la question de savoir si l'Administration fédérale n'aurait pas dû refuser de rembourser le montant de 23'185 fr., au vu des exigences relativement strictes auxquelles est soumise la restitution de l'impôt acquitté à tort. Après avoir relevé que l'assujetti avait a priori respecté les exigences relatives à la correction des factures et que rien ne donnait à penser que celui-ci avait bénéficié d'un traitement de faveur, il a renoncé à examiner plus avant cette question qui ne faisait pas l'objet du litige. Le Tribunal administratif fédéral a ensuite considéré que, conformément à l'art. 48 al. 4 de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (loi sur la TVA; RO 2000 1300 et les modifications ultérieures; en vigueur du 1er janvier 2001 au 31 décembre 2009; ci-après: aLTVA) et sous réserve d'abus de droit, l'intérêt rémunératoire commençait à courir le 61e jour après la demande de remboursement. En l'occurrence, la demande de remboursement datait du 21 mai 2002 et il n'apparaissait pas qu'en adressant la note de crédit à l'Administration fédérale seulement le 15 mai 2003, l'assujetti ait délibérément fait traîner la procédure et que son comportement ait été en cela abusif. Par conséquent, c'était la demande de remboursement et non pas, comme le pensait l'Administration fédérale, la remise de la note de crédit qui marquait le point de départ du délai de 60 jours au terme duquel l'intérêt rémunératoire litigieux commençait à courir.
C. Agissant par la voie du recours en matière de droit public, l'Administration fédérale demande au Tribunal fédéral d'annuler l'arrêt du 16 juillet 2009 et de rétablir la décision sur réclamation du 8 novembre 2005, sous suite de frais. Elle se plaint d'une violation de l'art. 48 al. 4 aLTVA.
L'autorité précédente renonce à se déterminer sur le recours. L'intimé n'a donné aucune suite au courrier l'invitant à prendre position.

Considérant en droit:
1. La décision entreprise, par laquelle l'autorité précédente renvoie le dossier à l'Administration fédérale pour nouveau calcul dans le sens des considérants, constitue une décision finale au sens de l'<ref-law> (cf. <ref-ruling> consid. 1.3 p. 127). En vertu de l'art. 5 de l'ordonnance du 11 décembre 2000 sur l'organisation du Département fédéral des finances (RO 2001 267 et les modifications ultérieures; en vigueur jusqu'au 28 février 2010), de l'art. 45b al. 2 de l'ordonnance du 29 mars 2000 relative à la loi sur la TVA (RO 2000 1347 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2009) ainsi que de l'art. 141 de l'ordonnance du 27 novembre 2009 régissant la taxe sur la valeur ajoutée (OTVA; RS 641.201; en vigueur dès le 1er janvier 2010), l'Administration fédérale a qualité pour recourir (cf. <ref-law>).
Au surplus, dirigé contre une décision rendue dans une cause de droit public (cf. <ref-law>) par le Tribunal administratif fédéral (cf. <ref-law>), le recours est en principe recevable, puisqu'il a été déposé en temps utile (cf. <ref-law>) et en la forme prévue par la loi (cf. <ref-law>) et qu'aucune des exceptions énumérées à l'<ref-law> n'est réalisée.
2. Selon l'art. 93 al. 1 aLTVA, les dispositions de l'ordonnance fédérale du 22 juin 1994 régissant la taxe sur la valeur ajoutée (RO 1994 II 1464 et les modifications ultérieures; en vigueur du 1er janvier 1995 au 31 décembre 2000; ci-après: aOTVA) sont en principe applicables à tous les faits et rapports juridiques ayant pris naissance au cours de leur durée de validité. La nouvelle loi fédérale du 12 juin 2009 régissant la taxe sur la valeur ajoutée (loi sur la TVA, LTVA; RS 641.20; en vigueur dès le 1er janvier 2010) contient une disposition transitoire similaire concernant l'application de la loi du même nom du 2 septembre 1999 (<ref-law>).
Le présent litige porte sur le montant de l'intérêt rémunératoire sur la créance en restitution d'impôt de 23'185 fr. La créance d'intérêts litigieuse étant née entre le 1er janvier 2001 et le 31 décembre 2009, elle est régie par l'ancienne loi sur la TVA du 2 septembre 1999.
3. 3.1 Faisant partie du Titre 2 "Impôt sur les opérations réalisées sur le territoire suisse" et intitulé "Remboursement de l'impôt", l'art. 48 aLTVA a la teneur suivante:
"1 Si l'impôt préalable déductible excède l'impôt dû, l'excédent est remboursé à l'assujetti.
2 [...]
3 [...]
4 Si l'excédent de l'impôt préalable ou un autre solde en faveur de l'assujetti est remboursé au-delà du 60e jour qui suit celui où le décompte ou la demande écrite de remboursement du solde sont parvenus à l'Administration fédérale des contributions, un intérêt rémunératoire au taux en vigueur pour l'intérêt moratoire sera crédité pour la période allant du 61e jour à celui du remboursement. Un intérêt rémunératoire sera également accordé à l'assujetti si celui-ci se voit rembourser des montants qui lui ont été réclamés à tort."
Sous réserve de quelques différences d'ordre rédactionnel, l'art. 39 aOTVA avait la même teneur.
Le Département fédéral des finances a fixé le taux de l'intérêt moratoire et celui de l'intérêt rémunératoire à 5% (art. 1 al. 1 et 3 de l'ordonnance du DFF du 20 juin 2000 sur les taux de l'intérêt moratoire et de l'intérêt rémunératoire [RO 2000 2146; en vigueur du 1er janvier 2001 au 30 avril 2007]).
Selon le Rapport de la Commission de l'économie et des redevances du Conseil national du 28 août 1996, la norme légale en question vaut aussi pour les soldes en faveur du contribuable qui résultent d'erreurs dans la déclaration (FF 1996 V 774; cf. aussi Thomas P. Wenk, in Kommentar zum Bundesgesetz über die Mehrwertsteuer, 2000, no 4 ad <ref-law>).
L'art. 48 est le pendant de l'art. 47 aLTVA: selon cette dernière disposition, intitulée "Paiement de l'impôt", l'assujetti doit verser l'impôt dans les 60 jours qui suivent l'expiration de la période de décompte, laquelle correspond en règle générale à un trimestre civil (cf. art. 45 al. 1 aLTVA). En cas de retard dans le paiement, un intérêt moratoire est dû sans sommation préalable (art. 47 al. 2 aLTVA). Le délai de 60 jours de l'art. 48 aLTVA équivaut à celui dans lequel l'assujetti doit déclarer l'impôt (cf. art. 46 aLTVA) et acquitter celui-ci (cf. art. 47 al. 1 aLTVA). L'intérêt rémunératoire auquel l'assujetti peut prétendre en vertu de l'art. 48 aLTVA représente l'équivalent de l'intérêt moratoire qu'il doit conformément à la disposition précédente, l'idée étant que le contribuable ne doit pas être moins bien traité que l'Administration fédérale (arrêt 2C_191/2007 du 11 octobre 2007 consid. 3.3, RF 64/2009 p. 32, avec renvoi au Rapport précité, FF 1996 V 775; voir aussi Alexandre Sadik/Olivier Comment, Les intérêts moratoires et rémunératoires en matière de TVA, L'Expert-comptable suisse 2007 p. 692). Au demeurant, la justification de l'intérêt rémunératoire est avant tout économique; à la différence de l'intérêt moratoire prévu par le Code des obligations, il ne suppose pas que le débiteur - c'est-à-dire l'Administration fédérale - se trouve en demeure (arrêt 2C_191/2007, précité, consid. 3.2).
La réglementation de l'art. 48 aLTVA a été reprise dans le nouveau droit à l'<ref-law>, dont la teneur est la suivante:
"1 Si le décompte de l'impôt présente un excédent en faveur de l'assujetti, cet excédent lui est remboursé.
2 [...]
3 L'assujetti peut demander la restitution d'un montant d'impôt non dû tant que la créance fiscale ne fait pas l'objet d'une décision entrée en force.
4 Si le remboursement de l'excédent selon l'al. 1 ou la restitution selon l'al. 3 a lieu plus de 60 jours après la réception par l'AFC du décompte ou de la demande de restitution, un intérêt rémunératoire est versé à partir du 61e jour et jusqu'au versement."
3.2 L'ordonnance du 1er novembre 2006 sur les douanes (OD; RS 631.01; en vigueur depuis le 1er mai 2007) a introduit dans l'ordonnance du 29 mars 2000 relative à la loi sur la TVA (RO 2000 1347 et les modifications ultérieures; en vigueur du 1er janvier 2001 au 31 décembre 2009; ci-après: aOLTVA) une Section 8a "Impôt sur les importations" (art. 19a à 19f). Intitulé "Intérêt rémunératoire", l'art. 19f aOLTVA prévoit ce qui suit:
"1 [...]
2 Un intérêt rémunératoire est servi jusqu'au versement:
a. pour les remboursements d'un impôt perçu en trop ou non dû au sens de l'<ref-law>: à partir du 61e jour après réception de la revendication écrite par l'Administration fédérale des douanes;
b. [...]
c. [...]
3 Le délai sans intérêts de 60 jours ne commence à courir que lorsque:
a. l'Administration fédérale des douanes est en possession de toutes les pièces nécessaires à l'établissement des faits et à l'appréciation de la requête;
b. [...]
c. [...]
4 [...]."
Cette disposition a été intégrée dans la nouvelle loi à l'<ref-law>, dont la teneur est la suivante:
"1 Un intérêt rémunératoire est versé jusqu'au paiement:
a. en cas de remboursement de l'impôt perçu en trop ou par erreur selon l'art. 59: à partir du 61e jour qui suit la réception de la demande écrite par l'AFD;
b. [...]
c. [...]
2 Le délai de 60 jours sans intérêts commence à courir lorsque:
a. les documents nécessaires à la constatation des faits et à l'appréciation de la demande sont parvenus à l'AFD;
b. [...]
c. [...]
3 [...]."
4. Selon la recourante, l'art. 48 al. 4 1ère phrase aLTVA doit être interprété en ce sens que, lorsqu'un assujetti demande le remboursement d'un montant de TVA versé indûment, le délai de 60 jours au terme duquel un intérêt rémunératoire est dû ne commence à courir qu'au moment où une demande de remboursement complète - c'est-à-dire contenant l'ensemble des moyens de preuve permettant de vérifier le bien-fondé de la créance en restitution - lui est parvenue. En effet, lorsque la demande de remboursement est incomplète et que la recourante doit demander des documents supplémentaires, elle ne peut être tenue au remboursement avant d'avoir reçu ceux-ci. Son obligation de rembourser n'est donc pas exigible tant qu'elle ne dispose pas de l'ensemble des éléments permettant de s'assurer de son bien-fondé. Or, selon un principe général, seule une obligation exigible peut donner lieu au versement d'un intérêt de retard. Par conséquent, le délai de 60 jours prévu à l'art. 48 al. 4 aLTVA ne commencerait à courir qu'au moment de la réception de l'ensemble des documents nécessaires au contrôle. Cette solution s'imposerait également en vertu d'une autre règle générale, selon laquelle un débiteur ne saurait être tenu au versement d'un intérêt tant que le retard dans l'exécution de son obligation ne lui est pas imputable. Or, on ne pourrait reprocher à la recourante de n'avoir pas remboursé la TVA, tant que l'assujetti ne lui a pas adressé l'ensemble de ces documents. En outre, l'institution de l'intérêt rémunératoire serait en soi étrangère à un système d'auto-taxation, de sorte qu'elle devrait être admise avec une certaine retenue. La recourante se prévaut également de ce que la solution qu'elle préconise a été consacrée aux art. 19f al. 3 lettre a aOLTVA et 61 al. 2 lettre a LTVA.
En l'occurrence, la recourante a reçu la note de crédit permettant de s'assurer de la réalisation des conditions de la restitution seulement le 16 mai 2003. L'intérêt rémunératoire aurait donc commencé à courir le 61e jour suivant, soit le 17 juillet 2003. La recourante relève que le laps de temps de près d'une année qui s'est écoulé entre son courrier du 20 juin 2002 et la remise de la note de crédit constitue "un retard excessif, voire délibéré". Elle fait également valoir qu'elle devait s'assurer du bien-fondé de la demande de l'intimé avec une vigilance particulière, car celui-ci "contrevient régulièrement à ses obligations légales en omettant de remettre ses décomptes dans le délai prescrit"; elle aurait de plus "été contrainte à plusieurs reprises de passer ses créances [à l'égard de l'intimé] en pertes".
5. 5.1 Quoi qu'en dise la recourante, la solution retenue par l'autorité précédente n'est pas contraire au droit fédéral.
Selon la lettre de l'art. 48 al. 4 aLTVA, c'est le moment où la demande écrite de remboursement parvient à l'Administration fédérale qui marque le point de départ du délai de 60 jours au terme duquel un intérêt rémunératoire est dû (voir aussi le texte allemand: "Erfolgt die Auszahlung [...] später als 60 Tage nach Eintreffen [...] der schriftlichen Geltendmachung des Saldos bei der Eidgenössischen Steuerverwaltung, so wird für die Zeit vom 61. Tag bis zur Auszahlung ein Vergütungszins [...] ausgerichtet" ainsi que le texte italien: "Se il versamento [...] è effettuato oltre il 60esimo giorno dalla ricezione [...] della richiesta scritta di rimborso del saldo presso l'Amministrazione federale delle contribuzioni, è corrisposto un interesse rimuneratorio [...] a contare dal 61esimo giorno sino a quello del versamento"). Le dernier jour du délai est celui où la créance en remboursement devient exigible (cf. Mollard/Oberson/Tissot Benedetto, Traité TVA, 2009, chap. 4 nos 219 et 223 s'agissant de la créance fiscale périodique au sens de l'art. 47 al. 1 aLTVA). A compter du dépôt de la demande, l'Administration fédérale dispose ainsi, avant que la créance en remboursement ne devienne exigible et qu'un intérêt rémunératoire ne soit dû, d'un délai de 60 jours pour s'assurer du bien-fondé de la prétention et effectuer le versement. Or, la recourante n'allègue pas et démontre encore moins que ce délai serait de manière générale insuffisant. Selon les circonstances, la vérification du bien-fondé de la prétention suppose certes que l'assujetti communique certaines informations, comme il en a l'obligation (cf. art. 57 al. 1 aLTVA), dans le délai (raisonnable) qui lui aura été imparti pour ce faire. Si celui-ci manque gravement à ses obligations et empêche par là l'Administration fédérale de vérifier le bien-fondé de la prétention et d'effectuer le remboursement dans le délai de 60 jours, il pourra apparaître abusif - au sens de l'<ref-law> - de sa part d'exiger un intérêt rémunératoire calculé à partir du 61e jour suivant le dépôt de la demande de remboursement. L'assujetti courrait en outre le risque que l'Administration fédérale refuse d'entrer en matière sur la demande de remboursement, en se fondant sur l'art. 13 al. 2 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021; applicable par renvoi de l'art. 63 al. 2 aLTVA).
Au demeurant, il y a lieu de tenir compte du parallélisme entre l'intérêt moratoire de l'art. 47 aLTVA et l'intérêt rémunératoire de l'art. 48 aLTVA (cf. consid. 3.1 ci-dessus). L'art. 47 aLTVA ne prévoit pas d'exception à la règle selon laquelle un intérêt moratoire est calculé dès lors que l'impôt n'est pas payé dans les 60 jours suivant l'expiration de la période de décompte. En particulier, l'intérêt moratoire est dû indépendamment de toute faute du contribuable ("quelle que soit la raison du retard" selon les Instructions 2001 sur la TVA, no 970; voir aussi les Instructions 2008 sur la TVA, no 970, ainsi que l'arrêt 2C_642/2008 du 12 décembre 2008, consid. 5). Dans ces conditions, il convient, dans l'interprétation de l'art. 48 al. 4 aLTVA, de retenir comme termes du délai de 60 jours des circonstances objectives. Le dépôt de la demande (écrite) de remboursement constitue une telle circonstance et représente une date-critère simple et sûre à appliquer, alors que la question de savoir si une telle demande est complète, au sens où l'entend la recourante, est en revanche sujette à appréciation.
Au vu de ce qui précède, il y a lieu de s'en tenir à la lettre de l'art. 48 al. 4 aLTVA et d'admettre que le délai de 60 jours court dès qu'une demande de remboursement écrite a été déposée. L'examen du nouveau droit conduit au même résultat. Selon celui-ci, en effet, le délai en question court à compter de la réception de la "demande de restitution", pour laquelle la forme écrite n'est plus exigée (<ref-law>). En outre et surtout, si le législateur a ancré dans la loi (art. 61 al. 1 lettre a et al. 2 lettre a LTVA) la réglementation de l'art. 19f aOLTVA sur l'intérêt rémunératoire en cas de remboursement de l'impôt sur les importations, il ne l'a pas étendue à l'impôt grevant les opérations réalisées sur le territoire suisse (cf. <ref-law>). Le législateur a donc clairement maintenu deux régimes différents en ce qui concerne le point de départ du délai de 60 jours au terme duquel l'intérêt rémunératoire est dû (cf. Mollard/Oberson/Tissot Benedetto, op. cit., Annexe 3, no 360, qui relèvent toutefois que cette différence est controversée).
5.2 L'argumentation que la recourante développe à l'encontre de cette interprétation ne peut être suivie.
En droit privé, l'obligation de verser un intérêt moratoire est une conséquence de la demeure du débiteur (cf. <ref-law>), laquelle suppose que l'obligation soit exigible (cf. <ref-law>). L'exigibilité est une qualité de la créance (ou de la dette) et signifie que le créancier a le droit de réclamer la prestation et, en cas d'inexécution, d'agir en justice (cf. Pierre Tercier, Le droit des obligations, 4e éd., 2009, no 1057). L'<ref-law> énonce la règle générale selon laquelle les obligations sont exigibles immédiatement, c'est-à-dire dès leur naissance. Contrairement à ce qu'affirme la recourante, une obligation ne devient pas exigible seulement lorsque son existence est établie, son débiteur disposant de l'ensemble des éléments lui permettant de s'assurer du bien-fondé de la prétention. Avec l'autorité précédente, il convient en effet de distinguer le moment de la naissance de l'obligation et/ou de son exigibilité de celui où, en cas de contestation ou d'insécurité juridique, son existence et/ou son exigibilité est établie. En particulier lorsqu'une procédure judiciaire est menée, il peut s'écouler un laps de temps considérable entre les deux, ce qui ne change rien au fait qu'un intérêt moratoire est dû pour la période allant de la mise en demeure du débiteur jusqu'au paiement.
Quant à l'argument selon lequel la recourante ne saurait être tenue de verser un intérêt rémunératoire tant que le retard dans l'exécution de son obligation ne lui est pas imputable, on a vu que l'intérêt rémunératoire de l'art. 48 al. 4 aLTVA représente une compensation, se justifie pour des motifs économiques et ne suppose pas que le fisc se trouve en demeure (consid. 3.1 ci-dessus). Sous réserve de l'abus de droit, il ne dépend pas non plus du respect par le contribuable de ses obligations, de sorte que le fait que l'on se trouve dans un système d'auto-taxation, qui impose des obligations particulières aux assujettis, ne change rien à cet égard, contrairement à l'avis de la recourante.
6. 6.1 Il reste à déterminer si le comportement de l'intimé est abusif. Il s'agit là d'une question de droit que le Tribunal de céans, à l'instar de l'autorité précédente, examine d'office (cf. <ref-law>). S'agissant d'un point de droit, il n'a pas à être prouvé et la question du fardeau de la preuve ne se pose pas, contrairement à l'opinion de l'autorité précédente, qui a mis ce fardeau à la charge de la recourante (cf. décision attaquée, consid. 5.3). En revanche, la preuve des faits de nature à constituer un abus de droit peut être mise à la charge de la recourante, du moment qu'il s'agit de circonstances propres à supprimer ou diminuer sa dette d'intérêts rémunératoires vis-à-vis de l'assujetti (cf. arrêt 2A.264/2006 du 3 septembre 2008 consid. 4.1, Archives 78 p. 600, RDAF 2009 II p. 186, RF 64/2009 p. 40). Le Tribunal de céans est quant à lui lié par les faits retenus dans la décision attaquée (<ref-law>).
6.2 L'intimé a tardé à répondre aux courriers de la recourante des 20 juin et 3 septembre 2002, en ne respectant pas les deux délais de 20 jours qui lui ont été successivement impartis. Il a finalement répondu par courriers des 23 et 29 octobre 2002. On peine à comprendre la raison pour laquelle il n'a pas joint à ce dernier une copie de la note de crédit, comme le demandait la recourante, alors que celle-ci avait apparemment déjà été établie. Quant à l'exigence de la preuve de ce qu'il avait remboursé le montant de TVA en cause à la masse en faillite, elle correspondait à la pratique administrative alors en vigueur. Selon cette pratique, en effet, le remboursement par l'assujetti au destinataire des opérations de la TVA perçue indûment constituait une charge (cf. arrêt 2A.320 et 326/2002 du 2 juin 2003 consid. 5.1, Archives 74 p. 666, RDAF 2004 II p. 100, RF 58/2003 p. 797) - mais non une condition du droit à la restitution de l'impôt par l'Administration fédérale - dont cette dernière contrôlait le respect avant d'effectuer elle-même le remboursement à l'assujetti. Cette pratique a été invalidée par l'arrêt précité du 2 juin 2003 (consid. 5; cf. aussi arrêt 2A.461/2002 de la même date consid. 3, RDAF 2003 II p. 656; Mollard/Oberson/Tissot Benedetto, op. cit., chap. 1 nos 453 s.). La recourante fait valoir que cette pratique était exposée au chiffre 808 des Instructions 2001 sur la TVA, de sorte que l'intimé devait en avoir connaissance, conformément à la jurisprudence selon laquelle les assujettis ne peuvent valablement prétendre avoir ignoré lesdites Instructions (cf. arrêt 2A.555/1999 du 15 mai 2000 consid. 5b, Archives 70 p. 589, RDAF 2000 II p. 300, RF 55/2000 p. 584, SJ 2000 I p. 620). La teneur du chiffre en question n'était toutefois pas aussi claire, en ce qui concerne l'exigence de la preuve du remboursement, que semble le dire la recourante. La question que l'intimé a soulevée à ce propos dans son écriture des 23 et 29 octobre 2002 n'était ainsi pas sans pertinence, ce d'autant que, par décision du 24 mai 2002 - qui n'était certes pas entrée en force, puisqu'elle avait fait l'objet d'un recours tranché par l'arrêt précité du 2 juin 2003 -, l'ancienne Commission fédérale de recours en matière de contributions avait jugé que l'Administration fédérale ne pouvait faire dépendre la restitution de la TVA perçue indûment au contribuable qui la demandait de la preuve que ce dernier avait lui-même déjà remboursé le montant au destinataire des opérations - auquel la TVA avait été en son temps facturée à tort -, ce remboursement relevant du droit privé (cf. arrêt 2A.320 et 326/2002, précité, pt B de la partie "Faits"). Dans ces conditions, les courriers de l'intimé des 23 et 29 octobre 2002 - quoique tardifs - auraient mérité une réponse. La recourante n'y ayant donné aucune suite, elle est aussi en partie responsable du fait qu'il s'est écoulé un temps considérable entre le dépôt de la demande de remboursement et l'établissement de l'avis de crédit. Cette situation n'est ainsi pas uniquement imputable à l'intimé. En outre, si celui-ci a certes manqué dans une certaine mesure à ses obligations, ces manquements n'apparaissent pas graves au point qu'il soit abusif de sa part de prétendre à ce que l'intérêt rémunératoire litigieux soit calculé sur toute la période en question, conformément à l'art. 48 al. 4 aLTVA.
7. Les considérants qui précèdent conduisent au rejet du recours. Le dossier doit être retourné à la recourante pour qu'elle procède à un nouveau calcul et rende une nouvelle décision dans le sens des considérants de la présente décision.
Succombant, la recourante - dont l'intérêt pécuniaire est en cause - doit supporter les frais judiciaires (cf. art. 66 al. 1 et 4 LTF).
L'intimé qui ne s'est pas déterminé n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté. Le dossier est renvoyé à l'Administration fédérale des contributions pour qu'elle procède à un nouveau calcul et rende une nouvelle décision dans le sens des considérants du présent arrêt.
2. Des frais judiciaires de 2'000 fr. sont mis à la charge de la recourante.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux participants à la procédure et au Tribunal administratif fédéral, Cour I.
Lausanne, le 5 mai 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin