Sachverhalt:
A. X._ betreibt in A._ (D) ein _fachgeschäft. Er beauftragte die in der Schweiz ansässige R._ AG mit der Schaltung von Werbeinseraten in inländischen Zeitungen und liess bei der M._ AG Einladungskarten und Prospekte für seine schweizerische Kundschaft herstellen. Die mit der Mehrwertsteuer ausgestellten Rechnungen waren an die Postfachadresse von X._ in U._, welche dieser für seine inländischen Kunden und Lieferanten eingerichtet hatte, adressiert.
X._ korrespondierte bereits in den Jahren 1997 und 1998 mit der Eidgenössischen Steuerverwaltung, unter welchen Voraussetzungen den Abnehmern mit Wohn- oder Geschäftssitz im Ausland die Steuer auf den an sie im Inland ausgeführten Lieferungen oder Dienstleistungen die Steuer vergütet werden kann (Art. 81 lit. c der Verordnung über die Mehrwertsteuer vom 22. Juni 1994, MWSTV, AS 1994 1464; jetzt Art. 90 Abs. 2 lit. b des Bundesgesetzes über die Mehrwertsteuer vom 2. September 1999, MWSTG, SR 641.20). Mit Schreiben vom 31. August 1998 machte die Eidgenössische Steuerverwaltung X._ auf die formellen Anforderungen aufmerksam, welchen die Rechnungen im Hinblick auf die Vergütung der Steuer genügen müssen.
Am 20. Juni 2002 und 25. Juni 2003 stellte X._ der Eidgenössischen Steuerverwaltung Antrag auf Rückerstattung der schweizerischen Mehrwertsteuer für das Jahr 2001 resp. 2002, was diese mit Hinweis auf ihre verschiedenen Schreiben ablehnte (Entscheid vom 5. November 2003). Eine Einsprache wies die Eidgenössische Steuerverwaltung am 27. Mai 2004 ab.
B. X._ führte Beschwerde bei der Eidgenössischen Steuerrekurskommission. Das Bundesverwaltungsgericht, welches das Verfahren von der Eidgenössischen Steuerrekurskommission übernommen hatte, hiess die Beschwerde gut, soweit sie die Rückerstattung der auf den Rechnungen der M._ AG belasteten Mehrwertsteuern betraf, und verpflichtete die Eidgenössische Steuerverwaltung, auf dem zurückzuerstattenden Betrag einen Vergütungszins von 5 % auszurichten (Art. 48 Abs. 4 MWSTG in Verbindung mit Art. 1 Abs. 3 der Verordnung des Eidgenössischen Finanzdepartements vom 20. Juni 2000 über die Verzugs- und Vergütungszinssätze, SR 641.201.49). Im Übrigen wies das Bundesverwaltungsgericht die Beschwerde ab (Entscheid vom 19. März 2007).
C. Mit Beschwerde beantragt die Eidgenössische Steuerverwaltung dem Bundesgericht, das Urteil des Bundesverwaltungsgerichts sei teilweise aufzuheben. Es sei festzustellen, dass auf der Vergütung der Steuer gemäss Art. 90 Abs. 2 lit. b MWSTG kein Zins geschuldet sei.
X._ schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde wurde unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) eingereicht und richtet sich gegen einen vom Bundesverwaltungsgericht (Art. 86 Abs. 1 lit. a BGG) gefällten Endentscheid (Art. 90 BGG) in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG). Ein Ausschlussgrund gemäss Art. 83 BGG liegt nicht vor. Die Eidgenössische Steuerverwaltung ist zur Beschwerde legitimiert (Art. 89 Abs. 2 lit. a BGG in Verbindung mit Art. 5 und 17 der Organisationsverordnung für das Eidgenössische Finanzdepartement vom 11. Dezember 2000, SR 172.215.1, und Art. 45b Abs. 2 der Verordnung zum Bundesgesetz über die Mehrwertsteuer vom 29. März 2000, MWSTGV, SR 641.201). Auf die Beschwerde ist einzutreten.
Nicht einzutreten ist auf das Begehren des Beschwerdegegners in der Beschwerdevernehmlassung, wonach die Parteientschädigung für das vorinstanzliche Verfahren auf Fr. 2'456.85 festzusetzen sei. Für die selbständige Anfechtung des Entscheids im Kostenpunkt war die Beschwerdefrist im Zeitpunkt der Einreichung der Vernehmlassung abgelaufen. Das BGG sieht die Möglichkeit der Anschlussbeschwerde nicht vor.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling>, E. 1.4 S. 140). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, soweit er nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG).
2. Vor Bundesgericht ist einzig noch die Frage umstritten, ob die Eidgenössische Steuerverwaltung auf der Rückvergütung der schweizerischen Mehrwertsteuer an den Beschwerdegegner einen Zins zu zahlen hat. Dass die Eidgenössische Steuerverwaltung dem Beschwerdegegner die auf den Rechnungen der M._ AG ausgewiesene Mehrwertsteuer zu vergüten hat, ist nicht angefochten worden.
3. 3.1 Gemäss Art. 90 Abs. 2 lit. b MWSTG ist der Bundesrat zuständig zu bestimmen, unter welchen Voraussetzungen den Abnehmern mit Wohn- oder Geschäftssitz im Ausland die Mehrwertsteuer auf den an sie im Inland ausgeführten Lieferungen und Dienstleistungen zu erstatten ist. Von dieser Kompetenz hat der Bundesrat in Art. 28 ff. MWSTGV Gebrauch gemacht und die Details der Steuerrückvergütung an Abnehmer mit Wohn- oder Geschäftssitz im Ausland geregelt. Dass die Rückvergütungen zu verzinsen wären, sieht die Verordnung - im Unterschied zur gesetzlichen Regelung über die Verzinsung von Rückvergütungen, die sich im Zusammenhang mit Vorsteuerüberhängen oder für zu Unrecht eingeforderte Steuern ergeben (vgl. Art. 48 Abs. 4 MWSTG) - nicht vor. Das Merkblatt Nr. 19 der Eidgenössischen Steuerverwaltung über die "Vergütung der Mehrwertsteuer an Abnehmer mit Wohn- oder Geschäftssitz im Ausland" (Ziff. 1.10) schliesst die Zahlung von Vergütungszinsen bei Erstattungen nach Art. 90 Abs. 2 lit. b MWSTG gänzlich aus. Es fragt sich, ob die bundesrätliche Regelung lückenhaft ist.
3.2 Es entspricht einem allgemeinen Rechtsgrundsatz, dass für öffentlich-rechtliche Forderungen ein Verzugszins bezahlt werden muss, sofern es nicht durch besondere gesetzliche Regelung oder dem Sinn nach ausgeschlossen ist (<ref-ruling> E. 4b, 95 I 258 E. 3 S. 263). Im Steuerrecht ist die Verzinslichkeit der Steuerforderung im Gesetz regelmässig explizit geregelt (Blumenstein/Locher, System des Steuerrechts, 5. Aufl. 1995, S. 278).
Vom Verzugszins zu unterscheiden ist der Vergütungszins, der auf zuviel bezahlten und deshalb zurückzuerstattenden Beträgen geschuldet ist. Im Unterschied zum Verzugszins ist der Vergütungszins wirtschaftlich motiviert und setzt insbesondere keinen Verzug der Verwaltung voraus. Der Vergütungszins besteht zugunsten des Steuerpflichtigen, der einen Steuerbetrag vorzeitig entrichtet, bevor er nach den allgemeinen Fälligkeitsterminen zur Bezahlung verpflichtet ist, oder der eine Steuer zu Unrecht bezahlt hat und dem die Steuer zurückerstattet werden muss (ASA 53 S. 558 E. 4). Eine solche Verzinsung versteht sich aber nicht von selbst, sondern muss positiv angeordnet sein. Vergütungszinsen sind daher grundsätzlich nur geschuldet, wenn dies gesetzlich vorgesehen ist (ASA 68 S. 518 E. 3a, 53 S. 558 E. 4; s. auch Locher/Locher, Interkantonale Doppelbesteuerung, § 12 III C 2 Nr. 8, für die Verzinsung bei Rückerstattung zu Unrecht bezogener Steuern durch den Kanton). Ausnahmsweise ergibt sich aus Sinn und Zweck der gesetzlichen Regelung, durch Analogieschluss oder aus allgemeinen Prinzipien, dass ein Vergütungszins zu bezahlen ist (s. auch Blumenstein/Locher, a.a.O., S. 279 mit Hinweis auf ASA 51 S. 650 E. 3). Mitunter schliesst das Gesetz einen Vergütungszins ausdrücklich aus (vgl. Art. 31 Abs. 4 des Bundesgesetzes über die Verrechnungssteuer, VStG, SR 642.21).
3.3 Vergütungszinsen rechtfertigen sich besonders dort, wo auch der Steuerpflichtige bei nicht rechtzeitiger Zahlung der Steuerforderung einen Verzugszins oder Verspätungszins schuldet. Für das Mehrwertsteuerrecht bestimmt Art. 48 Abs. 4 MWSTG unter der Marginalie "Rückerstattung von Steuern", dass die Eidgenössische Steuerverwaltung bei Auszahlung des Überschusses an abziehbaren Vorsteuern oder eines anderen Saldoguthabens ab einem bestimmten Tag - ab dem 61. Tag nach Eintreffen der Steuerabrechnung bzw. des schriftlichen Gesuchs - einen Vergütungszins zu entrichten hat. Solche Überschüsse können sich ergeben, wenn die abziehbaren Vorsteuern die geschuldete Steuer übersteigen, bei Gutschriften oder bei der Verrechnung des Saldos verschiedener Quartalsabrechnungen. Nach Satz 2 von Art. 48 Abs. 4 MWSTG ist ein solcher Vergütungszins auch auszurichten, wenn der steuerpflichtigen Person Steuern zurückzuerstatten sind, die zu Unrecht eingefordert wurden. Diese Vergütungszinsen sind aber gesetzlich ausdrücklich vorgesehen und stellen den Ausgleich zur Verzugszinspflicht des Steuerpflichtigen her. Sie verhindern, dass der Steuerpflichtige gegenüber der Steuerverwaltung schlechter gestellt wird (s. auch Bericht der Kommission für Wirtschaft und Abgaben des Nationalrats [WAK-N] vom 28. August 1996, BBl 1996 V 781 f.). Dass sich Verzugs- und Vergütungszins bei der Mehrwertsteuer ergänzen, zeigt sich auch darin, dass der Vergütungszins zum gleichen Zinssatz geschuldet ist wie der Verzugszins (Art. 48 Abs. 4 Satz 1 MWSTG).
Der Bundesrat hat nunmehr auch für die Einfuhrsteuer einen Verzugs- und Vergütungszins in den Artikeln 19d - 19f MWSTGV vorgesehen. Diese Bestimmungen wurden im Zuge der Neuordnung des Zollgesetzes mit der Zollverordnung vom 1. November 2006 (ZV, SR 631.01) mit Wirkung ab 1. Mai 2007 in die Mehrwertsteuergesetz-Verordnung eingeführt und stellen das Pendant zur Verzugs- und Vergütungszinspflicht bei der Erhebung von Zollabgaben dar (vgl. Art. 186 ff. ZV). Wird die Steuer nicht fristgerecht bezahlt, ist ein Verzugszins geschuldet (Art. 19d Abs. 1 MWSTGV); bei der Rückerstattung einer zuviel erhobenen oder nicht geschuldeten Steuer wird ab dem 61. Tage nach Stellung des Antrags ein Vergütungszins ausgerichtet (Art. 19f Abs. 2 lit. a MWSTGV). Nach lit. b von Art. 19f MWSTGV ist ein Vergütungszins zudem vorgesehen bei der Rückerstattung der Steuer infolge Wiederausfuhr. Auch in diesen Fällen besteht zwischen Verzugszinspflicht und Vergütungszinspflicht eine Konnexität.
3.4 Ein solcher Zusammenhang zwischen der Verzugszinspflicht des Mehrwertsteuerpflichtigen und einem allfällig geschuldeten Vergütungszins auf der Rückvergütung der Mehrwertsteuer an den Abnehmer mit Wohn- oder Geschäftssitz im Ausland im Vergütungsverfahren nach Art. 90 Abs. 2 lit. b MWSTG besteht nicht. Das ist schon deshalb nicht der Fall, weil die rückerstattungsberechtigte Person mit der steuerpflichtigen Person nicht identisch ist. Mit der Stellung des Gesuchs um Steuervergütung durch den Anspruchsberechtigten befindet sich die Eidgenössische Steuerverwaltung zunächst auch nicht in Verzug. Vielmehr ist der zurückzuerstattende Betrag verfügungsmässig festzulegen. Im Vergütungsverfahren nach Art. 28 - 31 MWSTGV ist deshalb kein Vergütungszins vorgesehen. Es handelt sich nicht um eine Lücke im Gesetz oder in der Verordnung. Eine analoge Anwendung von Art. 48 Abs. 4 MWSTG über den Vergütungszins bei der Rückerstattung von Steuern auf das Vergütungsverfahren drängt sich daher nicht auf. Art. 48 MWSTG bezieht sich zudem nach dem Willen des Gesetzgebers nur auf die dort erwähnten Fälle von Saldoguthaben, hält doch der Gesetzgeber ausdrücklich fest, dass Überschüsse aus freiwilligen Zahlungen (Vorauszahlungen) "keinesfalls" zu verzinsen sind (Bericht WAK-N, a.a.O., S. 782).
Beim Vergütungsverfahren nach Art. 90 Abs. 2 lit. b MWSTG zugunsten von Abnehmern mit Wohn- oder Geschäftssitz im Ausland verhält es sich ähnlich wie bei der Rückerstattung der Mehrwertsteuer an Missionen, internationale Organisationen usw., die aufgrund des Gaststaatgesetzes vom 22. Juni 2007 (GSG, SR 192.12) von der Steuerpflicht ausgenommen sind, und für welche der Bundesrat gestützt auf Art. 90 Abs. 2 lit. a MWSTG ebenfalls zuständig ist, die Entlastung von der Mehrwertsteuer zu regeln (vgl. Art. 20 ff. MWSTGV). Für diese hat der Bundesrat einen Vergütungszins auf Rückerstattungen ausdrücklich ausgeschlossen (Art. 24 Abs. 5 MWSTGV). Das deutet darauf hin, dass im Vergütungsverfahren nach Art. 90 Abs. 2 lit. b MWSTG ein Vergütungszins ebenfalls (analog) nicht ausgerichtet wird.
4. Es fragt sich, ob sich allenfalls aus völkerrechtlicher Verpflichtung oder Usanz eine Notwendigkeit zur Bezahlung von Vergütungszinsen ergeben kann. Die Frage kann offen bleiben. Wesentliche Voraussetzung für die Erstattung der Steuer nach Art. Art. 90 Abs. 2 lit. b MWSTG ist, dass der Sitzstaat des Gesuchstellers Gegenrecht hält. Nichts anderes sieht auch die Europäische Union (EU) vor, welche in Art. 2 Abs. 2 der 13. Umsatzsteuer-Richtlinie vom 17. November 1986 (86/560/EWG) die Möglichkeit vorsieht, die Erstattung der Mehrwertsteuer von der Gewährung vergleichbarer Vorteile durch die Drittländer abhängig zu machen. Es ist deshalb folgerichtig, wenn zumindest für Länder, bei denen kein Gegenrecht besteht, auch keine Vergütungszinsen bezahlt werden. Dass Deutschland auf Steuerbeträgen, die es im Vergütungsverfahren erstattet, Vergütungszinsen leistet, ist trotz gegenteiliger Behauptung des Beschwerdegegners nicht nachgewiesen (s. auch §§ 59 ff. der deutschen Umsatzsteuer-Durchführungsverordnung vom 21. 2005, UStDV). Wenn daher die Eidgenössische Steuerverwaltung unter diesen Umständen keinen Vergütungszins leistet, verletzt das von vornherein keine völkerrechtlichen Verpflichtungen. Damit kann offen bleiben, ob und unter welchen Umständen allenfalls ein Vergütungszins geschuldet ist, wenn der Sitzstaat einen solchen vorsieht.
5. Indem die Vorinstanz trotz mangelnder Rechtsgrundlage die Eidgenössische Steuerverwaltung verpflichtet hat, im Vergütungsverfahren nach Art. 90 Abs. 2 lit. b MWSTG auf dem Rückerstattungsbetrag einen Vergütungszins zu bezahlen, hat sie Bundesrecht verletzt. Die Beschwerde der Eidgenössischen Steuerverwaltung ist insoweit begründet und der angefochtene Entscheid hinsichtlich des zugesprochenen Vergütungszinses (nicht Verzugszinses, wie in der Dispositivmitteilung des Bundesgerichts vom 11. Oktober 2007 versehentlich festgehalten) aufzuheben.
Die bundesgerichtlichen Kosten sind dem Beschwerdegegner aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Anspruch auf Parteientschädigung besteht nicht (Art. 68 Abs. 3 BGG). Der Entscheid über die Kosten und Parteientschädigung des vorangegangenen Verfahrens ist nicht zu korrigieren, da das vorliegende Verfahren lediglich einen Nebenpunkt (Vergütungszinspflicht) betrifft.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde der Eidgenössischen Steuerverwaltung wird gutgeheissen und das vorinstanzliche Urteil vom 19. März 2007 im Umfange des in Ziff. 4.2 in fine der Erwägungen zugesprochenen Vergütungszinses von 5 % aufgehoben.
2. Auf den Antrag des Beschwerdegegners X._ bezüglich Zusprechung einer erhöhten Parteientschädigung für das vorinstanzliche Verfahren wird nicht eingetreten.
3. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdegegner auferlegt.
4. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 11. Oktober 2007
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Wyssmann