Sachverhalt:
A. Am 5. Juni 2003 stellte die Y._ Limited mit Sitz auf Bermuda bei der Eidgenössischen Steuerverwaltung einen Antrag auf Vergütung der Mehrwertsteuer im Betrag von Fr. 116'627.54 auf den Leistungen, die an sie im Jahre 2002 im Inland ausgeführt wurden (vgl. Art. 90 Abs. 2 lit. b des Bundesgesetzes über die Mehrwertsteuer vom 2. September 1999, MWSTG, SR 641.20). Am 17. Januar 2004 stellte sie auch einen Antrag auf Vergütung der Mehrwertsteuer im Betrag von Fr. 565'830.39 für das Jahr 2003.
Mit Entscheid vom 27. Februar 2004 wies die Eidgenössische Steuerverwaltung die Vergütungsanträge ab, da die Antragstellerin weder ihre Unternehmereigenschaft noch die Art der Verwendung der bezogenen Leistungen nachgewiesen hatte. Im Einspracheverfahren hiess die Eidgenössische Steuerverwaltung mit Entscheid vom 18. Mai 2006 den Antrag der Y._ Limited auf Vergütung der Mehrwertsteuer im Betrag von Fr. 116'627.54 und Fr. 565'830.39 aufgrund der neu eingereichten Unterlagen gut. Einen Vergütungszins richtete die Verwaltung indessen nicht aus, da Bermuda kein entsprechendes Gegenrecht gewähre. Auch sprach sie keine Parteientschädigung zu.
B. Mit Beschwerde vom 14. Juni 2006 beantragt die Y._ Limited der Eidgenössischen Steuerrekurskommission, es sei der Einspracheentscheid der Eidgenössischen Steuerverwaltung aufzuheben, soweit er ihr keinen Vergütungszins und keine Parteientschädigung zuspreche (Ziffern 3 und 5 des Einspracheentscheides). Es sei ihr ein Verspätungszins von 5 % per annum auf Fr. 116'627.54 für die Zeit vom 5. August 2003 bis 30. Mai 2006 und auf Fr. 565'831.00 für die Zeit vom 21. März 2004 bis 30. Mai 2006 zu bezahlen. Sodann sei ihr für das Einspracheverfahren eine Parteientschädigung zuzusprechen.
Das Bundesverwaltungsgericht, welches das Verfahren von der Eidgenössischen Steuerrekurskommission übernommen hatte, hiess mit Urteil vom 29. April 2008 die Beschwerde im Sinne der Erwägungen teilweise gut. Es wies die Sache zur Berechnung des geschuldeten Vergütungszinses ab dem 61. Tag seit Gesuchstellung bis zur Zahlung der Steuervergütung an die Eidgenössische Steuerverwaltung zurück. Dem Antrag auf Zusprechung einer Parteientschädigung für das Einspracheverfahren gab das Bundesverwaltungsgericht nicht statt. Die Verfahrenskosten im Betrag von Fr. 2'000.-- auferlegte es mit Fr. 200.-- der teilweise obsiegenden Y._ Limited und sprach ihr eine reduzierte Parteientschädigung zu. Der Vorinstanz wurden keine Kosten auferlegt.
C. Hiergegen führt die Eidgenössische Steuerverwaltung Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Bundesverwaltungsgerichts vom 29. April 2008 sei aufzuheben, soweit es nicht die Parteikostenentschädigung im Einspracheverfahren betreffe (vgl. angefochtenes Urteil E. 4), und der Einspracheentscheid vom 18. Mai 2006 sei zu bestätigen.
Die Y._ Limited schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen vom Bundesverwaltungsgericht (<ref-law>) gefällten Endentscheid (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law>). Die Rückweisung einzig zum Zweck, dass die Verwaltung den Vergütungszins anhand der bereits bestimmten Tage frankenmässig berechne, ändert nichts daran, dass es sich um einen Endentscheid handelt (vgl. <ref-ruling> E. 1.3). Die Eidgenössische Steuerverwaltung ist zur Beschwerde legitimiert (<ref-law> in Verbindung mit Art. 5 und 17 der Organisationsverordnung für das Eidgenössische Finanzdepartement vom 11. Dezember 2000, SR 172.215.1, und Art. 45b Abs. 2 der Verordnung zum Bundesgesetz über die Mehrwertsteuer vom 29. März 2000, MWSTGV, SR 641.201). Auf die Beschwerde ist einzutreten.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (vgl. <ref-ruling>, E. 1.4 S. 140). Indessen legt es seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, soweit er nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 Die Beschwerdegegnerin verlangt Einsichtnahme in die von der Beschwerdeführerin eingereichten "vertraulichen" Akten. Bei diesen Akten handelt es sich um die gleichen Dokumente, welche die Beschwerdeführerin ihrer Beschwerde in anonymisierter Form als Beilagen 23 - 28 den amtlichen Akten beigelegt hat (vgl. Beschwerde S. 9). Freilich konnte die Beschwerdegegnerin aus der Formulierung in der Beschwerde dies nicht erkennen. Die anonymisierten Dokumente standen der Beschwerdegegnerin somit offen. Sie hätte in die amtlichen Akten Einsicht nehmen können, wenn sie das verlangt hätte. Es wurden ihre somit keine Dokumente vorenthalten, die sie nicht einsehen durfte. Dass diese Dokumente zu anonymisieren waren, nachdem sie andere Steuerpflichtige betrafen, versteht sich von selbst. Damit erübrigt sich auch die Anordnung eines zweiten Schriftenwechsels, den die Beschwerdegegnerin im Hinblick auf die vertraulichen Dokumente vorsorglich beantragt hat.
2. Vor Bundesgericht ist einzig umstritten, ob die Eidgenössische Steuerverwaltung auf der Vergütung der Mehrwertsteuer an die Beschwerdegegnerin einen Zins zu zahlen hat. Die eigentliche Vergütung der Mehrwertsteuern im Betrag von Fr. 116'627.54 und Fr. 565'830.39, wie sie der Beschwerdegegnerin im Einspracheentscheid zugesprochen wurden, blieb unbestritten. Ebenso steht die Frage der Parteientschädigung für das Einspracheverfahren nicht mehr zur Diskussion.
3. 3.1 Gemäss <ref-law> ist der Bundesrat zuständig zu bestimmen, unter welchen Voraussetzungen den Abnehmern mit Wohn- oder Geschäftssitz im Ausland die Mehrwertsteuer auf den an sie im Inland ausgeführten Lieferungen und Dienstleistungen zu erstatten ist. Von dieser Kompetenz hat der Bundesrat in Art. 28 ff. MWSTGV Gebrauch gemacht und die Details der Steuerrückvergütung an Abnehmer mit Wohn- oder Geschäftssitz im Ausland geregelt. Dass die Rückvergütungen zu verzinsen wären, sieht die Verordnung - im Unterschied zur gesetzlichen Regelung über die Verzinsung von Rückvergütungen, die sich im Zusammenhang mit Vorsteuerüberhängen oder für zu Unrecht eingeforderte Steuern ergeben (<ref-law>) - nicht vor. Das Merkblatt Nr. 19 der Eidgenössischen Steuerverwaltung über die "Vergütung der Mehrwertsteuer an Abnehmer mit Wohn- oder Geschäftssitz im Ausland" (Ziff. 1.10) schliesst die Zahlung von Vergütungszinsen bei Erstattungen nach <ref-law> gänzlich aus. Es fragt sich, ob die bundesrätliche Regelung lückenhaft ist.
3.2 Es entspricht einem allgemeinen Rechtsgrundsatz, dass für öffentlich-rechtliche Forderungen ein Verzugszins bezahlt werden muss, sofern es nicht durch besondere gesetzliche Regelung oder dem Sinn nach ausgeschlossen ist (<ref-ruling> E. 4b; <ref-ruling> E. 3 S. 263). Im Steuerrecht ist die Verzinslichkeit der Steuerforderung im Gesetz regelmässig explizit geregelt (Blumenstein/Locher, System des Steuerrechts, 5. Aufl. 1995, S. 278).
Vom Verzugszins zu unterscheiden ist der Vergütungszins, der auf zuviel bezahlten und deshalb zurückzuerstattenden Beträgen geschuldet ist. Im Unterschied zum Verzugszins ist der Vergütungszins wirtschaftlich motiviert und setzt insbesondere keinen Verzug der Verwaltung voraus. Der Vergütungszins besteht zugunsten des Steuerpflichtigen, der einen Steuerbetrag vorzeitig entrichtet, bevor er nach den allgemeinen Fälligkeitsterminen zur Bezahlung verpflichtet ist, oder der eine Steuer zu Unrecht bezahlt hat und dem die Steuer zurückerstattet werden muss (ASA 53 S. 558, A.320/1981 E. 4). Eine solche Verzinsung versteht sich aber nicht von selbst, sondern muss positiv angeordnet sein. Vergütungszinsen sind daher grundsätzlich nur geschuldet, wenn dies gesetzlich vorgesehen ist (ASA 68 S. 518, 2A.137/1998 E. 3a; 53 S. 558, A.320/1981 E. 4; s. auch Locher/Locher, Interkantonale Doppelbesteuerung, § 12 III C 2 Nr. 8, für die Verzinsung bei Rückerstattung zu Unrecht bezogener Steuern durch den Kanton). Ausnahmsweise ergibt sich aus Sinn und Zweck der gesetzlichen Regelung, durch Analogieschluss oder aus allgemeinen Prinzipien, dass ein Vergütungszins zu bezahlen ist (s. auch Blumenstein/Locher, a.a.O., S. 279 mit Hinweis auf ASA 51 S. 650 E. 3). Mitunter schliesst das Gesetz einen Vergütungszins ausdrücklich aus (vgl. Art. 31 Abs. 4 des Bundesgesetzes über die Verrechnungssteuer, VStG, SR 642.21).
3.3 Vergütungszinsen rechtfertigen sich besonders dort, wo auch der Steuerpflichtige bei nicht rechtzeitiger Zahlung der Steuerforderung einen Verzugszins oder Verspätungszins schuldet. Für das Mehrwertsteuerrecht bestimmt <ref-law> unter dem Titel "Rückerstattung von Steuern", dass die Eidgenössische Steuerverwaltung bei Auszahlung des Überschusses an abziehbaren Vorsteuern oder eines anderen Saldoguthabens ab einem bestimmten Tag - ab dem 61. Tag nach Eintreffen der Steuerabrechnung bzw. des schriftlichen Gesuchs - einen Vergütungszins zu entrichten hat. Solche Überschüsse können sich ergeben, wenn die abziehbaren Vorsteuern die geschuldete Steuer übersteigen, bei Gutschriften oder bei der Verrechnung des Saldos verschiedener Quartalsabrechnungen. Nach Satz 2 von <ref-law> ist ein solcher Vergütungszins auch auszurichten, wenn der steuerpflichtigen Person Steuern zurückzuerstatten sind, die zu Unrecht eingefordert wurden. Diese Vergütungszinsen sind aber gesetzlich ausdrücklich vorgesehen und stellen den Ausgleich zur Verzugszinspflicht des Steuerpflichtigen her. Sie verhindern, dass der Steuerpflichtige gegenüber der Steuerverwaltung schlechter gestellt wird (s. auch Bericht der Kommission für Wirtschaft und Abgaben des Nationalrats [WAK-N] vom 28. August 1996, BBl 1996 V 781 f.). Dass sich Verzugs- und Vergütungszins bei der Mehrwertsteuer ergänzen, zeigt sich auch darin, dass der Vergütungszins zum gleichen Zinssatz geschuldet ist wie der Verzugszins (<ref-law>).
Der Bundesrat hat nunmehr auch für die Einfuhrsteuer einen Verzugs- und Vergütungszins in den Artikeln 19d - 19f MWSTGV vorgesehen. Diese Bestimmungen wurden im Zuge der Neuordnung des Zollgesetzes mit der Zollverordnung vom 1. November 2006 (ZV, SR 631.01) mit Wirkung ab 1. Mai 2007 in die Mehrwertsteuergesetz-Verordnung eingeführt und stellen das Pendant zur Verzugs- und Vergütungszinspflicht bei der Erhebung von Zollabgaben dar (vgl. Art. 186 ff. ZV). Wird die Steuer nicht fristgerecht bezahlt, ist ein Verzugszins geschuldet (Art. 19d Abs. 1 MWSTGV); bei der Rückerstattung einer zuviel erhobenen oder nicht geschuldeten Steuer wird ab dem 61. Tage nach Stellung des Antrags ein Vergütungszins ausgerichtet (Art. 19f Abs. 2 lit. a MWSTGV). Nach lit. b von Art. 19f MWSTGV ist ein Vergütungszins zudem vorgesehen bei der Rückerstattung der Steuer infolge Wiederausfuhr. Auch in diesen Fällen besteht zwischen Verzugszinspflicht und Vergütungszinspflicht eine Konnexität.
3.4 Ein solcher Zusammenhang zwischen der Verzugszinspflicht des Mehrwertsteuerpflichtigen und einem allfällig geschuldeten Vergütungszins auf der Rückvergütung der Mehrwertsteuer an den Abnehmer mit Wohn- oder Geschäftssitz im Ausland im Vergütungsverfahren nach <ref-law> besteht nicht. Das ist schon deshalb nicht der Fall, weil die rückerstattungsberechtigte Person mit der steuerpflichtigen Person nicht identisch ist. Mit der Stellung des Gesuchs um Steuervergütung durch den Anspruchsberechtigten befindet sich die Eidgenössische Steuerverwaltung zunächst auch nicht in Verzug. Vielmehr ist der zurückzuerstattende Betrag verfügungsmässig festzulegen. Im Vergütungsverfahren nach Art. 28 - 31 MWSTGV ist deshalb kein Vergütungszins vorgesehen. Es handelt sich nicht um eine Lücke im Gesetz oder in der Verordnung. Eine analoge Anwendung von <ref-law> über den Vergütungszins bei der Rückerstattung von Steuern auf das Vergütungsverfahren drängt sich daher nicht auf. <ref-law> bezieht sich zudem nach dem Willen des Gesetzgebers nur auf die dort erwähnten Fälle von Saldoguthaben, hält doch der Gesetzgeber ausdrücklich fest, dass Überschüsse aus freiwilligen Zahlungen (Vorauszahlungen) "keinesfalls" zu verzinsen sind (Bericht WAK-N, a.a.O., S. 782).
3.5 Beim Vergütungsverfahren nach <ref-law> zugunsten von Abnehmern mit Wohn- oder Geschäftssitz im Ausland verhält es sich ähnlich wie bei der Rückerstattung der Mehrwertsteuer an Missionen, internationale Organisationen usw., die aufgrund des Gaststaatgesetzes vom 22. Juni 2007 (GSG, SR 192.12) von der Steuerpflicht ausgenommen sind, und für welche der Bundesrat gestützt auf <ref-law> ebenfalls zuständig ist, die Entlastung von der Mehrwertsteuer zu regeln (vgl. Art. 20 ff. MWSTGV). Für diese hat der Bundesrat einen Vergütungszins auf Rückerstattungen ausdrücklich ausgeschlossen (Art. 24 Abs. 5 MWSTGV). Das deutet darauf hin, dass im Vergütungsverfahren nach <ref-law> ebenfalls (analog) ein Vergütungszins nicht ausgerichtet wird. So entschieden hat das Bundesgericht bereits mit Urteil 2C_191/2007 vom 11. Oktober 2007 im Falle des Vergütungsantrags eines deutschen Unternehmers.
4. Es fragt sich, ob allenfalls aus völkerrechtlicher Verpflichtung oder Usanz eine Notwendigkeit zur Bezahlung von Vergütungszinsen folgt. Die Frage kann offen bleiben. Wesentliche Voraussetzung für die Erstattung der Steuer nach Art. <ref-law> ist, dass der Sitzstaat des Gesuchstellers Gegenrecht hält. Es ist deshalb folgerichtig, wenn zumindest für Länder, bei denen kein Gegenrecht besteht, auch keine Vergütungszinsen bezahlt werden. Dass Bermuda auf Steuerbeträgen, die es im Vergütungsverfahren erstattet, Vergütungszinsen leistet, wird nicht behauptet. Es wird von der Beschwerdegegnerin und der Vorinstanz im Gegenteil dargelegt, dass Bermuda kein der schweizerischen Mehrwertsteuer vergleichbares Steuersystem kenne. Dennoch ist gemäss der von der Beschwerdeführerin publizierten Länderliste im Falle von Bermuda die Vergütung der Mehrwertsteuer "bis auf weiteres möglich". Wie die Beschwerdeführerin in der Beschwerde darlegt, erfolgt diese Praxis einzig aus wirtschaftspolitischen Gründen. Sie dient der Verwirklichung des Bestimmungslandprinzips und der Vermeidung von Schattensteuerbelastungen, damit die inländischen gegenüber den ausländischen Anbietern nicht benachteiligt werden. Diese Praxis braucht hier nicht geprüft zu werden. Jedenfalls verpflichtet die Länderliste die Beschwerdeführerin nicht, auf den Vergütungen der Mehrwertsteuer auch einen Vergütungszins zu zahlen. Wenn daher die Eidgenössische Steuerverwaltung unter diesen Umständen keinen Vergütungszins leistet, verstösst das nicht gegen völkerrechtliche Verpflichtungen.
5. Es stellt sich die Frage, ob anstelle des Vergütungszinses ein Verzugszins geschuldet ist. Das ist, wie bereits angetönt worden ist (vgl. vorstehende E. 3.2 und 3.4), zu verneinen. Mit der Stellung des Antrags auf Steuervergütung nach <ref-law> oder mit der Erhebung der Einsprache wurde die Eidgenössische Steuerverwaltung nicht in Verzug gesetzt.
Auch von einer überlangen Verfahrensdauer kann nicht die Rede sein. Die Anträge der Beschwerdegegnerin auf Vergütung der Mehrwertsteuern datieren vom 5. Juni 2003 und 17. Januar 2004. Nachdem weitere Unterlagen eingefordert und durch die Eidgenössische Steuerverwaltung Abklärungen getroffen worden waren, erliess die Beschwerdeführerin bereits am 27. Februar 2004 zwei begründete Entscheide. Dabei ist zu berücksichtigen, dass die Beschwerdeführerin gemäss eigenen Angaben jährlich zwischen 2'500 - 3'000 Anträge auf Rückerstattung von Abnehmern mit Wohn- oder Geschäftssitz im Ausland behandeln muss und die meisten Anträge für das abgelaufene Jahr jeweils in der zweiten Hälfte des Monats Juni (Stichtag 30. Juni) eintreffen.
Das nachfolgende Einspracheverfahren dauerte demgegenüber immerhin 251⁄2 Monate. Doch ist zu beachten, dass weitere Unterlagen einverlangt wurden und zudem die Beschwerdegegnerin selbst eine Fristverlängerung von knapp drei Monaten beantragte. In materieller Hinsicht war zu prüfen, wer hinter der Beschwerdegegnerin steht. Bei dieser handelt es sich offenbar um eine Offshore-Gesellschaft, die auf Bermuda keine eigentliche Geschäftstätigkeit ausübt. Es mussten daher die Unternehmereigenschaft der Beschwerdegegnerin sowie die Verwendung der bezogenen Leistungen für Umsätze, welche in der Schweiz steuerpflichtig oder steuerbefreit sein müssten, abgeklärt werden. Nur unter dieser Bedingung besteht Anspruch auf Vergütung der Mehrwertsteuer (Art. 29 Abs. 1 MWSTGV). Zumal bei internationalen Verflechtungen und Offshore-Gesellschaften sind solche Abklärungen in der Regel aufwendig. Am 28. November 2005 und 9. Februar 2006 reichte die Beschwerdegegnerin eine Stellungnahme sowie weitere Unterlagen ein. Am 18. Mai 2006 erging schliesslich der ausführlich begründete Einspracheentscheid. Die lange Dauer des Verfahrens kann daher nicht allein der Verwaltung angelastet werden.
6. Indem die Vorinstanz trotz mangelnder Rechtsgrundlage die Eidgenössische Steuerverwaltung verpflichtet hat, im Vergütungsverfahren nach <ref-law> auf dem Rückerstattungsbetrag einen Vergütungszins zu bezahlen, hat sie Bundesrecht verletzt. Die Beschwerde der Eidgenössischen Steuerverwaltung ist daher begründet und der angefochtene Entscheid hinsichtlich des zugesprochenen Vergütungszinses aufzuheben. Der Einspracheentscheid kann bestätigt werden.
Da die Beschwerdegegnerin unterliegt, hat sie die bundesgerichtlichen Kosten zu tragen (Art. 65 und 66 Abs. 1 BGG). Eine Parteientschädigung ist der Beschwerdeführerin, die in ihrem amtlichen Wirkungskreis gehandelt hat, nicht zuzusprechen (<ref-law>). Über die Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens hat das Bundesverwaltungsgericht in einem Zusatzurteil zu diesem Urteil neu zu befinden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der angefochtene Entscheid des Bundesverwaltungsgerichts vom 29. April 2008 wird hinsichtlich des zugesprochenen Vergütungszinses aufgehoben und der Einspracheentscheid der Eidgenössischen Steuerverwaltung vom 18. Mai 2006 bestätigt.
2. Die Gerichtskosten von Fr. 3'000.-- werden der Beschwerdegegnerin Y._ Limited auferlegt.
3. Über die Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens hat das Bundesverwaltungsgericht neu zu entscheiden.
4. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 28. Oktober 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Wyssmann