Sachverhalt: A. Am 26. Juni 2003 stellte die X._ Limited mit Sitz auf Bermuda bei der Eidgenössischen Steuerverwaltung einen Antrag auf Vergütung der Mehrwertsteuer im Betrag von Fr. 189'298.03 auf den Leistungen, die an sie im Jahre 2002 im Inland ausgeführt wurden (vgl. Art. 90 Abs. 2 lit. b des Bundesgesetzes über die Mehrwertsteuer vom 2. September 1999, MWSTG, SR 641.20). Mit Entscheid vom 27. Februar 2004 wies die Eidgenössische Steuerverwaltung den Vergütungsantrag ab, da die Antragstellerin weder ihre Unternehmereigenschaft noch die Verwendung der bezogenen Leistungen nachgewiesen habe. Im Einspracheverfahren hiess die Eidgenössische Steuerverwaltung mit Entscheid vom 18. Mai 2006 den Antrag der X._ Limited auf Vergütung der Mehrwertsteuer im erwähnten Betrag aufgrund der neu eingereichten Unterlagen gut. Einen Vergütungszins richtete die Verwaltung indessen nicht aus, da Bermuda kein entsprechendes Gegenrecht gewähre. Auch sprach sie keine Parteientschädigung zu. B. Mit Beschwerde vom 15. Juni 2006 beantragt die X._ Limited der Eidgenössischen Steuerrekurskommission, es sei der Einspracheentscheid der Eidgenössischen Steuerverwaltung aufzuheben, soweit er ihr keinen Vergütungszins und keine Parteientschädigung zuspreche (Ziffern 3 und 5 des Einspracheentscheides). Es sei ihr ein Verspätungszins von 5 % per annum auf Fr. 189'299.-- für die Zeit vom 29. August 2003 bis 30. Mai 2006 zu bezahlen. Sodann sei ihr für das Einspracheverfahren eine Parteientschädigung zuzusprechen. Das Bundesverwaltungsgericht, welches das Verfahren von der Eidgenössischen Steuerrekurskommission übernommen hatte, hiess mit Urteil vom 29. April 2008 die Beschwerde im Sinne der Erwägungen teilweise gut. Es wies die Sache zur Berechnung des geschuldeten Vergütungszinses ab dem 61. Tag seit Gesuchstellung bis zur Zahlung der Steuervergütung an die Eidgenössische Steuerverwaltung zurück. Dem Antrag auf Zusprechung einer Parteientschädigung für das Einspracheverfahren gab das Bundesverwaltungsgericht nicht statt. Die Verfahrenskosten im Betrag von Fr. 1'000.-- auferlegte es mit Fr. 100.-- der teilweise obsiegenden X._ Limited und sprach ihr eine reduzierte Parteientschädigung zu. Der Vorinstanz wurden keine Kosten auferlegt. C. Hiergegen führt die Eidgenössische Steuerverwaltung Beschwerde beim Bundesgericht mit dem Antrag, das Urteil des Bundesverwaltungsgerichts vom 29. April 2008 sei aufzuheben, soweit es nicht die Parteikostenentschädigung im Einspracheverfahren betreffe (vgl. angefochtenes Urteil E. 4) und der Einspracheentscheid vom 18. Mai 2006 sei zu bestätigen. Die X._ Limited schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf eine Vernehmlassung.