Sachverhalt: A. X._ ist Inhaber einer Einzelfirma mit mehreren Mitarbeitern, die sich auf dem Gebiet der Gastronomie sowie des Event- und Künstlermanagements betätigt. Er ist zudem persönlich an verschiedenen Gesellschaften beteiligt, die auf diesen Gebieten tätig sind. So ist er unter anderem Kommanditär der Kommanditgesellschaft E._ & Co. und der Kommanditgesellschaft F._ & Co. Im Rahmen dieser beiden Gesellschaften ist er als Organisator und Manager der beiden Künstler (Mitgesellschafter) tätig. Sein Engagement wird durch die Beteiligung am Gewinn (und Verlust) der Gesellschaften abgegolten. Er erbringt zudem Leistungen als Gesellschafter der stillen einfachen Gesellschaft "G._". Aufgrund einer im Januar 2000 durchgeführten Kontrolle trug die Eidgenössische Steuerverwaltung X._ rückwirkend per 1. Januar 1995 in das Register der Mehrwertsteuerpflichtigen ein. Am 30. April 1998 erliess die Eidgenössische Steuerverwaltung zwei Ergänzungsabrechnungen, EA Nr. 190'464 und 190'515, für Einnahmen in der Zeit vom 1. Januar 1995 bis 31. Dezember 1999, wovon die zweite Ergänzungsabrechnung EA Nr. 190'515 mit einem Steuerbetrag Fr. 158'629.-- noch umstritten ist. Mit förmlichem Entscheid vom 27. November 2000 und Einspracheentscheid vom 25. September 2003 bestätigte die Eidgenössische Steuerverwaltung diese Ergänzungsabrechnung. B. Eine Beschwerde des Steuerpflichtigen hiess die Eidgenössische Steuerrekurskommission am 27. März 2006 gut, hob die Steuernachforderungen gemäss Ergänzungsabrechnung Nr. 190'515, Ziff. 1.1 (Einnahmen aus der E._ & Co.), Ziff. 1.2 (Einnahmen aus der F._ & Co.) und Ziff. 1.4. (Einnahmen "G._") auf und stellte fest, der Steuerpflichtige habe für die Perioden 1. Quartal 1995 bis 4. Quartal 1999 eine Mehrwertsteuer von Fr. 7'537.45 mit Verzugszins ab mittlerem Verfall zu bezahlen. Verfahrenskosten wurden nicht erhoben. Dem Steuerpflichtigen wurde eine Parteientschädigung zugesprochen. C. Mit Verwaltungsgerichtsbeschwerde vom 12. Mai 2006 beantragt die Eidgenössische Steuerverwaltung dem Bundesgericht, der Entscheid der Eidgenössischen Steuerrekurskommission vom 27. März 2006 sei aufzuheben, mit Ausnahme der Kostenfolge (Ziff. 3), und der Einspracheentscheid vom 25. September 2003 zu bestätigen. Der Steuerpflichtige beantragt, die Beschwerde kosten- und entschädigungspflichtig abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.