Sachverhalt: A. X._ (im Folgenden: der Steuerpflichtige) betreibt in der Rechtsform einer Einzelfirma in Zürich einen Verpflegungskiosk. Er bietet Sandwiches, Backwaren sowie diverse kalte und warme Getränke an und ist im Register der Eidgenössischen Steuerverwaltung (im Folgenden: ESTV) für Mehrwertsteuerpflichtige eingetragen. Die ESTV erteilte ihm am 15. Januar 2001 die Bewilligung, nach der Saldosteuersatzmethode für "Cafetier, Verpflegungskioske" mit einem Satz von 0,6 % abzurechnen. In der Folge gelangte der Treuhänder des Steuerpflichtigen am 11. Juni 2001 mit einer schriftlichen Anfrage an die ESTV und erkundigte sich, ob auch nach einem Umbau des kleinen Gebäudes mit dem Saldosteuersatz abgerechnet werden dürfe, wenn die Stadt Zürich als Eigentümerin damit einige Sitzgelegenheiten schaffe, die auch von Kunden des Verpflegungskiosks genutzt werden könnten. Aufgrund der telefonisch erteilten Antwort hielt der Treuhänder in einer Aktennotiz fest, dass dies seiner Einschätzung nach weiterhin möglich sei. In der Folge errichtete die Stadt Zürich drei Stehtische mit neun bis zwölf Plätzen sowie acht Tische mit 24 Sitzplätzen. B. Im April 2005 erfolgte durch die ESTV vor Ort eine Steuerkontrolle. Diese ergab, dass spätestens ab dem 1. Mai 2002 Konsumationseinrichtungen bestanden, womit die Vorgaben für einen gastgewerblichen Betrieb mit Konsumationsmöglichkeiten erfüllt waren. Deshalb widerrief die ESTV die Bewilligung zur Anwendung des Saldosteuersatzes für Take-away ohne Konsumationsmöglichkeit für den Steuerzeitraum vom 1. Mai 2002 bis zum 31. Dezember 2004. Gleichzeitig erliess die ESTV eine Ergänzungsabrechnung und forderte damit total geschuldete Steuern im Betrag von Fr. 102'849.25 nach. Sie ging aufgrund ihrer Prüfung davon aus, dass der Steuerpflichtige keine organisatorische Trennung zwischen den gastgewerblichen Leistungen und dem "Verkauf über die Gasse" (Take-away) vorgenommen habe. Nachdem der Steuerpflichtige einen anfechtbaren Entscheid verlangt hatte, hielt die ESTV mit Verfügung vom 14. Februar 2006 fest, dass sie vom Steuerpflichtigen zu Recht für die Zeit vom 1. Mai 2002 bis 31. Dezember 2004 Fr. 102'849.25 Mehrwertsteuer (zuzüglich Verzugszins) nachgefordert habe. Gegen diesen Entscheid erhob der Steuerpflichtige am 16. März 2006 Einsprache, welche von der ESTV mit Einspracheentscheid vom 26. Januar 2011 abgewiesen wurde. C. Hiergegen gelangte der Steuerpflichtige mit Beschwerde vom 28. Februar 2011 an das Bundesverwaltungsgericht und beantragte die Aufhebung des Einspracheentscheides bzw. die nachträgliche Erhebung von Mehrwertsteuern im Umfange von Fr. 21'000.--. Das Bundesverwaltungsgericht hiess die Beschwerde mit Urteil vom 23. Januar 2012 im Sinne der Erwägungen gut, hob den Einspracheentscheid vom 26. Januar 2011 auf und wies die Sache zur Fällung eines neuen Entscheides an die ESTV zurück. Das Gericht kam zum Schluss, es müsse hier eine Ermessenstaxation vorgenommen werden, um die verschiedenen Umsätze zu ermitteln. Es sei nicht zulässig, für alle Umsätze den (höheren) Normalsatz zu belasten. D. Gegen das Urteil des Bundesverwaltungsgerichts führt die ESTV mit Eingabe vom 20. Februar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt, das angefochtene Urteil vom 23. Januar 2012 sei aufzuheben und der Einspracheentscheid der ESTV vom 26. Januar 2011 zu bestätigen. Während das Bundesverwaltungsgericht auf eine Stellungnahme verzichtet, beantragt der Steuerpflichtige die Abweisung der Beschwerde.