Sachverhalt: A. X._ focht den Einspracheentscheid der Eidgenössischen Steuerverwaltung vom 25. Mai 2011, mit welchem er verpflichet wurde, für die Zeit vom 1. Quartal 2004 bis zum 4. Quartal 2008 Mehrwertsteuern von Fr. 45'911.-- (zuzüglich Verzugszins) zu bezahlen, am 24. Juni 2011 mit Beschwerde beim Bundesverwaltungsgericht an. Dieses forderte ihn mit Zwischenverfügung vom 29. Juni 2011 zur Leistung eines Kostenvorschusses von Fr. 3'800.-- bis spätestens 20. Juli 2011 auf, unter Androhung des Nichteintretens im Säumnisfall. Diese Verfügung wurde gemäss Track & Trace-Auszug der Post mit Abholungseinladung im Postfach des Vertreters des Beschwerdeführers avisiert, wurde indessen innert sieben Tagen nicht abgeholt, sodass sie ans Bundesverwaltungsgericht zurückgelangte. Dieses erachtete die Zahlungsaufforderung gestützt auf die bei Einschreibesendungen oder Gerichtsurkunden geltende Zustellungsfiktion als gültig eröffnet und trat mit Urteil vom 15. September 2011 mangels Leistung des Kostenvorschusses auf die Beschwerde nicht ein. Auf die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten trat das Bundesgericht am 17. Oktober 2011 ebenfalls nicht ein und leitete die letztgenannte Rechtsschrift (vom 14. Oktober 2011) zwecks Behandlung als Fristwiederherstellungsgesuch im Sinne von Art. 24 Abs. 1 VwVG an das Bundesverwaltungsgericht weiter (Urteil 2C_845/2011). Ohnehin war X._ am 14. Oktober 2011 mit einem Begehren um Revision bzw. Wiederherstellung der Beschwerdefrist auch an das Bundesverwaltungsgericht gelangt. B. Mit Urteil vom 5. Januar 2012 trat das Bundesverwaltungsgericht auf das Revisionsgesuch nicht ein und wies das Fristwiederherstellungsgesuch ab. C. Mit Eingabe vom 3. Februar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das letztgenannte Urteil aufzuheben und das Bundesverwaltungsgericht anzuweisen, ihm - dem Beschwerdeführer - nochmals eine Frist zur Leistung des Kostenvorschusses einzuräumen. Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. Mit Eingabe vom 20. April 2012 hat sich X._ noch einmal geäussert.