Sachverhalt:
A. X._ focht den Einspracheentscheid der Eidgenössischen Steuerverwaltung vom 25. Mai 2011, mit welchem er verpflichet wurde, für die Zeit vom 1. Quartal 2004 bis zum 4. Quartal 2008 Mehrwertsteuern von Fr. 45'911.-- (zuzüglich Verzugszins) zu bezahlen, am 24. Juni 2011 mit Beschwerde beim Bundesverwaltungsgericht an. Dieses forderte ihn mit Zwischenverfügung vom 29. Juni 2011 zur Leistung eines Kostenvorschusses von Fr. 3'800.-- bis spätestens 20. Juli 2011 auf, unter Androhung des Nichteintretens im Säumnisfall. Diese Verfügung wurde gemäss Track & Trace-Auszug der Post mit Abholungseinladung im Postfach des Vertreters des Beschwerdeführers avisiert, wurde indessen innert sieben Tagen nicht abgeholt, sodass sie ans Bundesverwaltungsgericht zurückgelangte. Dieses erachtete die Zahlungsaufforderung gestützt auf die bei Einschreibesendungen oder Gerichtsurkunden geltende Zustellungsfiktion als gültig eröffnet und trat mit Urteil vom 15. September 2011 mangels Leistung des Kostenvorschusses auf die Beschwerde nicht ein.
Auf die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten trat das Bundesgericht am 17. Oktober 2011 ebenfalls nicht ein und leitete die letztgenannte Rechtsschrift (vom 14. Oktober 2011) zwecks Behandlung als Fristwiederherstellungsgesuch im Sinne von Art. 24 Abs. 1 VwVG an das Bundesverwaltungsgericht weiter (Urteil 2C_845/2011). Ohnehin war X._ am 14. Oktober 2011 mit einem Begehren um Revision bzw. Wiederherstellung der Beschwerdefrist auch an das Bundesverwaltungsgericht gelangt.
B. Mit Urteil vom 5. Januar 2012 trat das Bundesverwaltungsgericht auf das Revisionsgesuch nicht ein und wies das Fristwiederherstellungsgesuch ab.
C. Mit Eingabe vom 3. Februar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das letztgenannte Urteil aufzuheben und das Bundesverwaltungsgericht anzuweisen, ihm - dem Beschwerdeführer - nochmals eine Frist zur Leistung des Kostenvorschusses einzuräumen.
Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung.
Mit Eingabe vom 20. April 2012 hat sich X._ noch einmal geäussert.

Erwägungen:
1. 1.1 Angefochten ist ein Entscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a BGG). Dieser erging im Rahmen eines Verfahrens betreffend die Mehrwertsteuer, mithin in einer öffentlich-rechtlichen Angelegenheit, die der Beschwerde gemäss Art. 82 ff. BGG an das Bundesgericht unterliegt. Das Bundesverwaltungsgericht hat die Sache entsprechend dem Urteil des Bundesgerichts 2C_845/2011 vom 17. Oktober 2011 mit Recht als Fristwiederherstellungsgesuch behandelt. Es hat dieses abgewiesen, womit das Verfahren durch den angefochtenen Entscheid beendet wird (Art. 90 BGG). Die Beschwerde hiegegen ist daher zulässig und der Beschwerdeführer ist zur Ergreifung des Rechtsmittels legitimiert (Art. 89 Abs. 1 BGG).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören nicht nur die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, sondern auch jene über den Ablauf der vorinstanzlichen Verfahren, also die Feststellungen über den Prozesssachverhalt (vgl. Urteil 4A_210/2009 vom 7. April 2010, E. 2). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.2.2). Im Bereich der Beweiswürdigung steht dem Sachgericht ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40; <ref-ruling> E. 1b S. 30).
2. 2.1 Gemäss Art. 37 des Bundesgesetzes vom 17. Juni 2005 über das Bundesverwaltungsgericht (Verwaltungsgerichtsgesetz, VGG, SR 173.23) richtet sich das Verfahren vor dem Bundesverwaltungsgericht nach dem Bundesgesetz vom 20. Dezember 1968 über das Verwaltungsverfahren (VwVG, SR 172.021), soweit das VGG - wie hier - nichts anderes bestimmt:
Gemäss Art. 63 Abs. 4 VwVG erhebt die Beschwerdeinstanz, ihr Vorsitzender oder der Instruktionsrichter vom Beschwerdeführer einen Kostenvorschuss in der Höhe der mutmasslichen Verfahrenskosten (Satz 1). Zu dessen Leistung ist dem Beschwerdeführer eine angemessene Frist anzusetzen unter Androhung des Nichteintretens (Satz 2). Ist ein Gesuchsteller - bzw. Beschwerdeführer - oder sein Vertreter unverschuldeterweise abgehalten worden, binnen Frist zu handeln, so wird diese wieder hergestellt, sofern er unter Angabe des Grundes innert 30 Tagen nach Wegfall des Hindernisses darum ersucht und die versäumte Rechtshandlung nachholt (Art. 24 Abs. 1 VwVG).
Der Beschwerdeführer bestreitet nicht, dass er die ihm vom Bundesverwaltungsgericht gesetzte Frist zur Zahlung des Kostenvorschusses (vgl. vorne lit. A) verpasst hat. Mithin gilt es hier zu prüfen, ob das Nichteinhalten dieser Frist im Sinne von Art. 24 Abs. 1 VwVG "unverschuldeterweise" geschah.
2.2 Nach Art. 20 Abs. 2bis VwVG und der Rechtsprechung des Bundesgerichts zur Briefkasten- und Postfachzustellung gilt die Fiktion, dass eine eingeschriebene Sendung spätestens am letzten Tag einer Frist von sieben Tagen ab Eingang bei der Poststelle am Ort des Empfängers als zugestellt zu betrachten ist, sofern tatsächlich ein erfolgloser (Briefkasten- oder Postfach-)Zustellungsversuch (mit entsprechender Abholungseinladung) unternommen wurde und der Adressat mit der fraglichen Zustellung rechnen musste (so genannte "Zustellfiktion", vgl. <ref-ruling> E. 4 mit Hinweisen; vgl. gleichlautend mit Art. 20 Abs. 2bis VwVG auch Art. 44 Abs. 2 BGG).
Die Beweislast für die Zustellung von Verfügungen und Entscheiden trägt die Behörde. Sie hat auf geeignete Art den Beweis dafür zu erbringen, dass und wann die Zustellung erfolgt ist (vgl. BGE <ref-ruling> E. 2.2) bzw. dass der erste - erfolglose - Zustellungsversuch tatsächlich stattgefunden hat (Urteil 2C_780/2010 vom 21. März 2011, E. 2.3 und 2.4).
Entgegen dieser allgemeinen Beweislastverteilung gilt bei eingeschriebenen Sendungen eine widerlegbare Vermutung, dass der oder die Postangestellte den Avis ordnungsgemäss in den Briefkasten des Empfängers gelegt hat und das Zustellungsdatum korrekt registriert wurde. Dies gilt namentlich auch dann, wenn die Sendung im elektronischen Suchsystem "Track & Trace" der Post erfasst ist, mit welchem es möglich ist, die Sendung bis zum Empfangsbereich des Empfängers zu verfolgen (Urteil 2C_570/2011 vom 24. Januar 2012, E. 4.2). Es findet also in diesem Fall hinsichtlich der Ausstellung der Abholungseinladung insofern eine Umkehr der Beweislast in dem Sinn statt, als im Fall der Beweislosigkeit zuungunsten des Empfängers zu entscheiden ist, der den Erhalt der Abholungseinladung bestreitet (Urteil 2C_38/2009 vom 5. Juni 2009 E. 3.2). Diese Vermutung kann durch den Gegenbeweis umgestossen werden (Urteil 5A_98/2011 vom 3. März 2011, E. 2.3). Sie gilt so lange, als der Empfänger nicht den Nachweis einer überwiegenden Wahrscheinlichkeit von Fehlern bei der Zustellung erbringt. Da der Nichtzugang einer Abholungseinladung eine negative Tatsache ist, kann dafür naturgemäss kaum je der volle Beweis erbracht werden (Urteile 2C_780/2010 vom 21. März 2011, E. 2.4, 2C_38/2009 vom 5. Juni 2009, E. 3.2 und 4.1). Die immer bestehende theoretische Möglichkeit eines Fehlers bei der Poststelle genügt aber nicht, um die Vermutung zu widerlegen, solange nicht konkrete Anzeichen für einen derartigen Fehler vorhanden sind (vgl. Urteil 2C_ 38/2009, E. 5.3).
2.3 Das Bundesverwaltungsgericht hat im Wesentlichen erwogen, die vom Beschwerdeführer zum Zweck der Fristwiederherstellung eingereichten Akten vermöchten den Gegenbeweis (zur ordnungsgemässen Zustellung der Kostenvorschussverfügung) nicht zu erbringen. Jedenfalls gelinge es dem Beschwerdeführer nicht, damit nachzuweisen, dass in der Poststelle Glarus vor dem 1. Juli 2011 verschiedentlich Irrtümer bei der Verteilung von Abholungseinladungen in die Postfächer vorgekommen wären. Auch durch die Notiz über ein Gespräch mit einer Angestellten der Poststelle Glarus, wonach es sich "auch um einen Fehler der Poststelle handeln" könnte, würden keine besonderen Umstände dokumentiert, die für die Pflichtwidrigkeit eines Postangestellten bei der Verteilung der Abholungseinladung im vorliegenden Fall sprächen. Es sei damit davon auszugehen, dass die Abholungseinladung ordnungsgemäss ins Postfach gelegt worden sei, womit kein unverschuldeter Hinderungsgrund bestanden habe, welcher kausal für die prozessuale Säumnis zur Bezahlung des Kostenvorschusses gewesen wäre.
2.4 Der von der Vorinstanz aus der genannten Vermutung (E. 2.2.) gezogene Schluss, der Gegenbeweis zur ordnungsgemässen Zustellung sei nicht erbracht, stellt Beweiswürdigung dar (vgl. Urteil 5A_98/2011 vom 3. März 2011, E. 2.3). Dem Beschwerdeführer, der in seiner Eingabe im Wesentlichen den vor dem Bundesverwaltungsgericht eingenommenen Standpunkt wiederholt, gelingt es nicht, die diesbezügliche Argumentation der Vorinstanz als willkürlich erscheinen zu lassen (vgl. vorne E. 1.2). Soweit er darüber hinaus geltend macht, es wäre "fair und rechtsstaatlich korrekt" gewesen, wenn das Bundesverwaltungsgericht ihm eine kurze Nachfrist (zur Zahlung des Kostenvorschusses) angesetzt hätte, verkennt er, dass die Regelung von Art. 63 Abs. 4 VwVG eine solche nicht vorsieht, was weder gegen das Verbot des überspitzten Formalismus noch gegen den Verhältnismässigkeitsgrundsatz oder gegen das Gebot verfassungskonformer Auslegung verstösst (vgl. Urteil 2C_703/2009 vom 21. September 2010, E. 4.4.2).
3. Die Beschwerde ist damit als unbegründet abzuweisen.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Steuerverwaltung und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 29. Mai 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein