Sachverhalt:
A. Zwischen den Eheleuten X._ und Z._ ist seit dem xxxx 2010 vor dem Kantonsgericht Zug das Scheidungsverfahren hängig. Strittig sind im Wesentlichen die finanziellen Nebenfolgen der Scheidung. Nach durchgeführtem Schriftenwechsel erliess die Referentin am 9. August 2011 einen Entscheid über die abzunehmenden Beweise. Sie ordnete unter anderem eine Expertise über den Wert einzeln genannter Gesellschaften und Beteiligungen an, schlug hierfür die Y._ AG in A._ vor, setzte den Parteien Frist zur allfälligen Ablehnung der Expertin und zur Einreichung von Zusatzfragen an. Ferner wurden die Parteien verpflichtet, der Expertin Einsicht in sämtliche Unterlagen zu gewähren und die notwendigen Auskünfte für die Schätzung zu erteilen. X._ wurde insbesondere eine Frist von zehn Tagen zur Leistung eines Kostenvorschusses von einstweilen Fr. 140'000.-- angesetzt, ansonsten Verzicht auf die Expertise angenommen werde.
B. Gegen die Anordnung der Expertise gelangte X._ mit Beschwerde an das Obergericht des Kantons Zug. Sie wandte sich gegen die Höhe des ihr auferlegten Kostenvorschusses sowie die vorgeschlagene Expertin. Mit Beschluss vom 7. Dezember 2011 trat das Obergericht auf die Beschwerde nicht ein.
C. X._ ist mit Beschwerde in Zivilsachen vom 5. Januar 2012 an das Bundesgericht gelangt. Die Beschwerdeführerin beantragt die Aufhebung des obergerichtlichen Beschlusses und die Rückweisung der Sache zur Neubeurteilung an die Vorinstanz. Weiter ersucht die Beschwerdeführerin, ihrer Beschwerde die aufschiebende Wirkung zu erteilen.
Weder Z._ als Beschwerdegegner noch das Obergericht haben sich dem Verfahrensantrag widersetzt. Mit Verfügung vom 31. Januar 2012 hat die Präsidentin der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung im Sinne der Erwägungen gewährt.
In der Sache beantragt der Beschwerdegegner die Abweisung der Beschwerde. Das Obergericht schliesst ebenfalls auf Abweisung, ohne weiter Stellung zu nehmen.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 75 Abs. 1 BGG), mit welchem das Obergericht auf eine Beschwerde betreffend die Anordnung einer Expertise nicht eingetreten ist. Dabei handelt es sich um einen Zwischenentscheid, der gemäss dem Grundsatz der Einheit des Verfahrens mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten ist (BGE 134 V 138 E. 3 S. 144). Hierbei geht es um die finanziellen Nebenfolgen einer Scheidung, und damit eine Zivilsache mit Vermögenswert (Art. 72 Abs. 1 BGG), wobei die gesetzliche Streitwertgrenze überschritten ist (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen steht insoweit zur Verfügung.
1.2 Selbständig eröffnete Vor- und Zwischenentscheide können vor Bundesgericht nur unter den Voraussetzungen von Art. 92 und Art. 93 BGG angefochten werden. Vorliegend kommt einzig die Variante gemäss Art. 93 Abs. 1 lit. a BGG in Betracht, d.h. die Beschwerde ist zulässig, wenn der Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann. Ein solcher muss nach der bundesgerichtlichen Rechtsprechung rechtlicher Natur sein, was voraussetzt, dass er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt (BGE 136 II 165 E. 1.2.1 S. 170). Dagegen reichen rein tatsächliche Nachteile wie die Verfahrensverzögerung oder -verteuerung nicht aus (BGE 134 III 188 E. 2.2 S. 191). Die gerichtliche Einforderung eines Kostenvorschusses mit der Androhung, auf die Beweisvorkehr bei Nichtleistung nicht einzutreten, kann einen nicht wieder gutzumachenden Nachteil bewirken (BGE 133 V 402 E. 1.2 S. 403).
2. Anlass zur vorliegenden Beschwerde bildet das Nichteintreten der letzten kantonalen Instanz auf die Beschwerde gegen eine Beweisverfügung. Strittig ist das für die Anfechtbarkeit eines solchen Entscheides massgebliche Verfahrensrecht.
2.1 Die Vorinstanz stellte vorab fest, dass im vorliegenden Fall das Scheidungsverfahren bereits im Jahre 2010 auf Klage des Beschwerdegegners anhängig gemacht worden war. Alsdann sei am 9. August 2011 - und damit nach Inkrafttreten der Schweizerischen Zivilprozessordnung (ZPO) - die Beweisanordnung der mit der Angelegenheit befassten Referentin ergangen. Das Verfahren vor erster Instanz richte sich nach wie vor gestützt auf Art. 404 Abs. 1 ZPO nach dem bisherigen kantonalen Recht, welches die Beschwerde an das Obergericht nicht vorsehe. Dies betreffe sämtliche in diesem Stadium ergangene Entscheide, seien es nun verfahrensleitende Zwischenentscheide oder Endentscheide. Nach Ansicht der Vorinstanz trägt die bundesgerichtliche Rechtsprechung dem gesetzgeberischen Willen und der von der Lehre geforderten gesamtheitlichen Betrachtung des in Art. 404 Abs. 1 und Art. 405 Abs. 1 ZPO enthaltenen Übergangsrechts nicht Rechnung. Zudem seien dadurch in der Praxis Rechtsunsicherheit und Friktionen zu erwarten. Mit all diesen Fragen habe sich das Bundesgericht nicht vertieft auseinander gesetzt.
2.2 Das Bundesgericht hat sich in einem Grundsatzurteil vom vergangenen Jahr eingehend mit der übergangsrechtlichen Frage befasst, welches Verfahrensrecht für die Ergreifung eines Rechtsmittels gegen den nach Inkrafttreten der ZPO ergangenen Zwischenentscheid massgebend ist (BGE 137 III 424). Im damals zu beurteilenden Fall war das Verfahren in der Hauptsache bereits vor Inkrafttreten der ZPO anhängig gemacht worden und ist als solches gemäss Art. 404 Abs. 1 ZPO nach dem bisherigen kantonalen Recht zu beenden. Für die Anfechtbarkeit des alsdann ergangenen Zwischenentscheides ist gemäss dem genannten Urteil hingegen nicht der Art. 404 Abs. 1 ZPO, sondern ausschliesslich der Art. 405 Abs. 1 ZPO massgebend. Das Bundesgericht hat bei der Entscheidfindung auch die Lehrmeinungen zu den beiden möglichen Lösungen berücksichtigt. Alsdann hat es auf den Wortlaut des Art. 405 Abs. 1 ZPO verwiesen, welcher nicht von der Art des Entscheides ausgeht und den Anwendungsbereich dieser Norm insbesondere nicht auf Endentscheide beschränkt. Triftige Gründe, vom eindeutigen und unmissverständlichen Wortlaut abzuweichen, gebe es keine. Zudem gebiete auch die Entstehungsgeschichte kein Abweichen vom Wortlaut. Unüberwindbare Schwierigkeiten seien nicht zu erwarten, wenn alle Entscheide den Rechtsmitteln gemäss Art. 405 Abs. 1 ZPO unterstellt werden. Zur Frage des massgebenden Rechts hat die für den konkreten Fall zuständige II. zivilrechtliche Abteilung mit der I. zivilrechtlichen Abteilung einen Meinungsaustausch nach Art. 23 Abs. 2 BGG durchgeführt. Die seither ergangenen Urteile des Bundesgerichtes reihen sich in diese Praxis ein (u.a. Urteil 5A_405/2011 vom 27. September 2011 E. 4.1, nicht publ. in BGE 137 III 470; BGE 138 III 41 E. 1.1 S. 42; BGE 4A_672/2011 vom 31. Januar 2012 E. 2.1). Damit besteht kein Anlass, auf die erst kürzlich ergangene Rechtsprechung zurückzukommen. Die Kritik der Vorinstanz daran wird denn auch im Wesentlichen mit Hinweisen auf die Lehre begründet, welche dem Bundesgericht bekannt waren. Auch zum Argument der möglichen Schwierigkeiten in der Praxis hat es damals (in verneinender Weise) Stellung genommen.
2.3 Es bleibt im vorliegenden Fall dabei, dass für das am 1. Januar 2011 rechtshängige Verfahren weiterhin das kantonale Recht gilt (Art. 404 Abs. 1 ZPO), währenddem für die Anfechtbarkeit des Zwischenentscheides vom 9. August 2011 die ZPO massgebend ist (Art. 405 Abs. 1 ZPO). Entscheide betreffend Ausstand bzw. Kostenvorschuss können - wie sich aus dem Folgenden ergibt - grundsätzlich Anfechtungsobjekt für ein Rechtsmittel nach ZPO sein.
2.3.1 Der von der erstinstanzlichen Referentin erlassene Entscheid stellt eine Beweisverfügung dar. Diese umfasst unter anderem die Anordnung eines Gutachtens zur Bewertung verschiedener Vermögensbestandteile der Prozessparteien. Zu diesem Zweck wird auch eine Gutachterin ernannt. Ob die Voraussetzungen bereits gegeben sind, um den umstrittenen Entscheid auf dem Beschwerdeweg anzufechten (Art. 50 Abs. 2 i.V.m. Art. 319 ff. ZPO), hat die Vorinstanz zu prüfen.
2.3.2 Weiter hat die erstinstanzliche Referentin in der Beweisverfügung von der Beschwerdeführerin einen Kostenvorschuss für das Gutachten in der Höhe von Fr. 140'000.-- verlangt. Dagegen ist die Beschwerde grundsätzlich gegeben (Art. 103 i.V.m. Art. 319 lit. b Ziff. 1 ZPO; TAPPY, in: Code de procédure civile commenté, 2011, N. 4 zu Art. 103).
2.4 Ausgehend von der Anwendbarkeit der ZPO für die Frage der Anfechtbarkeit der strittigen Beweisverfügung hat das Obergericht die Beschwerde gegen den erstinstanzlichen Entscheid vom 9. August 2011 auf die einzelnen Eintretensvoraussetzungen hin zu prüfen und gegebenenfalls darauf einzutreten.
3. Nach dem Gesagten ist der Beschwerde Erfolg beschieden. Der angefochtene Entscheid des Obergerichts ist aufzuheben, und die Sache ist im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Ausgangsgemäss trägt der Beschwerdegegner die Gerichtskosten und hat er eine Parteientschädigung an die Beschwerdeführerin zu leisten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird gutgeheissen und der Beschluss des Obergerichts des Kantons Zug vom 7. Dezember 2011 wird aufgehoben. Die Sache wird im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdegegner auferlegt.
3. Der Beschwerdegegner hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 30. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante