Sachverhalt:
A. A.a Im Konkurs über die Y._ AG in Liquidation legte das Konkursamt Enge-Zürich vom 29. April bis 23. Mai 2011 den Kollokationsplan auf. Als Drittklassgläubiger sind u.a. X._ mit einer Forderung aus Auftrag von Fr. 11'098.-- und die Z._ Limited mit einer Forderung aus Darlehen von Fr. 9'682'357.81 (reduziert vom Konkursamt gemäss Schreiben der Gläubigerin vom 20. Mai 2011) zugelassen.
A.b Am 19. Mai 2011 erhob X._ beim Bezirksgericht Zürich Kollokationsklage gegen die Z._ Limited und beantragte, die Forderung der Mitgläubigerin sei zu reduzieren und lediglich im Betrag von Fr. 8'031'060.-- zu kollozieren.
A.c Mit Verfügung vom 26. September 2011 setzte das Bezirksgericht X._ Frist zur Leistung eines Kostenvorschusses von Fr. 34'075.-- an.
B. Gegen diese Verfügung erhob X._ Beschwerde und verlangte, dass der Kostenvorschuss auf höchstens Fr. 1'903.85 festzulegen sei. Das Obergericht des Kantons Zürich, II. Zivilkammer, hiess die Beschwerde mit Urteil vom 7. Dezember 2011 teilweise gut und reduzierte den Kostenvorschuss auf Fr. 25'000.--. Im Übrigen wurde die Beschwerde abgewiesen.
C. Mit Eingabe vom 27. Januar 2012 hat X._ Beschwerde in Zivilsachen erhoben. Der Beschwerdeführer beantragt, das angefochtene Urteil aufzuheben und den Kostenvorschuss für die Kollokationsklage auf höchstens Fr. 1'903.85 festzulegen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Weiter ersucht der Beschwerdeführer um aufschiebende Wirkung.
Mit Präsidialverfügung vom 7. Februar 2012 wurde der Beschwerde aufschiebende Wirkung zuerkannt.
In der Sache haben die Z._ Limited (Beschwerdegegnerin) und das Obergericht auf eine Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Angefochten ist die dem Beschwerdeführer als Kollokationskläger auferlegte Pflicht zur Bevorschussung der Gerichtskosten, welche vom Obergericht in reduziertem Umfang bestätigt worden ist. Der angefochtene Entscheid über die Aufforderung zur Leistung eines Kostenvorschusses ist ein Zwischenentscheid und kann zu einem nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG führen (Urteil 4A_100/2009 vom 15. September 2009 E. 1.3 mit Hinweisen, nicht publ. in: BGE 135 III 603).
1.2 Im Weiteren folgt der Rechtsweg bei Zwischenentscheiden demjenigen der Hauptsache (BGE 133 III 645 E. 2.2 S. 647 f.). Hier geht es in der Hauptsache (Klage nach Art. 250 Abs. 2 SchKG) um die Kollokation von privatrechtlichen Ansprüchen der Beschwerdegegnerin, was der Beschwerde in Zivilsachen unterliegt (Art. 72 ff. BGG; BGE 135 III 545 E. 1 S. 547). In der vorliegenden vermögensrechtlichen Angelegenheit richtet sich der Streitwert nach den Begehren, die vor der Hauptsache-Instanz streitig sind (Art. 51 Abs. 1 lit. c, Art. 74 Abs. 1 lit. b BGG). Das Obergericht gibt den Streitwert mit Fr. 1'332'541.-- an. Da die Streitwertberechnung strittig ist und der Beschwerdeführer vor dem Obergericht die Reduktion des Kostenvorschusses von Fr. 34'075.-- auf höchstens Fr. 1'903.85 verlangt, kann die Streitwertgrenze von Fr. 30'000.-- als erfüllt gelten.
1.3 Der Beschwerdeführer ist zur Beschwerde in Zivilsachen berechtigt (Art. 76 Abs. 1 BGG). Die fristgemäss erhobene Beschwerde gegen das Urteil der letzten kantonalen Instanz ist grundsätzlich zulässig (Art. 75, Art. 100 Abs. 1 BGG).
1.4 Mit vorliegender Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Verletzung kantonaler Gesetze kann das Bundesgericht nur insoweit prüfen, als in der Beschwerde entsprechende Verfassungsrügen erhoben werden (vgl. Art. 95 BGG). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von verfassungsmässigen Rechten ist in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2 BGG), wobei das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591).
2. Das Obergericht hat festgehalten, dass die von der Konkursverwaltung geschätzte Konkursdividende von 0% für den Kollokationsrichter nicht verbindlich sei. Die betreffende Dividendenschätzung sei unrealistisch, weil Aktiven (Warenlager, Verantwortlichkeitsansprüche) bei Realisierungschanchen von 50% einen Wert von insgesamt Fr. 3 Mio. hätten. Ausgehend vom Total der eingegebenen Forderungen ergebe sich eine mutmassliche Konkursdividende von 20,7%. Auf die umstrittene Reduktion (Fr. 1'651'297.81) der Kollokationsforderung der Beschwerdegegnerin entfalle damit Fr. 341'819.--, was den Streitwert darstelle und zu einer Gerichtsgebühr (nach § 4 Abs. 1 GebV OG/ZH) von Fr. 17'550.-- führe. Der Gerichtskostenvorschuss sei im Umfang von Fr. 25'000.-- gerechtfertigt.
Der Beschwerdeführer hält demgegenüber fest, dass die Schätzung des Konkursamtes über die mutmassliche Konkursdividende (0%) für den Kollokationsrichter verbindlich sei. Sein persönliches Interesse sei nicht höher als seine kollozierten Forderungen, d.h. maximal Fr. 11'098.90, was den Streitwert darstelle. Die vorinstanzliche Streitwertberechnung sei bundesrechtswidrig. Im Weiteren erhebt der Beschwerdeführer verschiedene Verfassungsrügen und kritisiert das Ergebnis der Schätzung des Warenlagers bzw. die Annahme von Realisierungschanchen von 50% als nicht nachvollziehbar und willkürlich. Der Kostenvorschuss von Fr. 25'000.-- verletze das Äquivalenz- bzw. Verhältnismässigkeitsprinzip sowie die Rechtsweggarantie. Ein Gerichtskostenvorschuss von höchstens Fr. 1'903.85 sei zulässig.
3. Anlass zur vorliegenden Beschwerde gibt die Festsetzung des Vorschusses für Gerichtskosten im (negativen) Kollokationsprozess nach Art. 250 Abs. 2 SchKG (Wegweisungsprozess). Zu Recht ist unbestritten, dass sich der Streitwert im Kollokationsprozess im kantonalen Verfahren seit Inkrafttreten der ZPO nach Bundesrecht bestimmt (Art. 1 lit. c, Art. 91 ff. ZPO). Die Rechtsprechung des Bundesgerichts zum Streitwert im Kollokationsprozess im eidgenössischen Rechtsmittelverfahren ist nunmehr auch im kantonalen Verfahren massgebend (TAPPY, in: Code de procédure civile commenté, 2011, N. 45 zu Art. 91 ZPO; vgl. Botschaft zur ZPO, BBl. 2006 7221, Ziff. 5.7 a.E., S. 7291). Hingegen richtet sich die Festsetzung der Gerichtskosten bzw. des Vorschusses weiterhin nach kantonalem Recht (Art. 96, Art. 98 ZPO). Der Beschwerdeführer wendet sich gegen den Streitwert, nach welchem die Vorinstanz den Vorschuss für die Gerichtskosten festgesetzt hat.
3.1 Der Streitwert bei der Kollokationsklage bemisst sich nach der Dividende, die auf den bestrittenen Betrag entfallen würde, also nach dem möglichen Prozessgewinn (BGE 65 III 28 E. 2 S. 31; 81 II 473 S. 474; 82 III 94 S. 95; 135 III 127 E. 1.2 S. 129). Bei der Anfechtung der Kollokation eines Konkurrenten (Art. 250 Abs. 2 SchKG) berechnet sich diese Differenz auf der dem Beklagten zufallenden Dividende (BGE 114 III 114 S. 116; 131 III 451 E. 1.2 S. 453; TAPPY, a.a.O., N. 82 zu Art. 91 ZPO; GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Bd. III, 2001, N. 124 u. 125 zu Art. 250 SchKG). Somit ist bei der negativen Kollokationsklage nicht das Streitinteresse des Klägers allein massgebend, sondern vielmehr dasjenige des Klägers und der Masse (BRUNNER/REUTTER, Kollokations- und Widerspruchsklagen nach SchKG, 2. Aufl. 2002, S. 55). Grund dafür ist, dass - je nach Umfang der bestrittenen Forderung und erwarteten Dividende - der Prozessgewinn höher sein kann, als es zur Tilgung von Forderung und Kosten des Klägers erforderlich ist, und dieser Überschuss nach Art. 250 Abs. 2 SchKG zugunsten der übrigen Gläubiger in die Konkursmasse fällt (AMONN/WALTHER, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl. 2008, § 46 Rz. 57). Von diesen Grundsätzen ist das Obergericht zu Recht ausgegangen.
3.2 Die Berechnung der mutmasslichen Konkursdividende erfolgt durch die Konkursverwaltung, welche hierfür die Aktiven gemäss Inventar den Passiven gemäss Kollokationsplan gegenüberstellt und das zu erwartende Resultat im Kollokationsplan angibt (BGE 65 III 28 E. 3 S. 32; BRUNNER/REUTTER, a.a.O., S. 54 f.). Vorliegend steht fest, dass das Konkursamt für alle Gläubigerklassen eine mutmassliche Konkursdividende von 0% ermittelt hat. Das Obergericht erachtet diese als unrealistisch bzw. nicht verbindlich und ist zur neuen Schätzung der Aktiven geschritten.
3.2.1 Das Bundesgericht hat in BGE 65 III 28 (E. 3 S. 32) festgehalten, dass sich der Kollokationskläger bei Einleitung des Prozesses darauf verlassen kann, was die Konkursverwaltung als mutmassliche Dividende ermittelt hat. Grund dafür ist, dass sich (wie im Bundesgerichtsurteil ausgeführt) nicht bloss Zuständigkeit und Verfahren nach dem Streitwert richten können, sondern allgemein der Kollokationskläger nur auf diese Weise Prozessrisiko und Prozessnutzen abschätzen kann (JEANDIN, Poursuite pour dettes et faillite: état de collocation, FJS Nr. 990b, 1999, Ziff. I.A.7; BRUNNER/REUTTER, a.a.O., S. 55).
3.2.2 Das Obergericht hat übergangen, dass die Schätzung, welche für jedes Vermögensstück vorzunehmen und im Konkursinventar anzugeben ist (Art. 227 SchKG), eine zwangsvollstreckungsrechtliche Verfügung (Art. 17 SchKG) darstellt, welche der Kontrolle der Aufsichtsbehörde nach Art. 18 SchKG untersteht. Die Schätzung ist nicht nur für die Frage der Einstellung des Konkursverfahrens mangels Aktiven durch das Konkursgericht erheblich (Art. 230 Abs. 1 SchKG). Die Angabe der mutmasslichen Dividende - gestützt auf die Schätzung im Inventar - dient vielmehr auch dem Kollokationsrichter als zuverlässige Streitwertangabe (BRUNNER/REUTTER, a.a.O., S. 55). Zu Recht wird in der Lehre bestätigt, dass die Schätzung der mutmasslichen Konkursdividende für das Gericht verbindlich ist (HIERHOLZER, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 49 zu Art. 250 SchKG; SPRECHER, in: Kurzkommentar SchKG, 2009, N. 30 zu Art. 250 SchKG). Es gibt keinen Grund, weshalb der Kollokationsrichter die Schätzung der Konkursverwaltung frei überprüfen können soll (mit der Folge, dass sich wie hier die Parteien vor dem Kollokationsrichter über den Schätzungswert von Aktiven streiten). Ob eine veränderte Grundlage des Streitwertes - die Änderung des Inventars (bzw. der enthaltenen Schätzungswerte) durch die Konkursverwaltung bzw. Aufsichtsbehörden - im Verlauf des Kollokationsprozesses vorbehalten ist, kann hier (wie bereits in BGE 65 III 28 E. 3 S. 32) offenbleiben. Demnach findet die Neuschätzung der Aktiven durch die Vorinstanz und die danach ermittelte Konkursdividende von 20,7% im Bundesrecht keine Grundlage. Es bleibt dabei, dass das Obergericht für die Festsetzung des Streitwertes für die vom Beschwerdeführer erhobene Kollokationsklage von einer mutmasslichen Konkursdividende von 0% auszugehen hat.
3.3 Wenn die mutmasslich auf eine strittige Forderung entfallende Konkursdividende 0% beträgt, kann mit der Kollokationsklage im laufenden Konkurs kein geldwerter Prozessgewinn erzielt werden (BGE 65 III 28 E. 1 S. 30). Nach der Rechtsprechung ist ein Kollokationsstreit wegen der Wirkungen des Verlustscheines auch dann zulässig, wenn das auf den bestrittenen Anspruch entfallende Konkursbetreffnis voraussichtlich Null sein wird (BGE 82 III 94 S. 96). Im Konkurs von juristischen Personen kann sich immerhin die Frage nach dem erforderlichen rechtlich geschützten Interesse des Klägers an der Behandlung der Kollokationsklage stellen (in diesem Sinn Urteil 5C.185/2002 vom 31. Oktober 2002 E. 2.2; Urteil 5A_484/2010 vom 20. Dezember 2010 E. 4.2; BRUNNER/REUTTER, a.a.O., S. 54; HIERHOLZER, a.a.O., N. 54 zu Art. 250 SchKG; vgl. BRACONI, La collocation des créances en droit international de la faillite, 2005, S. 130 Fn 100).
3.4 Vorliegend hat das Obergericht zum Rechtsschutzinteresse ausgeführt, der Beschwerdeführer habe ein eigenes wirtschaftliches Interesse an der Kollokationsklage, zu welchem das Interesse der Masse hinzukomme. Nach der Klageschrift will der Beschwerdeführer die Konkursforderung der Beschwerdegegnerin reduzieren, um bei Abtretung von Ansprüchen nach Art. 260 SchKG zu verhindern, dass die Beschwerdegegnerin bei Verteilung des Ergebnisses (Art. 260 Abs. 2 SchKG) zu viel bekomme. Entgegen der Auffassung des Obergerichts macht der Beschwerdeführer damit kein unmittelbares Prozessinteresse geltend - weder für sich, noch für die Masse. Grund dafür ist, dass bei einer mutmasslichen Dividende von 0% ein frei werdender Betrag für den Beschwerdeführer nicht zu erwarten ist, ebenso wenig ein Überschuss (Art. 250 Abs. 2 SchKG) für die Masse, was nach BGE 115 III 68 S. 71 ohne weiteres zur Klageführung genügt. Das Streitinteresse des Beschwerdeführers und der Masse ist hier ein mittelbares, denn es setzt vorab die erfolgreiche Geltendmachung eines gemäss Art. 260 SchKG abgetretenen Anspruchs voraus, die zu einem Überschuss (Art. 260 Abs. 2 SchKG) führt. Offenbar geht es vorliegend um die Geltendmachung (nach Art. 260 SchKG) von Verantwortlichkeitsansprüchen gegen natürliche Personen in Millionenhöhe. Dass hier das Obergericht dem Beschwerdeführer im Ergebnis ein hinreichendes Rechtsschutzinteresse zugestanden hat, um die Kollokationsklage zu führen, ist nicht zu beanstanden. Bleibt zu prüfen, was dies für den Streitwert bedeutet.
3.4.1 In der Lehre wird vorgeschlagen, im Fall der Nulldividende bei hinreichendem Rechtsschutzinteresse für den Streitwert auf die nominell eingeklagte Konkursforderung abzustellen (STÖCKLI, Komplizierter Streit, IWIR 1998, S. 148; gl.M. allgemein, d.h. unabhängig von einer Dividendenprognose JAQUES, in: Commentaire romand, Poursuite et faillite, 2005, N. 38 zu Art. 250 SchKG mit Hinweis auf GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 111 Fn. 22). Das Bundesgericht hat ein entsprechendes Vorgehen, das sich noch auf kantonales Recht stützte, nicht als Verstoss gegen das Willkürverbot (Art. 9 BV) erachtet (Urteil 5A_484/2010 vom 20. Dezember 2010 E. 4.2.4). Bei dieser Sichtweise wäre die anbegehrte nominelle Reduktion der kollozierten Forderung als Streitwert zu nehmen.
3.4.2 In Anwendung von Bundesrecht (OG) hat das Bundesgericht indessen klargestellt, was für den Streitwert gilt, wenn (wie hier mit Blick auf das mögliche Ergebnis eines möglichen Abtretungsprozesses) nur ein mittelbares Streitinteresse vorliegt. Nach BGE 82 III 94 (S. 96) ist in diesem Fall nur ein minimaler Streitwert, entsprechend dem mehr nur symbolischen, jedenfalls ausserhalb des unmittelbaren Prozesserfolgs liegenden Streitinteresse anzunehmen. Die blosse Möglichkeit, dass der zu Verlust gekommene Betrag sich später doch noch einbringen lasse, kann nur in solcher Weise berücksichtigt werden. Diese Rechtsprechung wird in der Lehre bestätigt (TAPPY, a.a.O., N. 82 a.E. zu Art. 91 ZPO), und triftige Gründe, um davon abzurücken, sind nicht ersichtlich. Mit dieser Rechtsprechung ist nicht vereinbar, wenn das Obergericht (auf S. 13 des angefochtenen Urteils, E. II./3.6.2) den Streitwert nach der anbegehrten Reduktion (Fr. 1'652'297.81) der Konkursforderung der Beschwerdegegnerin gerichtet hat, oder wenn der Beschwerdeführer seine bzw. die Konkursforderung des Klägers heranziehen will.
3.5 Nach dem Dargelegten verstösst gegen Bundesrecht, wenn die Vorinstanz bei der Festlegung des Kostenvorschusses von einem Streitwert ausgegangen ist, der die mutmassliche Konkursdividende von 0% übergeht und auf die umstrittene Reduktion der Konkursforderung der Beschwerdegegnerin abstellt. Die Rüge des Beschwerdeführers, dass die bundesrechtlichen Regeln bei der Festlegung des Streitwertes übergangen worden seien, ist begründet, ohne dass über die weiteren Rügen zu befinden ist.
Die Vorinstanz hat die Sache neu zu beurteilen und einen minimalen Streitwert, entsprechend dem mehr nur symbolischen, jedenfalls ausserhalb des unmittelbaren Prozesserfolgs liegenden Streitinteresse anzunehmen. Ob im konkreten Fall die Grössenordnung von Fr. 10'000.-- (wie der Beschwerdeführer im Ergebnis verlangt) dem Kriterium eines minimalen Streitwertes entspricht, welcher für die anbegehrte Reduktion der Konkursforderung angenommen werden kann, ist eine Frage, welche im Ermessen des kantonalen Gerichts liegt. In Anwendung des kantonalen Rechts hat das Obergericht schliesslich den Kostenvorschuss festzusetzen.
4. Aus diesen Gründen ist der Beschwerde in Zivilsachen Erfolg beschieden. Das angefochtene Urteil ist aufzuheben und die Sache ist zur neuen Entscheidung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Bei diesem Ausgang des Verfahrens unterliegt unter Berücksichtigung des Streitgegenstandes (Kostenvorschuss) nicht die Beschwerdegegnerin, zumal sie keinen Antrag gestellt hat. Der Kanton Zürich, welcher hier in seinen finanziellen Interessen betroffen ist, wird kosten- und entschädigungspflichtig (Art. 66 Abs. 4, Art. 68 Abs. 1 BGG; Urteil 5A_484/2010 vom 20. Dezember 2010 E. 5).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird gutgeheissen und das Urteil des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 7. Dezember 2011 wird aufgehoben. Die Sache wird an die Vorinstanz zur neuen Entscheidung im Sinne der Erwägungen zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Kanton Zürich auferlegt.
3. Der Kanton Zürich hat den Beschwerdeführer mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. September 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante