Sachverhalt:
A. A.a Im Konkurs über die Z._ AG erhoben X._ und Y._ Kollokationsklage gegen die Konkursmasse beim Bezirksgericht Affoltern. Die beiden Kläger verlangten in Abänderung des Kollokationsplanes vom 23. März 2006 die Kollokation ihrer Forderung Nr. 30 im Umfang von Fr. 882'280.--. Mit Urteil vom 16. Juli 2009 wies die Einzelrichterin am Bezirksgericht Affoltern die Kollokationsklage ab. Die Gerichtsgebühr wurde (ausgehend von einem Streitwert von Fr. 882'280.--) auf Fr. 37'860.-- festgesetzt und den Klägern auferlegt.
A.b X._ und Y._ gelangten gegen diese Festsetzung der Gerichtsgebühr mit Kostenbeschwerde an das Obergericht des Kantons Zürich. Mit Beschluss (VB090065/U) vom 21. Mai 2010 wies das Obergericht (Verwaltungskommission) die Beschwerde ab.
B. B.a Im gleichen Konkurs erhoben die S._ & Co. und T._ ebenfalls Kollokationsklage und verlangten in Abänderung des Kollokationsplanes vom 23. März 2006 die Kollokation der Forderung Nr. 33 im Umfang ihrer Eingaben. Mit Urteil vom 16. Juli 2009 wies die Einzelrichterin am Bezirksgericht Affoltern die Kollokationsklage ebenfalls ab. Die Gerichtsgebühr wurde (ausgehend von einem Streitwert von Fr. 682'800.--) auf Fr. 35'520.-- festgesetzt und den Klägern auferlegt.
B.b Die S._ & Co. und T._ gelangten gegen diese Festsetzung der Gerichtsgebühr ebenfalls mit Kostenbeschwerde an das Obergericht des Kantons Zürich. Mit Beschluss (VB090064/U) vom 21. Mai 2010 wies das Obergericht (Verwaltungskommission) auch diese Beschwerde ab.
C. Mit Eingaben vom 2. Juli 2010 führten X._ und Y._ (Verfahren 5A_484/2010) sowie die S._ & Co. und T._ (Verfahren 5A_485/2010) Beschwerde in Zivilsachen. Die Beschwerdeführer beantragten im Wesentlichen die neue Festsetzung der erstinstanzlichen Gerichtsgebühren.
Mit Urteil vom 20. Dezember 2010 hiess das Bundesgericht die (vereinigten) Beschwerden gut, soweit darauf einzutreten war, und hob die obergerichtlichen Beschlüsse vom 21. Mai 2010 auf; die Sache wurde an die Vorinstanz zu neuer Entscheidung im Sinne der Erwägungen zurückgewiesen.
D. D.a Mit Beschluss (VB110003-O/U) vom 13. September 2011 hiess das Obergericht die Beschwerde der S._ (nunmehr) in Liquidation und T._ teilweise gut und setzte die erstinstanzliche Gerichtsgebühr auf Fr. 25'626.30 fest. Im Übrigen wies es die Beschwerde ab.
D.b Mit Beschluss (VB110004-O/U) vom 13. September 2011 hiess das Obergericht die Beschwerde von X._ und Y._ ebenfalls teilweise gut und setzte die erstinstanzliche Gerichtsgebühr auf Fr. 29'814.75 fest. Im Übrigen wies es die Beschwerde ab.
E. Am 19. Oktober 2011 sind X._ und Y._ sowie T._ und "eventuell" U._ mit einer als "Beschwerde in Zivilsachen, subsidiäre Verfassungsbeschwerde" bezeichneten Eingabe an das Bundesgericht gelangt. Die Beschwerdeführer beantragen im Wesentlichen die Aufhebung der beiden obergerichtlichen Beschlüsse vom 13. September 2011 und eine neue Festsetzung der erstinstanzlichen Gerichtsgebühren. Weiter ersuchen sie um Gewährung der aufschiebenden Wirkung.
Mit Präsidialverfügung vom 15. November 2011 wurden die Gesuche um aufschiebende Wirkung abgewiesen.
Das Obergericht und das Bezirksgericht haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Die Beschwerden richten sich gegen zwei Entscheide, die in ihrer Begründung gleich lauten. Wohl sind die Entscheide nicht zwischen den gleichen Parteien ergangen; sie stehen jedoch in einem verfahrensmässigen Zusammenhang und die Beschwerdeführer treten gemeinsam auf. Die Verfahren können vereinigt werden (BGE 133 IV 215 E. 1 S. 217).
2. 2.1 Angefochten ist die letztinstanzliche Regelung des Obergerichts bezüglich der Gerichtskosten für die beiden erstinstanzlichen Kollokationsurteile (Art. 75 Abs. 1 BGG). Der Rechtsweg bezüglich der hier (und bereits vor dem Obergericht) allein angefochtenen Kostenregelung folgt jenem der Hauptsache. Diese beschlägt den Entscheid über die Kollokation von zivilrechtlichen Forderungen (Art. 250 Abs. 1 SchKG), welche der Beschwerde in Zivilsachen unterliegt (Art. 72 ff. BGG; im Einzelnen BGE 135 III 545 E. 1 S. 547). Die erstinstanzlichen Urteile über die Kollokation blieben unangefochten, so dass mit den angefochtenen Entscheiden über die Gerichtskosten das Verfahren abgeschlossen wird (Art. 90 BGG).
2.2 Die umstrittenen Gerichtsgebühren (Lit. D; Fr. 25'626.30 bzw. Fr. 29'814.75) bleiben unter der Streitwertgrenze von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG). Die Beschwerde in Zivilsachen ist zulässig, wenn die im kantonalen Verfahren streitig gebliebenen Begehren den Streitwert erreichen würden, auch wenn die einzig angefochtenen Prozesskosten unter der Streitwertgrenze bleiben (BGE 137 III 47 E. 1; Urteil 4A_200/2011 vom 29. Juni 2011 E. 1.1). Ob hier die im kantonalen Verfahren streitig gebliebenen Begehren in den Kollokationsprozessen den erforderlichen Streitwert erreichen würden, oder nur die subsidiäre Verfassungsbeschwerde zulässig ist (Art. 113 ff. BGG), braucht nicht abschliessend entschieden zu werden. Im vorliegenden Verfahren steht - wie sich im Folgenden ergibt - einzig die Anwendung von kantonalem Recht in Frage. Die Verletzung kantonaler Gesetze kann das Bundesgericht in jedem Fall nur insoweit prüfen, als in der Beschwerde entsprechende Verfassungsrügen erhoben werden (vgl. Art. 95 BGG sowie Art. 116 BGG). Die Verletzung von verfassungsmässigen Rechten ist in jedem Fall in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2, Art. 117 BGG), wobei das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591).
2.3 Die vom Obergericht angeordneten Kostenauflagen berühren schutzwürdige Interessen von X._ und Y._ (Beschluss VB110004-O/U) und T._ (Beschluss VB110003-O/U) als Beschwerdeführer (Art. 76 Abs. 1 lit. b BGG). Hingegen hat der Beschwerdeführer U._ an den vorinstanzlichen Verfahren nicht teilgenommen (Art. 76 Abs. 1 lit. a BGG). Er führt "eventuell" Beschwerde unter Hinweis darauf, dass die S._ & Co. in Liquidation - die Beschwerdeführerin im kantonalen Verfahren VB110003-O/U - am 22. September 2011 (nach Erlass des angefochtenen Beschluss) ihre Liquidation beendet hat und die Gesellschaft gelöscht wurde. Richtig ist, dass die Kollektivgesellschaft mit der Beendigung der Liquidation aufhört zu existieren und ihre Rechts- und Parteifähigkeit verliert (D. STAEHELIN, in: Basler Kommentar, Obligationenrecht II, 3. Aufl. 2008, N. 6 zu Art. 574). In der Beschwerdeschrift wird allerdings nicht dargelegt, inwiefern U._ als früherer Gesellschafter zur vorliegenden Beschwerde berechtigt sein soll (Art. 76 Abs. 1 lit. b BGG). Insoweit kann auf die Beschwerde nicht eingetreten werden, zumal kein Grund ersichtlich ist, dass die "eventuelle" Erhebung der Beschwerde mit dem Grundsatz der Bedingungsfeindlichkeit von Prozesshandlungen vereinbar wäre (vgl. BGE 134 III 332 E. 2.2 S. 333).
2.4 Die Beschwerdeführer beantragen vergeblich die "Durchführung eines Beweisverfahrens". Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG); für Tatsachen- und Beweiserhebungen sind grundsätzlich die Sachgerichte zuständig (BGE 133 IV 293 E. 3.4.2 S. 295).
2.5 Die Festsetzung der Gerichtskosten stellt einen Akt der Justizverwaltung dar; sie werden hier als öffentlich-rechtliche Forderung vom Kanton geltend gemacht werden (vgl. SPÜHLER/DOLGE/GEHRI, Schweizerisches Zivilprozessrecht, 9. Auf. 2010, § 8. Kap. Rz. 25, 98). Soweit die Beschwerdeführer dem Kanton Zürich "den Streit verkünden" wollen, geht ihr Vorbringen an der Sache vorbei.
3. 3.1 Gegenstand des Bundesgerichtsurteils vom 20. Dezember 2010 war die Festsetzung der Gerichtskosten nach dem Streitwert in Kollokationsprozessen gemäss Art. 250 Abs. 1 SchKG. Dabei haben sich die Rügen gegen die Berechnung des Streitwertes, nach welchem die Vorinstanz die Gerichtskosten festgesetzt hat, als erfolglos erwiesen. Die konkrete Ermittlung der Grundgebühren nach § 4 Abs. 1 der Verordnung des Obergerichts über die Gerichtsgebühren vom 4. April 2007 (GerGebV/ZH) für den Streitwert von Fr. 882'280.-- (Grundgebühr von Fr. 28'395.--) bzw. für den Streitwert von Fr. 682'800.-- (Grundgebühr von Fr. 24'406.-- ) war nicht in Frage gestellt. Hingegen erwies sich die Erhöhung der Grundgebühr der Gerichtskosten (§ 4 Abs. 2 GerGebV/ZH) um einen Drittel bzw. das Maximum als verfassungswidrig. Die Sache wurde daher an die Vorinstanz zu neuer Entscheidung zur endgültige Festsetzung der Gerichtsgebühren zurückgewiesen.
3.2 Mit den nun angefochtenen Beschlüssen hat das Obergericht über die Frage der Erhöhung der Grundgebühren neu entschieden. Es hat erwogen, dass mit Blick auf die Verfahrensdauer von drei Jahren, die Notwendigkeit von zwei Hauptverhandlungen und die diversen prozessleitenden Entscheiden eine Erhöhung der Grundgebühren geboten und im Rahmen von 5% angemessen sei. Es setzte die erstinstanzliche Gerichtsgebühr daher auf Fr. 29'814.75 bzw. Fr. 25'626.30 fest (Lit. D).
4. Das Obergericht hat dem Rückweisungsentscheid des Bundesgerichts entnommen, dass einzig über die Frage der Erhöhung der Grundgebühren neu zu entscheiden ist und im Übrigen die Beschlüsse vom 21. Mai 2010 bestätigt worden sind. Diese Auffassung ist nicht zu beanstanden. Soweit die Beschwerdeführer weitere Punkte - wie die Berechnung des Streitwertes und die Festsetzung der Grundgebühren - erneut in Frage stellen wollen, verkennen sie die Reichweite der materiellen Rechtskraft des Bundesgerichtsurteils vom 20. Dezemer 2010 (vgl. BGE 122 I 250 E. 2b S. 252). Insoweit sind ihre Vorbringen unzulässig.
5. Die Beschwerdeführer kritisieren die Erhöhung der Grundgebühren, indem sie eine eigene Berechnung über den "tatsächlichen Aufwand" des Bezirksgerichts für die Kollokationsurteile anstellen; sie kommen zum Ergebnis, dass ein Aufwand von "höchstens Fr. 5'000.--" für beide Kollokationsprozesse entstanden sei.
5.1 Das Obergericht hat vorweg festgehalten, das kantonale Verfahren sei nach dem bundesgerichtlichen Rückweisungsentscheid gemäss dem bis Ende 2010 massgebenden Recht fortzusetzen. Ebenso seien die Gerichtskosten für die Kollokationsprozesse auf der Grundlage festzusetzen, wie sie vor Inkrafttreten der ZPO massgebend war, d.h. gestützt auf die GerGebV/ZH von 2007. Die Beschwerdeführer stellen die Anwendung der übergangsrechtlichen Regeln nicht in Frage, d.h. weder die bundesrechtlichen Regeln (Art. 404 Abs. 1 BGG) noch die kantonalrechtlichen Grundlagen. Nach § 4 Abs. 2 GerGebV/ZH kann die Grundgebühr um bis zu einem Drittel, in Ausnahmefällen auch um mehr, erhöht werden.
5.2 Nach den für das Gebührenrecht massgebenden verfassungsmässigen Grundsätzen darf eine Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der Leistung stehen und muss sie sich in vernünftigen Grenzen halten. Es ist nicht notwendig, dass die Gebühren genau dem Verwaltungsaufwand entsprechen (BGE 130 III 225 E. 2.3 S. 228), was die Beschwerdeführer übergehen. Sie legen nicht dar, inwiefern die vom Obergericht herangezogenen Kriterien (Verfahrensdauer von drei Jahren, die Notwendigkeit von zwei Hauptverhandlungen und die diversen prozessleitenden Entscheiden) in Anwendung von § 4 Abs. 2 GerGebV/ZH sachlich nicht vertretbar seien. Sie setzen nicht auseinander, inwiefern die Erhöhung der Grundgebühren um 5% in einem offensichtlichen Missverhältnis stehe und mit dem Äquivalenzprinzip nicht vereinbar sei. Die Beschwerde ist in diesem Punkt nicht hinreichend begründet; die Verweisung auf Rechtsschriften in vorangehenden Verfahren ist unbehelflich (vgl. BGE 126 III 198 E. 1d).
5.3 Schliesslich rügen die Beschwerdeführer, dass die Vorinstanz (nach dem bundesgerichtlichen Rückweisungsentscheid) über die Frage der Erhöhung der Grundgebühren nicht in einem vereinigten Verfahren entschieden habe und daher Gerichtsgebühren für zwei Beschlüsse angefallen seien. Das Obergericht hat den Antrag auf Verfahrensvereinigung mit der Begründung abgewiesen, dass verschiedene Parteien an den beiden Verfahren beteiligt seien und der verfahrensleitende Entscheid (mit Hinweis auf § 40 und § 58 ZPO/ZH) in seinem Ermessen stehe. Die Beschwerdeführer legen nicht dar, inwiefern der Entscheid der Vorinstanz, die Verfahren nicht zu vereinigen, auf einer geradezu unhaltbaren bzw. willkürlichen Anwendung des kantonalen Prozessrechts beruhen soll. Im Übrigen behaupten die Beschwerdeführer selber nicht, dass bei Vereinigung von mehreren Verfahren die Gerichtsgebühr zwingend so zu erheben sei, wie wenn nur ein Verfahren vorliegen würde. Insoweit fehlen hinreichend begründete Verfassungsrügen werden.
6. Nach dem Dargelegten ist den Beschwerden kein Erfolg beschieden. Bei diesem Verfahrensausgang werden die gemeinsam auftretenden Beschwerdeführer unter solidarischer Haftung kostenpflichtig; eine Entschädigungspflicht entfällt (Art. 66 Abs. 1 und 5, Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 5A_735/2011 und 5A_736/2011 werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 1'500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, dem Bezirksgericht Affoltern und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 20. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante