Sachverhalt:
A. A.a Im Konkurs über die Z._ AG erhoben X._ und Y._ Kollokationsklage gegen die Konkursmasse beim Bezirksgericht Affoltern. Die beiden Kläger verlangten in Abänderung des Kollokationsplanes vom 23. März 2006 die Kollokation ihrer Forderung Nr. 30 im Umfang von Fr. 882'280.--. Mit Urteil vom 16. Juli 2009 wies die Einzelrichterin am Bezirksgericht Affoltern die Kollokationsklage ab. Die Gerichtsgebühr wurde (ausgehend von einem Streitwert von Fr. 882'280.--) auf Fr. 37'860.-- festgesetzt und den Klägern auferlegt.
A.b X._ und Y._ gelangten gegen diese Festsetzung der Gerichtsgebühr mit Kostenbeschwerde an das Obergericht des Kantons Zürich. Mit Beschluss (VB090065/U) vom 21. Mai 2010 wies das Obergericht (Verwaltungskommission) die Beschwerde ab.
B. B.a Im gleichen Konkurs erhoben die S._ & Co. und T._ ebenfalls Kollokationsklage und verlangten in Abänderung des Kollokationsplanes vom 23. März 2006 die Kollokation der Forderung Nr. 33 im Umfang ihrer Eingaben. Mit Urteil vom 16. Juli 2009 wies die Einzelrichterin am Bezirksgericht Affoltern die Kollokationsklage ebenfalls ab. Die Gerichtsgebühr wurde (ausgehend von einem Streitwert von Fr. 682'800.--) auf Fr. 35'520.-- festgesetzt und den Klägern auferlegt.
B.b Die S._ & Co. und T._ gelangten gegen diese Festsetzung der Gerichtsgebühr ebenfalls mit Kostenbeschwerde an das Obergericht des Kantons Zürich. Mit Beschluss (VB090064/U) vom 21. Mai 2010 wies das Obergericht (Verwaltungskommission) auch diese Beschwerde ab.
C. Mit Eingaben vom 2. Juli 2010 führen X._ und Y._ (Verfahren 5A_484/2010) sowie die S._ & Co. und T._ (Verfahren 5A_485/2010) Beschwerde in Zivilsachen. Die Beschwerdeführer beantragen dem Bundesgericht im Wesentlichen, die Beschlüsse des Obergerichts des Kantons Zürich vom 21. Mai 2010 aufzuheben und die Sache zu neuer Festsetzung der erstinstanzlichen Gerichtsgebühren an die Vorinstanz zurückzuweisen.
Mit Präsidialverfügung vom 6. Juli 2010 wurden die Gesuche um aufschiebende Wirkung abgewiesen, ebenso die Gesuche um Vereinigung der Verfahren.
Das Obergericht und das Bezirksgericht haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Die Beschwerden richten sich gegen Entscheide, die in ihrer Begründung gleich lauten. Die Beschwerdebegründungen sind ebenfalls identisch. Wohl sind die Entscheide nicht zwischen den gleichen Parteien ergangen; in den angefochtenen Entscheiden wird allerdings auf das Verfahren der jeweils anderen Parteien ausdrücklich Bezug genommen. Unter diesen Umständen rechtfertigt sich, die Verfahren zu vereinigen (BGE 133 IV 215 E. 1 S. 217).
2. 2.1 Angefochten ist die letztinstanzliche Regelung des Obergerichts des Kantons Zürich bezüglich der Gerichtskosten für die beiden erstinstanzlichen Kollokationsurteile (Art. 75 Abs. 1 BGG). Der Rechtsweg bezüglich der hier (und bereits vor dem Obergericht) allein angefochtenen Kostenregelung folgt jenem der Hauptsache. Diese beschlägt den Entscheid über die Kollokation von zivilrechtlichen Forderungen (Art. 250 Abs. 1 SchKG), welche der Beschwerde in Zivilsachen unterliegt (Art. 72 ff. BGG; im Einzelnen BGE 135 III 545 E. 1 S. 547). Der erforderliche Streitwert ist gegeben, zumal die umstrittenen Gerichtsgebühren jeweils die Grenze von Fr. 30'000.-- übersteigen (Art. 74 Abs. 1 lit. b BGG) .
2.2 Die erstinstanzlichen Urteile über die Kollokation blieben unangefochten, so dass mit den angefochtenen Entscheiden über die Gerichtskosten das Verfahren abgeschlossen wird (Art. 90 BGG). Die vom Obergericht bestätigte Kostenauflage berührt das rechtlich geschützte Interesse der Beschwerdeführer (Art. 76 Abs. 1 lit. b BGG). Die fristgerecht erhobenen Beschwerden in Zivilsachen sind grundsätzlich zulässig.
2.3 Mit Beschwerde kann die Verletzung von u.a. Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Verletzung von verfassungsmässigen Rechten ist in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2 BGG), wobei das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591). Die Verletzung kantonaler Gesetze kann das Bundesgericht nur insoweit prüfen, als in der Beschwerde entsprechende Verfassungsrügen erhoben werden (vgl. Art. 95 BGG). Auf Ausführungen der Beschwerdeführer, welche den Begründungsanforderungen für Rügen von Verfassungsverletzungen nicht genügen, kann nicht eingetreten werden.
3. Das Obergericht hat festgehalten, dass sich der Streitwert bei der Kollokationsklage grundsätzlich nach der auf den umstrittenen Forderungsbetrag entfallende Konkursdividende richte. Obwohl eine Konkursdividende von null zu erwarten sei, könne die Kollokationsklage der Beschwerdeführer nutzbringend sein, u.a. zur Verhinderung von Schadenersatzklagen gegen die Organe der Gemeinschuldnerin, die ebenfalls zur Familie der Beschwerdeführer gehören. Das Obergericht hat geschlossen, dass ein tatsächliches Streitinteresse im Umfange des eingeklagten Betrages bestehe (d.h. Fr. 882'280.-- für die Klage von X._ und Y._ bzw. Fr. 682'800.-- für die Klage der S._ & Co. und von T._). Wenn das erstinstanzliche Gericht die für diese Streitwerte massgebenden Grundgebühren jeweils um einen Drittel erhöht habe, sei dies mit den einschlägigen Bestimmungen (§ 2 Abs. 1, § 4 Abs. 1 und 2 der Verordnung des Obergerichts über die Gerichtsgebühren vom 4. April 2007; GerGebV/ZH) vereinbar.
Die Beschwerdeführer machen geltend, dass das Obergericht bei der Streitwertberechnung von einer Konkursdividende von null oder jedenfalls nur von einer ganz minimalen Dividende von 2 % hätte ausgehen sollen. Das Obergericht habe ihnen zu Unrecht weitergehende wirtschaftlichen Interessen an den Kollokationsklagen unterstellt. Es gehe nicht an, den ganzen mit Kollokationsklage verlangten Betrag als Streitwert zu nehmen. Ebenso wenig sei eine Erhöhung der Grundgebühr um einen Drittel gerechtfertigt. Die angefochtenen Entscheide seien mit ihren verfassungsmässigen Rechten (Art. 8 und Art. 9, Art. 29 Abs. 2 BV) nicht vereinbar.
4. Anlass zur vorliegenden Beschwerde gibt die Festsetzung der Gerichtskosten nach dem Streitwert in Kollokationsprozessen gemäss Art. 250 Abs. 1 SchKG. Zu Recht ist unbestritten, dass sich die Gerichtskosten im beschleunigten Zivilprozess (Art. 250 Abs. 3 SchKG) nach kantonalem Recht richten (vgl. Art. 25 Ziff. 1 SchKG; Art. 50 GebV SchKG; HIERHOLZER, in: Basler Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, Bd. III, 1998 sowie 2. Aufl. 2010, je N. 78 zu Art. 250; vgl. Art. 96 schweiz. ZPO). Die Berechnung des Streitwertes im Kollokationsprozess richtet sich ebenfalls nach kantonalem Recht, allerdings nur noch bis zum Inkrafttreten der schweizerischen ZPO (HIERHOLZER, a.a.O., 1998 sowie 2. Aufl. 2010, je N. 54 zu Art. 250). Die Beschwerdeführer kritisieren zunächst den Streitwert, nach welchem die Vorinstanz die Gerichtskosten festgesetzt hat.
4.1 Im Kanton Zürich bestehen keine besonderen Vorschriften für die Streitwertberechnung im Kollokationsprozess, sondern es wird laut den angefochtenen Urteilen (und der zitierten kantonalen Praxis) der mutmassliche Prozessgewinn bzw. die auf den umstrittenen Forderungsbetrag entfallende Dividende als massgebend erachtet. Im kantonalen Recht gilt damit (ausdrücklich: ZR 72 Nr. 66) grundsätzlich das Gleiche wie im Verfahren vor dem Bundesgericht (HIERHOLZER, a.a.O., 1998, N. 54 zu Art. 250), wonach der Streitwert im Kollokationsprozess sich aus der Differenz zwischen der Dividende nach der angefochtenen und der beanspruchten Kollokation ergibt (BGE 135 III 127 E. 1.2 S. 128).
4.2 Vorliegend ist nach den Angaben des Konkursamtes keine Konkursdividende zu erwarten. Davon gehen die kantonalen Instanzen aus und dies wird von den Beschwerdeführern betont. Wenn die mutmasslich auf eine strittige Forderung entfallende Konkursdividende null Prozent beträgt, kann mit der Kollokationsklage im laufenden Konkurs kein geldwerter Prozessgewinn erzielt werden (BGE 65 III 28 E. 1 S. 30). Daher stellt sich vor allem im Konkurs von juristischen Personen die Frage nach dem erforderlichen rechtlich geschützten Interesse des Klägers an der Behandlung der Kollokationsklage (Urteil 5C.185/2002 vom 31. Oktober 2002 E. 2.1 und 2.2; Urteil 5A_720/2007 vom 24. April 2008 E. 2.3; Brunner/Reutter, Kollokations- und Widerspruchsklagen nach SchKG, 2. Aufl., Bern 2002, S. 54; Hierholzer, a.a.O., 1998 sowie 2. Aufl. 2010, je N. 54 a.E. zu Art. 250; Stöckli, Komplizierter Streit, IWIR 1998, S. 148; Bauer, in: Basler Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, Erg.-Band, 2005, N. 31 zu Art. 250 m.H.; Braconi, La collocation des créances en droit international de la faillite, 2005, S. 130 Fn 100). Bei fehlendem Rechtsschutzinteresse kann auf die Kollokationsklage nicht eingetreten werden (BRUNNER/REUTTER, a.a.O.).
4.2.1 Von diesen Grundsätzen ist das Obergericht ausgegangen. Die kantonalen Instanzen haben den Beschwerdeführern trotz einer Konkursdividende von null ein Rechtsschutzinteresse zugestanden und ein tatsächliches Streitinteresse nach § 2 Abs. 1 GerGebV/ZH festgesetzt. Als Konkursgläubiger könnten sie u.a. verhindern, dass Schadenersatzklagen gegen die Organe der Gemeinschuldnerin, die ebenfalls zur Familie der Beschwerdeführer gehören, erhoben werden.
4.2.2 Die Beschwerdeführer argumentieren allerdings in umgekehrter Richtung. Sie bestreiten, überhaupt ein weiteres Interesse an der Kollokationsklage zu haben; das Obergericht "unterstelle" ihnen zu Unrecht "ein weiteres Interesse" an der Kollokationsklage. Die Ausführungen laufen darauf hinaus, dass die Kollokationsklagen wegen der Null-Dividende und mangels Rechtsschutzinteresse gar nicht hätten behandelt werden sollen. Die Vorbringen sind unzulässig, weil damit (d.h. mit dem Rechtsmittel gegen den Kostenentscheid) die Kollokationsurteile in der Sache kritisiert werden. Jedenfalls legen die Beschwerdeführer insoweit nicht dar, dass das Obergericht die Regeln für die Streitwertberechnung verletzt habe.
4.2.3 Die Beschwerdeführer weisen in diesem Zusammenhang auf BGE 82 III 94 und ihr Interesse an einem Konkursverlustschein hin. Nach dem erwähnten Urteil kann ein rechtlich geschütztes Interesse an der Behandlung der Kollokationsklage trotz mutmasslicher Null-Dividende bestehen, um einen Konkursverlustschein zu erhalten und gestützt darauf eine neue Betreibung einzuleiten (vgl. Art. 265 Abs. 2 SchKG); in diesem Fall ist nur ein minimaler Streitwert, entsprechend dem "mehr symbolischen" Streitinteresse anzunehmen (BGE 82 III 94 S. 96). Das im erwähnten Urteil angenommene Interesse kann bei einer Privatperson in Konkurs vorliegen. Beim Konkurs einer - wie hier - Aktiengesellschaft genügt dies indessen nicht, da eine konkursite Firma im Handelsregister gelöscht wird (Amonn/Walther, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl. 2008, § 50 Rz 3) und der Konkursverlustschein praktisch wertlos ist (STÖCKLI, a.a.O.; BAUER, a.a.O.); ebenso wenig genügt die theoretische Möglichkeit eines Nachkonkurses (BGE 65 III 28 E. 2 S. 31). Die kantonalen Instanzen haben daher zu Recht nach dem erforderlichen rechtlich geschützten Interesse der Beschwerdeführer an der Behandlung der Kollokationsklage gefragt (E. 4.2).
4.2.4 Weiter kritisieren die Beschwerdeführer die Berechnung des Streitwertes an der Kollokationsklage. Vorliegend haben die kantonalen Instanzen das geltend gemachte tatsächliche wirtschaftliche Interesse an einer Kollokationsklage trotz Null-Dividende anerkannt, weil der Beschwerdeführer u.a. Schadenersatzklagen gegen die Organe der Gemeinschuldnerin (wie durch Verrechnung) verhindern wollen. Ein Rechtsschutzinteresse des ehemaligen Verwaltungsrates an der Kollokationsklage ist möglich, wenn er die zu kollozierende Forderung mit eventuellen Verantwortlichkeitsansprüchen verrechnen will (STÖCKLI, a.a.O.). In der Literatur wird als folgerichtig erachtet, wenn in dieser Situation für den Streitwert auf die eingeklagten, zu kollozierenden Forderungen abgestellt wird (STÖCKLI, a.a.O.). Davon ist das Obergericht im Ergebnis ausgegangen. In der Beschwerdeschrift wird jedoch nicht dargelegt, inwiefern das Obergericht in geradezu unhaltbarer Weise entschieden hat, wenn es die nominell eingeklagte Forderung (Fr. 882'280.-- für die Kollokationsklage von X._ und Y._ bzw. Fr. 682'800.-- für die Kollokationsklage der S._ & Co. und von T._) als tatsächliches Streitinteresse (§ 2 Abs. 1 GerGebV/ZH) angenommen hat. Insoweit ist die Willkürrüge nicht hinreichend begründet (Art. 106 Abs. 2 BGG).
4.3 Die Beschwerdeführer machen sodann eine Verletzung der verfassungsmässigen Grundsätze bei der Anwendung des kantonalen Gebührenrechts für die erwähnten Streitwerte geltend (vgl. zum Ganzen BGE 120 Ia 169 ff.; zum Äquivalenzprinzip BGE 130 III 225 E. 2.3 S. 228; WÜRZBURGER, De la constitutionnalité des émoluments judiciaires en matière civile, in: Festschrift Poudret, 1999, S. 307 f.).
4.3.1 Gemäss § 4 Abs. 1 GerGebV/ZH gilt für einen Streitwert ab Fr. 300'000.-- eine Gerichtsgebühr von Fr. 16'750.-- zuzüglich 2 % des Fr. 300'000.-- übersteigenden Streitwertes. Das Obergericht hat gestützt auf diese Bestimmung für den Streitwert von Fr. 882'280.-- eine Grundgebühr von Fr. 28'395.-- bzw. für den Streitwert von Fr. 682'800.-- eine Grundgebühr von Fr. 24'406.-- ermittelt. Die Beschwerdeführer stellen die konkrete Ermittlung dieser Grundgebühren nicht in Frage. Dass diese Gebühren mit der Bundesverfassung nicht mehr vereinbar wären, wird nicht hinreichend geltend gemacht. Sie behaupten indessen, das Obergericht habe eine ungerechtfertigte Erhöhung der Grundgebühren um einen Drittel vorgenommen.
4.3.2 Nach § 4 Abs. 2 GerGebV/ZH kann die Grundgebühr um bis zu einem Drittel, in Ausnahmefällen auch um mehr, erhöht werden oder insbesondere bei periodisch wiederkehrenden Leistungen ermässigt werden. Das Obergericht hat offen gelassen, ob die Erstinstanz gestützt auf diese Bestimmung die Gebührenerhöhung um einen Drittel mit dem Argument begründen durfte, dass "die Kläger sich die Zwischenentscheide stets zweimal zustellen liessen". Als Begründung für die Erhöhung der Grundgebühr um einen Drittel hat es (nunmehr) angeführt, das Verfahren vor der Vorinstanz habe drei Jahre gedauert, bevor es nach der Beweisantretung durch Urteil bzw. teilweise durch Rückzug habe erledigt werden können; zudem sei das Verfahren von zwei Hauptverhandlungen und diversen prozessleitenden Entscheiden geprägt gewesen.
4.3.3 Für die Erhöhung (bzw. Ermässigung) der nach einem Tarif abgestuften Gerichtsgebühren ist im Einzelfall der Aufwand massgebend, den das Verfahren mit sich bringt, wie die Anzahl der Verhandlungen, der Umfang der Rechtsschriften und Beilagen sowie die tatsächliche oder rechtliche Schwierigkeit des Falles (STERCHI, Gerichts- und Parteikosten im Zivilprozess, in: Schöbi [Hrsg.], Gerichtskosten, Parteikosten, Prozesskaution, unentgeltliche Prozessführung, 2001, S. 17). Dass derartige hinreichende Umstände im erstinstanzlichen Verfahren vorgelegen hätten, lässt sich den Erwägungen des Obergerichts nicht entnehmen. Es bestehen keine Anhaltspunkte, dass es sich vorliegend um wirklich komplexe, umfangreiche Kollokationsprozesse mit überdurchschnittlichen Schwierigkeiten gehandelt habe, welche in der Bearbeitung daher besonders kostenintensiv gewesen sind. Mit der blossen Verfahrensdauer von drei Jahren, zwei Hauptverhandlungen und "diversen prozessleitenden Entscheiden" lässt sich die maximale Erhöhung der Grundgebühr (um einen Drittel) nicht rechtfertigen, zumal die Erstinstanz - worauf die Beschwerdeführer zu Recht hinweisen - die Kollokationsklagen mit praktisch identischen Erwägungen beurteilt und abgewiesen hat. Die maximale Erhöhung der Grundgebühr für die Gerichtskosten erscheint in einem offensichtlichen Missverhältnis und ist mit dem Äquivalenzprinzip (BGE 130 III 225 E. 2.3 S. 228) nicht vereinbar. In diesem Punkt ist die Rüge der Beschwerdeführer begründet.
4.3.4 Beim vorliegenden Ergebnis ist nicht näher zu erörtern, ob die Beschwerdeführer im erstinstanzlichen Verfahren (als dannzumal nicht anwaltlich vertretene Kläger) einen verfassungsrechtlichen Anspruch auf Aufklärung über den Mehraufwand bzw. eine voraussichtliche Gebührenerhöhung haben.
5. Nach dem Dargelegten sind die Beschwerden in Zivilsachen gutzuheissen, soweit darauf eingetreten werden kann. Die angefochtenen Entscheide sind aufzuheben, da die endgültige Festsetzung der Gerichtsgebühren im Ermessen der kantonalen Behörden steht. Die Sache ist daher an die Vorinstanz zu neuer Entscheidung im Sinne der Erwägungen zurückzuweisen.
Die Beschwerdeführer werden für das bundesgerichtliche Verfahren zur Hälfte kostenpflichtig, unter gesamter solidarischer Haftung, zumal sie gemeinsam Beschwerde führen wollen (Art. 66 Abs. 1 und 5 BGG). Zur anderen Hälfte wird der Kanton Zürich, welcher hier in seinen finanziellen Interessen betroffen ist, kostenpflichtig (Art. 66 Abs. 4 BGG; Urteil 5A_23/2006 vom 20. Mai 2009 E. 7). Der Kanton Zürich hat den Beschwerdeführern für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu bezahlen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 5A_484/2010 und 5A_485/2010 werden vereinigt.
2. Die Beschwerden in Zivilsachen werden gutgeheissen, soweit darauf einzutreten ist. Die Beschlüsse des Obergerichts des Kantons Zürich, Verwaltungskommission, vom 21. Mai 2010 werden aufgehoben und die Sache an die Vorinstanz zu neuer Entscheidung im Sinne der Erwägungen zurückgewiesen.
3. Die Gerichtskosten von insgesamt Fr. 1'500.-- werden zur einen Hälfte den Beschwerdeführern unter solidarischer Haftung und zur anderen Hälfte dem Kanton Zürich auferlegt.
4. Der Kanton Zürich hat die Beschwerdeführer mit insgesamt Fr. 1'000.-- zu entschädigen.
5. Dieses Urteil wird den Beschwerdeführern, dem Bezirksgericht Affoltern und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 20. Dezember 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Levante