Sachverhalt:
A. Im Konkurs über die Y._ AG legte das Konkursamt A._ am 26. April 2000 den Kollokationsplan auf. Mit Verfügung Nr. 2/b vom gleichen Tag anerkannte es die von der Z._ GmbH angemeldete Forderung (für "getätigte und bezahlte Aufwendungen") im Umfang von Fr. 175'228.85 als Forderung der 3. Klasse im Kollokationsplan. Gemäss den Angaben des Konkursamtes gelangen im betreffenden Konkursverfahren die Gläubiger der 3. Klasse vollständig zu Verlust.
Mit Leitschein des Vermittleramtes A._ vom 9. Juni 2000 (nach Vermittlungsbegehren vom 17. Mai 2000) reichte X._, ehemaliger Verwaltungsrat der Konkursitin und Gläubiger einer in der 3. Klasse kollozierten Forderung von Fr. 10'000.--, am 9. August 2000 beim Kreisgericht St. Gallen Kollokationsklage gemäss Art. 250 Abs. 2 SchKG gegen die Z._ GmbH ein und verlangte die Nichtzulassung von deren Forderung im Kollokationsplan. Mit Entscheid vom 22. November 2006 hiess das Kreisgericht die Klage teilweise gut und liess die von der Z._ GmbH eingegebene und anerkannte Forderung von Fr. 175'228.85 im Umfang von Fr. 138'750.80 nicht zu, so dass die Forderung im Kollokationsplan mit Fr. 36'478.05 zuzulassen ist.
B. Gegen das Urteil des Kreisgerichts erhob die Z._ GmbH Berufung. Mit Entscheid vom 29. Oktober 2007 hob das Kantonsgericht St. Gallen (III. Kammer) in Gutheissung der Berufung den erstinstanzlichen Entscheid auf und trat auf die Kollokationsklage von X._ infolge Klageverspätung nicht ein.
C. X._ (Beschwerdeführer) erhebt mit Eingabe vom 3. Dezember 2007 (Postaufgabe) Beschwerde in Zivilsachen, eventualiter subsidiäre Verfassungsbeschwerde. Er beantragt dem Bundesgericht, es sei der angefochtene Entscheid aufzuheben und es sei auf die kantonale Berufung der Z._ GmbH (Beschwerdegegnerin) nicht einzutreten und das Urteil des Kreisgerichts nicht aufzuheben (Hauptbegehren). Eventualiter sei die Vorinstanz anzuweisen, auf seine Klage einzutreten und über die kantonale Berufung der Beschwerdegegnerin neu zu entscheiden.
Es sind keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 133 III 439 E. 2 S. 441).
2. 2.1 Angefochten ist ein Entscheid der letzten kantonalen Instanz (Art. 75 Abs. 1 BGG) über Ansprüche des Bundeszivilrechts betreffende Kollokationsklage im Konkurs, welcher der Beschwerde in Zivilsachen unterliegt (Art. 72 Abs. 2 lit. a BGG).
2.2 Zur Beschwerde in Zivilsachen ist gemäss Art. 76 Abs. 1 BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b). Das anzufechtende Urteil muss die Rechtsstellung des Beschwerdeführers beeinträchtigen (materielle Beschwer), d.h. für ihn rechtlich nachteilige Wirkungen zeitigen und er deshalb an einer Abänderung interessiert ist (BGE 120 II 5 E. 2a S. 7; vgl. Messmer/Imboden, Die eidgenössischen Rechtsmittel in Zivilsachen, Zürich 1992, Ziff. 42 f.).
2.3 Vorliegend ist nach den Angaben des Konkursamtes keine Konkursdividende zu erwarten. Wenn die mutmasslich auf eine strittige Forderung entfallende Konkursdividende null Prozent beträgt, kann mit der Kollokationsklage im laufenden Konkurs kein geldwerter Prozessgewinn erzielt werden. Daher stellt sich vor allem im Konkurs juristischer Personen die Frage nach dem erforderlichen rechtlich geschützten Interesse des Klägers an der Behandlung der Kollokationsklage (vgl. Brunner/Reutter, Kollokations- und Widerspruchsklagen nach SchKG, 2. Aufl., Bern 2002, S. 47; Hierholzer, in: Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, N. 54 a.E. zu Art. 250; Stöckli, Komplizierter Streit, IWIR 1998, S. 148; Bauer, in: Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, Ergänzungsband, N. 31 zu Art. 250; Braconi, La collocation des créances en droit international suisse de la faillite, Diss. Zürich 2005, S. 130 und Fn 100).
2.3.1 Die Beschwerdegegnerin als kollozierte Mitgläubigerin hat offenbar die Absicht, gestützt auf eine bereits verfügte Abtretung gemäss Art. 260 SchKG gegen den Beschwerdeführer (als früheren Verwaltungsrat der Gemeinschuldnerin) aktienrechtliche Verantwortlichkeitsansprüche in mehrfacher Millionenhöhe einzuklagen. Dazu muss die Beschwerdegegnerin als Abtretungsgläubigerin aber Konkursgläubigerin sein und bleiben (BGE 109 III 27 E. 1a S. 29). Nach Verzicht der Geltendmachung der Ansprüche durch die Konkursverwaltung ist nur ein kollozierter Gläubiger zur aktienrechtlichen Verantwortlichkeitsklage befugt (Art. 757 Abs. 2 OR; vgl. BGE 122 III 195 E. 9b S. 202). Der Beschwerdeführer hat im kantonalen Verfahren sein Interesse an der Kollokationsklage und an der Wegweisung der Beschwerdegegnerin aus dem Kollokationsplan bzw. aus der Gläubigerstellung damit begründet, die Geltendmachung von aktienrechtlichen Verantwortlichkeitsansprüchen zu verhindern. Ob dieses ausserhalb eines unmittelbaren Prozesserfolgs liegende Interesse des Beschwerdeführers an der Kollokationsklage vorliegend schutzwürdig ist, braucht - wie sich aus dem Folgenden ergibt - nicht abschliessend beurteilt zu werden.
2.3.2 In seinem Hauptbegehren verlangt der Beschwerdeführer, dass auf die kantonale Berufung der Beschwerdegegnerin nicht einzutreten und das Urteil des Kreisgerichts nicht aufzuheben sei. Das Kreisgericht hat allerdings die Klage des Beschwerdeführers nur teilweise gutgeheissen. Soweit seine Klage abgewiesen wurde, blieb die umstrittene Forderung kolloziert. Damit wurde die Beschwerdegegnerin als Konkursgläubigerin anerkannt und kann sie Verantwortlichkeitsansprüche geltend machen. Dies hat der Beschwerdeführer akzeptiert, denn er hat das Urteil des Kreisgerichts mit kantonaler Berufung nicht angefochten. Das auf Berufung der Beschwerdegegnerin hin ergangene Urteil des Kantonsgerichts hat indessen in Bezug auf das rechtliche Interesse des Beschwerdeführers nichts geändert und für ihn keine weiteren, rechtlich nachteiligen Wirkungen. Mit dem Nichteintreten auf die Kollokationsklage wegen Verspätung verbleibt die Beschwerdegegnerin in Bezug auf die umstrittene Forderung gleichfalls (und zwar wie ursprünglich) kolloziert und kann sie die Verantwortlichkeitsansprüche geltend machen. Es ist nicht ersichtlich, inwiefern der angefochtene Entscheid die Rechtsstellung des Beschwerdeführers zusätzlich beeinträchtigt und welches Interesse der Beschwerdeführer an der verlangten Aufhebung des angefochtenen Entscheides hat.
2.3.3 Nichts anderes ergibt sich mit Blick auf das Eventualbegehren des Beschwerdeführers, wonach die Vorinstanz anzuweisen sei, auf seine Klage einzutreten und über die kantonale Berufung der Beschwerdegegnerin neu zu entscheiden. Das Eintreten auf die Klage und die Behandlung der Berufung der Beschwerdegegnerin kann - im Falle der Abweisung der Berufung oder bei einem Nichteintreten auf die Berufung durch das Kantonsgericht - nur zum Ergebnis haben, dass die Beschwerdegegnerin in Bezug auf die umstrittene Forderung (entsprechend dem erstinstanzlichen, vom Beschwerdeführer nicht angefochtenen Urteil) kolloziert bleibt und die Verantwortlichkeitsansprüche geltend machen kann. Auch insoweit fehlt es an einem Interesse des Beschwerdeführers an der verlangten Aufhebung des angefochtenen Entscheides.
2.4 Aus Sicht der Konkursmasse Y._ AG ergibt sich kein anderes Bild. Das Bundesgericht hat wohl anerkannt, dass die Führung einer Kollokationsklage ohne persönliches Interesse des klagenden Gläubigers denkbar ist, solange nur ein Interesse der Masse an der Klage besteht (BGE 115 III 68 E. 3 S. 71, betreffend die Wegweisungsklage eines bereits vollständig befriedigten Gläubigers).
Mit dem angefochtenen Urteil wird die Beschwerdegegnerin mit Bezug auf die angefochtene Forderung nicht mit Fr. 36'478.05 (Urteil des Kreisgerichts), sondern mit Fr. 175'228.85 kolloziert. Wenn die Beschwerdegegnerin entsprechend ihrer Ankündigung vorgeht und tatsächlich die ihr gemäss Art. 260 SchKG abgetretenen Verantwortlichkeitsansprüche in mehrfacher Millionenhöhe mit Erfolg einklagt, ist dies im Interesse der Masse, denn im vorliegenden Konkurs geht die Konkursverwaltung von einer Dividende von null Prozent aus. Dass der Verwertungserlös in erster Linie dem das Risiko der Prozessführung übernehmenden Konkursgläubiger zukommt, ist die Besonderheit der Verwertungsart nach Art. 260 SchKG (BGE 113 III 20 E. 3 S. 22). Die Masse hingegen kann möglicherweise vom Überschuss profitieren und sämtliche Gläubiger befriedigen (vgl. Art. 260 Abs. 2 SchKG). Es ist nicht ersichtlich, welches Interesse die Konkursmasse an der Aufhebung des angefochtenen Entscheides haben soll. Auch vor diesem Hintergrund lässt sich nicht erkennen, inwiefern das angefochtene Urteil rechtlich nachteilige Wirkungen zeitigen soll.
2.5 Nach dem Dargelegten fehlt es an rechtlich nachteiligen Wirkungen (einer materiellen Beschwer) durch den angefochtenen Entscheid, auf die sich der Beschwerdeführer berufen könnte, und damit an einer Voraussetzung, um auf die Beschwerde in Zivilsachen einzutreten (Art. 76 Abs. 1 lit. b BGG). Ebenso wenig ist der Beschwerdeführer zur Verfassungsbeschwerde berechtigt, welche in gleicher Weise eine - hier nicht gegebene - Beeinträchtigung in der Rechtsstellung und damit ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheides voraussetzt (Art. 115 lit. b BGG). Eine Verletzung von verfassungsmässigen Verfahrensrechten, welche unabhängig von einer materiellen Beschwer, sondern allein aufgrund der Parteistellung im kantonalen Verfahren zur Begründung des Beschwerderechts genügen würde, macht der Beschwerdeführer nicht geltend. Die Rüge einer Verletzung der Begründungspflicht (Art. 29 Abs. 2 BV), weil das Kantonsgericht trotz seiner Vorbringen das Interesse der Beschwerdegegnerin an einer höher kollozierten Forderung nicht begründet habe, ist vor dem Hintergrund der vorinstanzlichen Erwägungen nicht hinreichend substantiiert (vgl. Art. 106 Abs. 2, Art. 116 BGG).
3. Aus diesen Gründen kann auf die Beschwerde in Zivilsachen und die eventuell erhobene Verfassungsbeschwerde nicht eingetreten werden. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zu sprechen, da keine Beschwerdeantwort eingeholt wurde und der Beschwerdegegnerin keine Kosten entstanden sind.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen und die Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 24. April 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Levante