Sachverhalt:
A. X._ (Ehemann, geb. 1955) und Y._ (Ehefrau, geb. 1960) heirateten am 26. August 1983. Aus der Ehe ging die gemeinsame Tochter A._ (geb. 1991) hervor. Im September 1999 bzw. August 2001 bewilligte das Bezirksgericht Muri den Ehegatten auf Antrag von Y._ das Getrenntleben und traf die entsprechenden Regelungen. Am 3. Dezember 2007 machte die Ehefrau die Klage auf Scheidung beim Kantonsgericht Zug anhängig. Mit Urteil vom 26. Januar 2011 des Kantonsgerichts Zug wurde die Ehe geschieden und wurden die Nebenfolgen geregelt. Dabei wurde u.a. Y._ verpflichtet, X._ in Abgeltung seiner güterrechtlichen Ansprüche den Betrag von Fr. 32'266.40 zu bezahlen.
Zur Ermittlung der güterrechtlichen Ansprüche rechnete das Kantonsgericht der Errungenschaft von X._ den Betrag von Fr. 116'000.-- hinzu, den er an B._ geleistet hatte. B._ ist die Mutter von C._ (geb. 2000), den X._ am 5. April 2005 als sein Kind anerkannte.
B. Gegen das Urteil gelangte X._ mit Berufung an das Obergericht des Kantons Zug und verlangte u.a., dass Y._ ihm aus Güterrecht Fr. 92'292.40 zu bezahlen habe. Zur Begründung führte er an, dass bei seiner Errungenschaft zu Unrecht der Betrag von Fr. 116'000.-- als "unentgeltliche Zuwendung" (im Sinne von <ref-law>) hinzugerechnet worden sei. Das Obergericht hiess die Berufung mit Urteil vom 28. Februar 2012 teilweise gut und verpflichtete Y._, X._ in Abgeltung güterrechtlicher Ansprüche den Betrag von Fr. 34'292.40 zu bezahlen. Im Übrigen wurde das erstinstanzliche Urteil (mit der erwähnten Hinzurechnung) bestätigt.
C. Mit Eingabe vom 22. März 2012 hat X._ Beschwerde in Zivilsachen erhoben. Der Beschwerdeführer verlangt die Aufhebung des Urteils des Obergerichts des Kantons Zug vom 28. Februar 2012 und die Rückweisung der Sache an die Vorinstanz zur neuen Entscheidung.
Y._ (Beschwerdegegnerin) beantragt die Abweisung der Beschwerde. Das Obergericht schliesst ohne weitere Gegenbemerkungen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Angefochten ist ein Entscheid über die Nebenfolgen der Scheidung, welcher nach <ref-law> der Beschwerde in Zivilsachen unterliegt. Der letztinstanzliche kantonale Rechtsmittelentscheid schliesst das Verfahren ab (Art. 75, Art. 90 BGG; <ref-ruling> E. 1.3 S. 156). Der angefochtene Entscheid hat einzig die güterrechtlichen Nebenfolgen zum Gegenstand, sodass eine vermögensrechtliche Angelegenheit vorliegt (Urteil 5A_659/2011 vom 5. April 2012 E. 1.1).
1.2 Aus der Beschwerdebegründung geht hervor, dass der Beschwerdeführer in der Sache verlangt, die Beschwerdegegnerin habe ihm aus Güterrecht insgesamt Fr. 92'292.40 (Fr. 34'292.40 + Fr. 58'000.--) zu bezahlen. Damit enthält die Beschwerdeschrift ein Rechtsbegehren gemäss <ref-law>, welches dem reformatorischen Charakter der Beschwerde in Zivilsachen genügt (vgl. <ref-law>; <ref-ruling> E. 3.1). Die erforderliche Streitwertgrenze ist erreicht (<ref-law>). Die fristgemäss (<ref-law>) erhobene Beschwerde in Zivilsachen ist grundsätzlich zulässig. Mit vorliegender Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>).
1.3 In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Das Bundesgericht ist an den vorinstanzlich festgestellten Sachverhalt gebunden (<ref-law>).
2. Das Obergericht hat geprüft, ob die Geldzahlungen, welche der Beschwerdeführer an die Mutter seines nichtehelichen Sohnes geleistet hatte, als unentgeltliche Zuwendungen zu seiner Errungenschaft hinzuzurechnen sind. Es hat erwogen, dass es sich bei den Zahlungen - anders als bei den Unterhaltsbeiträgen an das Kind - nicht um die Erfüllung einer gesetzliche Pflicht handle. Ebenso wenig läge die Verletzung einer sittlichen Pflicht vor, wenn der Beschwerdeführer keine Zahlungen geleistet hätte. Das Obergericht hat gefolgert, dass es sich bei den Geldzahlungen um eine unentgeltliche Zuwendung im Sinne von <ref-law> handle, welche der Hinzurechnung unterliegt.
3. Anlass zur vorliegenden Beschwerde gibt die güterrechtliche Auseinandersetzung zwischen den Parteien, welche dem ordentlichen Güterstand der Errungenschaftsbeteiligung unterstanden. Es steht fest, dass der Beschwerdeführer (neben dem Kindesunterhalt) von Juli 2005 bis November 2007 monatliche Zahlungen von Fr. 4'000.-- an B._, die Mutter des von ihm anerkannten Kindes geleistet hat. Einziger Streitpunkt ist die Hinzurechnung von insgesamt Fr. 116'000.-- zur Errungenschaft des Beschwerdeführers, welche das Obergericht im Umfang der Geldzahlungen an die Mutter seines nichtehelichen Kindes vorgenommen hat.
3.1 Der Beschwerdeführer macht geltend, die Geldzahlungen seien entgegen der Auffassung des Obergerichts keine "unentgeltlichen Zuwendungen" im Sinne von <ref-law>, weshalb die Hinzurechnung zu seiner Errungenschaft eine Rechtsverletzung darstelle. Sein überschüssiges Einkommen könne er rechtmässig verbrauchen, was er im Interesse seines nichtehelichen Kindes getan habe, indem er diesem durch die Geldzahlungen an die Mutter eine gute mütterliche Fürsorge und Betreuung sichergestellt habe. Die Zahlungen an die Mutter des Kindes habe er gestützt auf eine verantwortungsvolle, soziale Entscheidung als sittliche Pflicht erfüllt.
3.2 Gemäss <ref-law> werden zur Errungenschaft hinzugerechnet: die unentgeltlichen Zuwendungen, die ein Ehegatte während der letzten fünf Jahre vor Auflösung des Güterstandes ohne Zustimmung des anderen Ehegatten gemacht hat, ausgenommen die üblichen Gelegenheitsgeschenke (Ziff. 1), sowie Vermögensentäusserungen, die ein Ehegatte während der Dauer des Güterstandes vorgenommen hat, um den Beteiligungsanspruch des andern zu schmälern (Ziff. 2). Zweck der Bestimmung ist, die Anwartschaft des Ehegatten auf Beteiligung am Vorschlag des anderen zu schützen (HAUSHEER/REUSSER/GEISER, Berner Kommentar, 1992, N. 5 zu <ref-law>). Der Beschwerdeführer hält demgegenüber im Wesentlichen fest, dass er nicht verpflichtet gewesen sei, Errungenschaft zu bilden, zumal er seine Pflicht, Unterhalt an die Ehefrau und das gemeinsame Kind zu leisten, nicht verletzt habe und daher in guten Treuen auf das Einverständnis der Beschwerdegegnerin zu den Geldzahlungen habe schliessen dürfen. Damit und mit seinem Vorbringen, die Geltendmachung des Hinzurechnungsanspruchs komme einer "doppelten Alimentierung" der Beschwerdegegnerin gleich und sei rechtsmissbräuchlich, geht er fehl. Der Beschwerdeführer verkennt, dass die grundsätzliche Dispositionsfreiheit der Ehegatten gemäss <ref-law> nur innerhalb der gesetzlichen Schranken gilt (<ref-ruling> E. 4b S. 30 f.) und das Gesetz gewisse illoyale Vermögensverminderungen sanktioniert (HUWILER, Beiträge zur Dogmatik des neuen ordentlichen Güterstandes der Errungenschaftsbeteiligung, in: Das neue Ehe- und Erbrecht [...], 1988, S. 98). Das Obergericht hat verneint, dass eine Vermögensentäusserung mit Schmälerungsabsicht im Sinne von Ziff. 2 von <ref-law> vorliege. In Frage kommt daher nur eine Hinzurechnung gemäss Ziff. 1.
3.3 Unter einer unentgeltlichen Zuwendung (libéralité, liberalità) im Sinne von <ref-law> sind alle Arten von Vermögensentäusserungen ohne Gegenleistung zu verstehen, welche die Errungenschaft vermindert oder deren Zunahme verhindert haben (STEINAUER, in: Commentaire romand, Code civil I, 2010, N. 11 zu <ref-law>; vgl. Botschaft über die Änderung des ZGB [Wirkungen der Ehe im allgemeinen, Ehegüterrecht und Erbrecht] vom 11. Juli 1979, BBl. 1979 II 1191 Ziff. 222.532, S. 1317; Urteil 5C.111/2002 vom 26. August 2002 E. 2.1.3, in: FamPra.ch 2003 S. 388). Das Obergericht hat die Geldzahlungen des Beschwerdeführers als unentgeltliche Zuwendung erfasst und die Erfüllung einer sittlichen Pflicht verneint.
3.3.1 Laut der Botschaft (a.a.O.) fallen unter die unentgeltlichen Zuwendungen auch "Leistungen aufgrund einer moralischen Verpflichtung". Nach der Lehre soll der Begriff "unentgeltliche Zuwendungen" möglichst gleich wie in <ref-law> ausgelegt werden (HAUSHEER/REUSSER/GEISER, a.a.O., N. 20 zu <ref-law>; DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 2. Aufl. 2009, Rz. 1319, S. 604). Die Erfüllung einer sittlichen Pflicht unterliegt nach der Rechtsprechung der Herabsetzung gestützt auf <ref-law> (<ref-ruling> E. 4a und b S. 245; <ref-ruling> E. 4c S. 325 f.), weshalb die analoge Anwendung auf <ref-law> befürwortet wird (DESCHENAUX/STEINAUER/ BADDELEY, a.a.O., Rz. 1320 und Fn. 38, S. 604). Nach einem Teil der Lehre vermag eine bloss systematische Überlegung nicht zu begründen, warum das Recht eines Ehegatten beschränkt werden soll, eine sittliche Verpflichtung zu erfüllen. Eine Handlung soll demnach von der Herabsetzung ausgenommen werden, wenn ihr Unterlassen als unsittlich angesehen werden müsste, nicht jedoch, wenn die Vornahme moralisch bloss vertretbar erscheine (HAUSHEER/REUSSER/GEISER, a.a.O., N. 22 a.E. zu <ref-law>). Inwieweit allgemein die Erfüllung einer sittlichen Pflicht von <ref-law> erfasst ist, kann mit Blick auf die konkret in Frage stehenden Zahlungen des Beschwerdeführers - wie sich aus dem Folgenden ergibt - offengelassen werden.
3.3.2 Das Gesetz gewährt der Mutter eines nichtehelichen Kindes lediglich einen Anspruch für die "Kosten des Unterhalts" für eine beschränkte Zeit vor und nach der Geburt (<ref-law>), welcher als eine Art Entschädigung verstanden wird (BREITSCHMID, in: Basler Kommentar, Zivilgesetzbuch I, 4. Aufl, 2011, N. 1 zu <ref-law>; MEIER/STETTLER, Droit de filiation, 4. Aufl. 2009, Rz. 1111, S. 640 f. mit Hinweisen). Der Anspruch gemäss <ref-law> bedeutet jedoch keinen Anspruch auf Unterhalt für die Betreuung, welcher de lege lata nicht besteht (im Gegensatz zum deutschen Recht, vgl. § 1651l Abs. 2 BGB; vgl. RUMO/JUNGO, Betreuungsunterhalt bei getrennt lebenden nicht verheirateten Eltern - ein Denkanstoss, recht 2008, S. 31 ff.). Der Bundesrat hat auch kürzlich keinen hinreichenden Grund gesehen, um einen statusunabhängigen Betreuungsunterhalt vorzuschlagen (Botschaft zur Änderung des ZGB [Elterliche Sorge] vom 16. November 2011, BBl. 2011 9077, Ziff. 1.5.5.2, S. 9096). Der Anspruch auf Betreuungsunterhalt kann sich jedoch auf einen Vertrag mit dem Vater stützen (MEIER/STETTLER, a.a.O.). Vereinbarungen ausserhalb der gesetzlichen Unterhaltspflicht erscheinen grundsätzlich als Schenkungsversprechen (<ref-law>) oder als Versprechen der Erfüllung einer sittlichen Pflicht (vgl. HAUSHEER/SPYCHER, in: Handbuch des Unterhaltsrechts, 2. Aufl. 2010, Rz. 06.201, S. 473; HEGNAUER, Grundriss des Kindesrechts, 5. Auf. 1999, Rz. 21.24, S. 162).
3.3.3 Der Beschwerdeführer und B._ haben offenbar am 27. Juni 2005 eine schriftliche Vereinbarung betreffend Unterhalt getroffen. Darin kann jedoch nicht das Versprechen der Erfüllung einer sittlichen Pflicht erblickt werden. Zu Recht hat das Obergericht erwogen, dass dem Beschwerdeführer kein unsittliches Verhalten vorzuwerfen gewesen wäre, wenn er keine Zahlungen an B._ für die Betreuung des über 5-jährigen Kindes geleistet hätte, während er gleichzeitig mit der Beschwerdegegnerin im ordentlichen Güterstand lebte. Dass der Beschwerdeführer aufgrund der tatsächlichen konkreten Erziehungslasten (vgl. <ref-ruling> E. 4.2.2.2 S. 109, betreffend Nachscheidungssituation) oder aufgrund eines Konkubinatsverhältnisses (vgl. Urteil der Cour de Cassation Civile/NE vom 25. April 1979 E. 3, RJN 1979 S. 269) sittlich verpflichtet gewesen wäre, B._ zu unterstützen, lässt sich dem angefochtenen Urteil nicht entnehmen bzw. hat die Vorinstanz verneint, was nicht in Frage gestellt wird. Insoweit ist nicht zu beanstanden, wenn das Obergericht zum Schluss gelangt ist, dass die Geldzahlungen des Beschwerdeführers an die Mutter seines nichtehelichen Kindes als "Zuwendung" gemäss <ref-law> gelten.
3.4 Was der Beschwerdeführer weiter vorbringt, vermag an diesem Ergebnis nichts zu ändern. Entgegen seiner Darstellung konnte er nicht ein Einverständnis der Beschwerdegegnerin zu den erwähnten Geldzahlungen annehmen. Aus dem angefochtenen Urteil gehen in tatsächlicher Hinsicht keine Anhaltspunkte hervor, welche auf das Vorliegen einer sich aus den Umständen ergebenden Zustimmung der Beschwerdegegnerin schliessen lassen (vgl. HAUSHEER/REUSSER/GEISER, a.a.O., N. 33 zu <ref-law>). Die Geldzahlungen des Beschwerdeführers fallen sodann unbestrittenermassen nicht unter "übliche Gelegenheitsgeschenke", und sie wurden innerhalb der letzten fünf Jahre vor dem 3. Dezember 2007 (Einreichung des Scheidungsbegehrens), d.h. dem für die Auflösung der Güterstandes massgebenden Zeitpunktes (<ref-law>) vorgenommen. Wenn das Obergericht die Geldzahlungen im Umfang von Fr. 116'000.-- an B._ gestützt auf <ref-law> zur Errungenschaft des Beschwerdeführers hinzugerechnet hat, stellt dies keine Verletzung von Bundesrecht dar. Somit bleibt es bei der im angefochtenen Urteil angeordneten güterrechtlichen Nebenfolge.
4. Aus diesen Gründen ist der Beschwerde in Zivilsachen kein Erfolg beschieden. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1, Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 3'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, I. Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 28. September 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante