Sachverhalt:
A. A.a Mit Urteil vom 25. April 1991 schied das Amtsgericht Thal-Gäu die Ehe zwischen X._ und Z._. Es teilte die elterliche Sorge über die drei gemeinsamen Kinder der Mutter zu und verpflichtete X._ zu indexierten, monatlich im Voraus zahlbaren Unterhaltsbeiträgen für die drei Kinder von je Fr. 300.-- (zuzüglich Kinderzulagen).
A.b Nachdem Z._ als gesetzliche Vertreterin der Kinder die Kinderunterhaltsforderungen am 10. Mai 1995 an das Oberamt A._ abgetreten hatte, beschloss das Oberamt A._ am 17. Mai 1995, die Unterhaltsbeiträge für die Kinder ab 1. März 1995 zu bevorschussen.
B. B.a In der vom Kanton Solothurn, vertreten durch das Oberamt A._, gegen X._ eingeleiteten Betreibung Nr. 181536 des Betreibungsamts A._ für eine Forderung von Fr. 15'696.-- nebst Zins zu 5% seit 1. Juni 1996 (bevorschusste Kinderunterhaltsbeiträge für den Zeitraum vom 1. März 1995 bis 30. November 1995 und 1. Januar 1996 bis 30. Juni 1996) stellte das Betreibungsamt am 22. Februar 2012 den Zahlungsbefehl zu. X._ erhob Rechtsvorschlag.
B.b Am 26. März 2012 bezahlte X._ dem Kanton Solothurn Fr. 15'696.--.
B.c Der Kanton Solothurn, vertreten durch das Oberamt A._, ersuchte am 7. Mai 2012 das Richteramt Thal-Gäu um definitive Rechtsöffnung für die Verzugszinsen von 5% seit 1. Juni 1996 auf dem Betrag von Fr. 15'696.-- und für die Kosten des Zahlungsbefehls von Fr. 103.--.
B.d Mit Urteil vom 25. Juni 2012 erteilte das Richteramt die definitive Rechtsöffnung für die Verzugszinsen von 5% seit 1. Juni 1996 bis 26. März 2012 auf dem Betrag von Fr. 15'696.-- und für die Kosten des Zahlungsbefehls von Fr. 103.--.
C. Die von X._ am 2. Juli 2012 gegen das richteramtliche Urteil erhobene Beschwerde wies das Obergericht des Kantons Solothurn mit Urteil vom 2. August 2012 ab.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 6. September 2012, das obergerichtliche Urteil vom 2. August 2012 sei aufzuheben und die definitive Rechtsöffnung nur für die Verzugszinsen von 5% seit 15. Februar 2012 bis 23. März 2012 auf dem Betrag von Fr. 15'696.-- und für die Kosten des Zahlungsbefehls zu erteilen.
Das Bundesgericht hat die Vorakten, hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen den Endentscheid eines oberen Gerichts, das kantonal letztinstanzlich auf Rechtsmittel hin über die definitive Rechtsöffnung und damit in einer Schuldbetreibungs- und Konkurssache entschieden hat (Art. 90, Art. 75 und Art. 72 Abs. 2 lit. a BGG; vgl. zum Ganzen <ref-ruling> E. 1.2 ff. S. 399 f.).
1.2 1.2.1 In vermögensrechtlichen Angelegenheiten ist die Beschwerde nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>). Der Streitwert des angefochtenen Entscheids erreicht diesen Mindestbetrag nicht (<ref-law>; zur Streitwertberechnung, wenn Zinsen als eigenständige Forderung geltend gemacht werden, vgl. <ref-ruling> S. 364).
Es ist zu prüfen, ob ein Ausnahmetatbestand vorliegt. In Betracht fällt hier einzig, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), was der Beschwerdeführer auch geltend macht.
1.2.2 Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung ist restriktiv auszulegen. Der Ausnahmetatbestand erfordert, dass die Frage zu einer erheblichen Rechtsunsicherheit führt und daher dringend einer Klärung durch das Bundesgericht bedarf (<ref-ruling> E. 2.3 S. 236; <ref-ruling> E. 1.1 S. 582 f.). In der Beschwerde ist auszuführen, warum die Voraussetzung einer Rechtsfrage von grundsätzlicher Bedeutung erfüllt ist (<ref-law>).
1.2.3 Der Beschwerdeführer legt dar, für die Praxis sei die Frage von hoher Bedeutung, ab welchem Zeitpunkt für familienrechtliche Unterhaltsbeiträge Verzugszinsen zu bezahlen seien. Nach der in der Lehre vertretenen Meinung als auch der kantonalen Rechtsprechung würden familienrechtliche Unterhaltsbeiträge unter <ref-law> fallen und folglich die Zinspflicht erst vom Tage der Anhebung der Betreibung laufen. Zwar habe das Bundesgericht diese Frage in einem unpublizierten Urteil gegenteilig entschieden (Urteil 6B_509/2009 vom 3. Dezember 2009 E. 2), eine anerkannte bundesgerichtliche Rechtsprechung bestehe aber nicht und die für diese Frage eigentlich zuständige Abteilung des Bundesgerichts habe darüber noch nicht entschieden.
1.2.4 Eine Rechtsfrage von grundsätzlicher Bedeutung liegt nicht vor. Weder besteht eine erhebliche Rechtsunsicherheit noch ein dringlicher Klärungsbedarf. Die Annahme einer Rechtsfrage von grundsätzlicher Bedeutung drängt sich im Übrigen auch nicht auf, weil die aufgeworfene Frage sich auch in Fällen stellen kann, in denen der Streitwert erreicht ist (<ref-ruling> E. 1.2.3 S. 270 f.; Urteile 5A_804/2010 vom 28. März 2011 E. 1; 5A_224/2008 vom 3. Dezember 2008 E. 1.2.2).
1.2.5 Auf die Beschwerde in Zivilsachen ist deshalb nicht einzutreten.
2. 2.1 Die Eingabe ist als Verfassungsbeschwerde entgegenzunehmen, soweit deren Sachurteilsvoraussetzungen erfüllt sind (<ref-ruling> E. 3.1 S. 399), was nachfolgend zu erörtern ist.
2.2 Mit der subsidiären Verfassungsbeschwerde kann die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Für die Verletzung verfassungsmässiger Rechte gilt das Rügeprinzip (Art. 117 i.V.m. <ref-law>). In der Beschwerde muss präzise angegeben werden, welches verfassungsmässige Recht verletzt wurde und substanziiert anhand der Erwägungen des angefochtenen Entscheids dargelegt werden, worin die Verletzung besteht. Das Bundesgericht prüft nur ausdrücklich vorgebrachte, klar und detailliert erhobene sowie, soweit möglich, belegte Rügen (<ref-ruling> E. 2.1 S. 334; <ref-ruling> E. 2.1 S. 143).
2.3 Weder erhebt der Beschwerdeführer ausdrücklich eine Rüge der Verletzung eines verfassungsmässigen Rechts noch ist eine solche Rüge aus der Beschwerdebegründung deutlich ersichtlich. Insbesondere vermögen die Ausführungen des Beschwerdeführers eine Rüge der Willkür in der Rechtsanwendung (zum Begriff vgl. <ref-ruling> E. 4.3 S. 319) nicht zu begründen. Er beschränkt sich vielmehr darauf, eine Verletzung von einfachem Gesetzesrecht geltend zu machen und darauf hinzuweisen, Unterhaltsbeiträge fielen unter <ref-law>, was auch von der Lehre und der konstanten kantonalen Praxis so verstanden werde.
2.4 Erfüllt die Eingabe die Formvorschriften der subsidiären Verfassungsbeschwerde nicht, ist sie nicht als solche entgegenzunehmen.
3. Aus den dargelegten Gründen ist auf die Beschwerde in Zivilsachen nicht einzutreten. Der Beschwerdeführer wird kostenpflichtig (<ref-law>), nicht hingegen entschädigungspflichtig, da dem Beschwerdegegner kein entschädigungspflichtiger Aufwand entstanden ist und der in seinem amtlichen Wirkungskreis obsiegende Kanton in der Regel auch keine Parteientschädigung erhalten würde (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Januar 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Bettler