Sachverhalt:
A. X._ (geb. 1958) und Y._ (geb. 1958) heirateten am 23. September 1983. Ihre gemeinsamen Kinder A._ (geb. 1985), B._ (geb. 1986) und C._ (geb. 1988) sind volljährig.
B. Am 23. Juni 2010 reichten die Parteien ein gemeinsames Scheidungsbegehren ein. Das Scheidungsurteil des Kreisgerichts D._ erging am 13. September 2011. Mit Bezug auf den vorliegend umstrittenen nachehelichen Unterhalt verpflichtete das Gericht X._, Y._ folgende Unterhaltsbeiträge zu bezahlen: Fr. 4'500.-- ab Rechtskraft des Scheidungsurteils bis 31. Dezember 2012, Fr. 3'500.-- ab 1. Januar 2013 bis 31. Dezember 2014 sowie Fr. 2'500.-- ab 1. Januar 2015 bis 31. Dezember 2023.
C. Auf Berufung von Y._ hin erhöhte das Kantonsgericht St. Gallen in seinem Urteil vom 19. Dezember 2012 in teilweiser Gutheissung der Berufung die geschuldeten Unterhaltsbeiträge auf Fr. 4'660.-- (ab Rechtskraft des Urteils) bis 31. Dezember 2014 und auf Fr. 3'960.-- ab 1. Januar 2015 bis zur ordentlichen Pensionierung von X._.
D. X._ (Beschwerdeführer) hat gegen dieses Urteil mit Eingabe vom 1. Februar 2013 Beschwerde an das Bundesgericht erhoben. Er beantragt, der nacheheliche Unterhalt sei in Bestätigung des erstinstanzlichen Urteils auf Fr. 3'500.-- ab Rechtskraft des Urteils bis 31. Dezember 2014 resp. auf Fr. 2'500.-- ab 1. Januar 2015 bis 31. Dezember 2023 zu reduzieren, alles unter Kosten- und Entschädigungsfolgen zulasten von Y._ (Beschwerdegegnerin).
Das Bundesgericht hat die Akten, in der Sache selbst aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Folgen eines kantonal letztinstanzlichen Ehescheidungsurteils (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1, Art. 90 BGG). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde berechtigt. Die Beschwerdefrist (<ref-law>) ist ebenfalls eingehalten, womit die Beschwerde in Zivilsachen grundsätzlich zulässig ist.
1.2 In rechtlicher Hinsicht sind bei der Beschwerde in Zivilsachen alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (<ref-law>). Allerdings ist in der Beschwerdeschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>; <ref-ruling> E. 1.4.1 S. 254).
Dabei ist das Bundesgericht grundsätzlich an den von der Vorinstanz festgestellten Sachverhalt gebunden (<ref-law>). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (<ref-law>) oder er beruhe auf einer anderen Rechtsverletzung im Sinne von <ref-law>. Hierfür gilt das strenge Rügeprinzip (<ref-law>; <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 2.2 S. 246).
Soweit die Festsetzung von Unterhalt in Frage steht, ist zu beachten, dass der Sachrichter in verschiedener Hinsicht auf sein Ermessen verwiesen ist (<ref-law>; <ref-ruling> E. 3a S. 141). Bei der Überprüfung solcher Entscheide übt das Bundesgericht eine gewisse Zurückhaltung. Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat (<ref-ruling> E. 2c/aa S. 162; <ref-ruling> E. 1 S. 99).
In der Beschwerde in Zivilsachen dürfen überdies keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (<ref-ruling> E. 3 S. 395).
2. Die Vorinstanz ging für die Berechnung des Unterhaltsbeitrages von den nachfolgend dargestellten finanziellen Verhältnissen der Parteien aus.
2.1 Der Beschwerdeführer betreibt zusammen mit seinem Bruder eine als Kollektivgesellschaft geführte Gärtnerei, die vom Vater übernommen wurde. Das mit dieser selbständigen Erwerbstätigkeit erwirtschaftete monatliche Einkommen bezifferte die Vorinstanz entsprechend dem Durchschnitt der Jahre 2008 bis 2010 auf rund Fr. 11'000.--. Vom Beschwerdeführer zusätzlich erzielte Vermögenserträge aus Liegenschaften wurden diesem nicht als Einkommen angerechnet.
Den Bedarf des Beschwerdeführers setzte die Vorinstanz auf Fr. 5'315.-- fest (Grundbetrag Fr. 1'100.--, Wohnung abzügl. Anteil der Lebenspartnerin Fr. 1'790.--, Krankenkasse inkl. VVG Fr. 326.--, Versicherungen Fr. 50.--, Altersvorsorge Fr. 1'400.--, Steuern Fr. 650.--), was dieser nicht beanstandet.
2.2 Die Beschwerdegegnerin ist gemäss den Feststellungen der Vorinstanz gelernte Coiffeuse und arbeitete vor der Ehe als Datatypistin, widmete sich während der Ehe dann aber Kindern und Haushalt. Im Jahr 2011 habe sie eine Ausbildung als Pflegehelferin SRK begonnen und sie habe von Oktober 2011 bis Januar 2012 teilzeitlich in einem Altersheim arbeiten können. Ab dem voraussichtlichen Abschluss der Ausbildung Ende 2012 rechnete ihr die Vorinstanz ein hypothetisches Einkommen von Fr. 1'000.-- (20-30% Pensum) an sowie Fr. 2'000.-- ab 1. Januar 2015 (50-60% Pensum).
Den Bedarf der Beschwerdeführerin setzte die Vorinstanz auf Fr. 4'630.-- (Grundbetrag Fr. 1'230.--, Wohnung Fr. 1'468.--, Krankenkasse Fr. 306.--, Versicherungen Fr. 50.--, Berufsauslagen Fr. 40.--, Altersvorsorge Fr. 1'000.--, Steuern Fr. 535.--) fest resp. ab 1. Januar 2015 auf Fr. 4'240.-- (neu: Berufsauslagen Fr. 100.--, Altersvorsorge Fr. 550.--).
2.3 Das Kantonsgericht St. Gallen ermittelte vor diesem Hintergrund den angemessenen Unterhaltsbetrag, indem es den beidseitigen Bedarf der Parteien dem Gesamteinkommen gegenüberstellte und eine (hälftige) Überschussteilung vornahm. Dies führte zum strittigen Unterhaltsbeitrag von Fr. 4'660.-- ab 1. Januar 2013 resp. Fr. 3'960.-- ab 1. Januar 2015 bis zur ordentlichen Pensionierung des Ehemanns.
3. Der Beschwerdeführer rügt, die Vorinstanz habe <ref-law> verletzt. Die über weite Teile unstrukturierten Ausführungen des Beschwerdeführers können dem Sinn nach in drei unabhängig voneinander zu prüfende Rügen aufgegliedert werden (nachfolgend E. 3.1 bis E. 3.3).
3.1 Der Beschwerdeführer beanstandet, die Vorinstanz sei zu Unrecht davon ausgegangen, dass sein Einkommen weiterhin auf dem heutigen Niveau, d.h. bei Fr. 11'000.-- bleiben könne. Es sei bekannt, dass bei selbständig Erwerbenden das Einkommen mit zunehmendem Alter resp. nachlassenden Kräften abnehme. Es könne nicht sein, dass er trotz erlittenem Herzinfarkt weiterhin diesen Lohn erarbeiten müsse.
Aus den Sachverhaltsfeststellungen der Vorinstanz ergeben sich keine Hinweise darauf, dass es dem Beschwerdeführer nicht möglich wäre, sein gegenwärtiges Einkommensniveau bis zum Eintritt in das AHV-Alter zu halten. Namentlich erwähnt die Vorinstanz keine gesundheitlichen Beschwerden der Beschwerdeführers. Bei den Einwendungen des Beschwerdeführers handelt es sich somit um neue Vorbringen, zumal er nicht behauptet, dass er seine Gesundheit bereits im kantonalen Verfahren zum Thema gemacht hätte und sich die Vorinstanz in willkürlicher bzw. gehörsverletzender Weise nicht damit befasst hätte. Die neue Tatsachenbehauptung ist damit unzulässig (<ref-law>; vgl. vorstehend E. 1.2).
3.2 Weiter kritisiert der Beschwerdeführer, dass der Beschwerdegegnerin "nur" ein hypothetisches Einkommen von Fr. 1'000.-- resp. ab 1. Januar 2015 von Fr. 2'000.-- angerechnet wurde. Die Beschwerdegegnerin sei zu verpflichten, mehr zu arbeiten als die diesen Zahlen zu Grunde liegenden Teilzeitpensen, dies schon deshalb, weil bei ihr die Pflicht zur Betreuung des gemeinsamen Haushalts wegfalle, sie also wie er selbst zu 100% erwerbstätig sein könne.
Wie der Beschwerdeführer richtig festhält, gilt der Grundsatz, dass nach einer Ehescheidung jeder Ehegatte - soweit immer möglich - für seinen Unterhalt selbst zu sorgen hat (Ausschöpfung der sog. Eigenversorgungskapazität). Ein Unterhaltsbeitrag ist dann gerechtfertigt, wenn der eine Ehegatte seine durch die Ehe allenfalls beeinträchtigte wirtschaftliche Selbständigkeit nicht erreichen kann und der andere Teil genügend leistungsfähig ist, um die Differenz zwischen der (ungenügenden) Eigenversorgungskapazität und dem gebührenden Unterhalt zu decken (<ref-ruling> E. 4.2.3.1 S. 111; <ref-ruling> E. 9.1 S. 600 mit Hinweisen).
Die Vorinstanz hat es für zumutbar erachtet, dass die Beschwerdegegnerin zur Ausschöpfung ihrer Eigenversorgungskapazität ab sofort eine Erwerbstätigkeit zu 20-30% aufnimmt und hat ihr in diesem Umfang ein hypothetisches Einkommen angerechnet. Nach einer Dauer von zwei Jahren sah sie eine Erhöhung des Pensums auf 50-60% vor.
Die Ehe der Parteien war von einer klassischen Rollenteilung geprägt, indem der Ehemann einer Erwerbstätigkeit nachging und die Ehefrau für die Kinder und den Haushalt sorgte. Sodann ist zu berücksichtigen, dass die Ehe über 20 Jahre dauerte und die Beschwerdegegnerin heute 54 Jahre alt ist. Sie wird zudem eine Tätigkeit in einem Arbeitsumfeld aufnehmen müssen, in welchem sie nicht über einschlägige Berufserfahrung verfügt. Angesichts dieser konkreten Situation der Parteien liegt die getroffene Teilzeitlösung im Rahmen des Ermessens (vgl. E. 1.2) der Vorinstanz und ist nicht zu beanstanden.
3.3 Schliesslich rügt der Beschwerdeführer, dass der Beschwerdegegnerin zu Unrecht mehr Unterhalt zugesprochen worden sei, als sie für die Deckung ihres Unterhalts benötige. Für den Zeitraum ab Rechtskraft des Scheidungsurteils bis 31. Dezember 2014 beispielsweise habe die Vorinstanz deren Unterhalt auf Fr. 4'630.-- inkl. einer Altersvorsorge von Fr. 1'000.-- festgelegt, er müsse ihr indes Fr. 4'660.-- bezahlen. Faktisch sei es der Beschwerdegegnerin freigestellt, ob sie noch etwas arbeiten oder weiterhin von seinem Geld leben wolle.
Da es sich vorliegend unbestrittenermassen um eine lebensprägende Ehe handelte, durfte die Beschwerdegegnerin auf den Fortbestand der Ehe und die damit zusammenhängende Versorgung bauen (<ref-ruling> E. 4.1 S. 61, E. 8 S. 580 mit Hinweisen; <ref-ruling> E. 3 S. 578 ff.). Die Beschwerdegegnerin hat gemäss der vorzitierten Rechtsprechung daher nicht nur Anspruch auf Deckung ihres (erweiterten) Existenzminimums, sondern auf Sicherung ihres sog. "gebührenden Unterhalts", der sich am zuletzt gelebten ehelichen Standard bestimmt. Der vom Beschwerdeführer angesprochene Betrag von Fr. 4'630.-- stellt indes nur das Existenzminimum der Beschwerdegegnerin dar.
Nach dem Gesagten hat die Vorinstanz bei der Unterhaltsberechnung korrekterweise auf die zuletzt gelebte eheliche Lebenshaltung und nicht auf den vom Beschwerdeführer ins Feld geführten Betrag abgestützt. Dass die Vorinstanz mehr zugesprochen hätte, als für die Fortsetzung der bisherigen Lebenshaltung notwendig gewesen wäre, hat der Beschwerdeführer zurecht nicht behauptet.
3.4 Die Beschwerde ist somit abzuweisen, soweit darauf eingetreten werden kann.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Beschwerdegegnerin ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und der II. Zivilkammer des Kantonsgerichts des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 19. April 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Die Gerichtsschreiberin: Friedli-Bruggmann