Sachverhalt:
A. Y._ (geb. 1960) und X._ (geb. 1956) heirateten am 15. September 1989. Der Ehe entsprossen die gemeinsamen Töchter A._ (geb. 1990) und B._ (geboren 1994).
Am 26. April 2007 erfolgte die Trennung.
Nach Durchführung eines Eheschutzverfahrens reichte die Ehefrau am 10. Juni 2009 beim Bezirksgericht Arlesheim die Scheidungsklage ein. Mit Urteil vom 7. Dezember 2010 schied dieses die Ehe. Es verpflichtete den Ehemann, soweit vorliegend relevant, an die Ehefrau ab Rechtskraft des Urteils bis zum 31. Dezember 2011 monatlich im Voraus Fr. 4'500.-- Unterhalt zu leisten und danach bis zum 31. Dezember 2020 Fr. 2'500.-- (jeweils indexiert).
B. Gegen dieses Urteil erklärten beide Ehegatten mit Eingaben vom 15. bzw. 17. Dezember 2010 Appellation. Mit Urteil vom 24. April 2012 wies das Kantonsgericht Basel-Landschaft die Appellation des Ehemannes vollumfänglich ab und hiess diejenige der Ehefrau teilweise gut, indem es den Ehemann verpflichtete, der Ehefrau bis und mit Juni 2012 Fr. 5'000.-- und danach bis zum 31. Dezember 2020 Fr. 4'000.-- zu bezahlen. Im Übrigen bestätigte es das erstinstanzliche Urteil, soweit an der Appellation festgehalten wurde. Dabei ging die Vorinstanz von einem Monatseinkommen des Ehemannes von Fr. 18'000 - Fr. 20'000.-- aus sowie von einem Bedarf von Fr. 14'462.-- (wovon seine Arbeitgeberin ca. Fr. 2'878.75 begleicht). Der Ehefrau rechnete die Vorinstanz ein hypothetisches Einkommen von monatlich Fr. 2'000.-- an bei einem Bedarf von Fr. 6'000.--.
C. Mit Beschwerde in Zivilsachen vom 25. Juni 2012 gelangt X._ (nachfolgend: Beschwerdeführer) an das Bundesgericht und verlangt, das angefochtene Urteil sei dahin gehend abzuändern, dass er der Ehefrau monatlich im Voraus für die Dauer eines Jahres ab Rechtskraft des Scheidungsurteils einen Unterhaltsbeitrag von Fr. 2'500.-- zu bezahlen habe.
Es wurden die Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer vermögensrechtlichen Zivilsache. Der Streitwert übersteigt Fr. 30'000.--. Die Beschwerde in Zivilsachen ist somit im Grundsatz zulässig (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
1.2 Das Bundesgericht wendet das Recht zwar von Amtes wegen an (Art. 106 Abs. 1 BGG; vgl. dazu <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Es prüft indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254 mit Hinweisen). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Dazu ist unerlässlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.).
1.3 Das Bundesgericht ist an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 ZGB; <ref-ruling> E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
1.4 Bei der Unterhaltsfestsetzung und den anwendbaren Kriterien kommt dem Sachgericht ein grosser Ermessensspielraum zu (Art. 4 ZGB; <ref-ruling> E. 3a S. 141; <ref-ruling> E. 4 S. 580). Bei der Überprüfung vorinstanzlicher Ermessensentscheide auferlegt sich das Bundesgericht Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von in Rechtsprechung und Lehre anerkannten Grundsätzen abgewichen ist, wenn sie Gesichtspunkte berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn Umständen nicht in Betracht gezogen worden sind, die hätten beachtet werden müssen. Das Bundesgericht greift ausserdem in Ermessensentscheide ein, wenn sich diese im Ergebnis als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 2.5 S. 264).
2. Strittig ist zunächst, in welchem Umfang der Beschwerdegegnerin ein hypothetisches Einkommen anzurechnen ist.
2.1 Bei der Festsetzung von Unterhaltsbeiträgen darf vom tatsächlichen Leistungsvermögen des Unterhaltsverpflichteten (wie auch des Unterhaltsberechtigten) abgewichen und stattdessen von einem hypothetischen Einkommen ausgegangen werden, sofern dieses zu erreichen zumutbar und möglich ist. Dabei handelt es sich um zwei Voraussetzungen, die kumulativ erfüllt sein müssen. Damit ein Einkommen überhaupt oder ein höheres Einkommen als das tatsächlich erzielte angerechnet werden kann, genügt es nicht, dass der betroffenen Partei weitere Anstrengungen zugemutet werden können. Vielmehr muss es auch möglich sein, aufgrund dieser Anstrengungen ein höheres Einkommen zu erzielen.
Mit Bezug auf das hypothetische Einkommen ist Rechtsfrage, welche Tätigkeit aufzunehmen oder auszudehnen als zumutbar erscheint. Ob die als zumutbar erkannte Tätigkeit möglich und das angenommene Einkommen effektiv erzielbar ist, bildet hingegen eine Tatfrage (vgl. zum Ganzen: <ref-ruling> E. 2.3 S. 121; <ref-ruling> E. 4.2.2.2 S. 108; <ref-ruling> E. 4c/bb S. 7).
2.2 Mit Blick auf das hypothetische Einkommen hielt die Vorinstanz im Wesentlichen Folgendes fest:
Vorliegend handle es sich in Anbetracht der Ehedauer sowie der zwei gemeinsamen Kinder um eine sog. lebensprägende Ehe. Die ursprünglich aus Brasilien stammende Beschwerdegegnerin sei inzwischen 51 Jahre alt und seit der Trennung frei von Obhutspflichten; ihre Deutschkenntnisse seien mangelhaft, sie verfüge über keine abgeschlossene Ausbildung, und sie sei seit 20 Jahren nicht mehr angestellt gewesen. Infolge des während der Ehe gelebten hohen Lebensstandards sei es ihr nicht zuzumuten, eine Arbeit als Putzfrau, am Fliessband, als Hilfsarbeiterin und dergleichen aufzunehmen.
Allerdings sei die Beschwerdegegnerin gesund und betreibe ein Nagelstudio, das ihr ein gewisses Grundeinkommen verschaffe. Als langjährige Ehefrau eines "Expatriates" mit Aufenthalten in verschiedenen Kulturkreisen verfüge sie zudem über eine Weltgewandtheit, die sie befähige, als Messe-Hostess zu arbeiten oder allgemeine Repräsentationsaufgaben wahrzunehmen. Ausserdem könne sie Privatunterricht in portugiesischer Sprache erteilen.
Mittels Kombination all dieser zumutbaren Tätigkeiten sei es ihr möglich, ein monatliches Einkommen von netto Fr. 2'000.-- zu erzielen. Unrealistisch sei aber eine Anstellung zu 100%. Weiter gelte es zu berücksichtigen, dass die Beschwerdegegnerin bei Krankheit und Ferienabwesenheit keine Lohnfortzahlung in Anspruch nehmen könne und ab Erreichen des AHV-Alters des Beschwerdeführers (d.h. per 1. Januar 2021) keinen Unterhaltsbeitrag mehr erhalten werde.
2.3 Der Beschwerdeführer wirft der Vorinstanz zunächst vor, die künstlerischen Tätigkeiten und Ausbildungen der Ehefrau nicht erwähnt zu haben.
Mit diesen Vorbringen weicht der Beschwerdeführer ohne Erhebung qualifizierter Sachverhaltsrügen von den vorinstanzlich festgestellten Tatsachen ab. Darauf ist nicht einzutreten (s. oben E. 1.3).
2.4 Ausserdem behauptet der Beschwerdeführer, die Beschwerdegegnerin könne auch in anderen nicht im Tieflohnbereich liegenden Berufen tätig sein, wie beispielsweise in der Wellness- oder Kosmetikbranche oder in Galerien und im Kunstbetrieb. Nochmals erweitert würden diese Möglichkeiten, wenn sie ihre Deutschkenntnisse verbessere und sich EDV-Kenntnisse aneigne.
Dass die Beschwerdegegnerin auch in anderen nicht im Tieflohnbereich liegenden Bereichen tätig sein könne, hat die Vorinstanz nicht explizit ausgeschlossen; dies ändert aber nichts daran, dass die Vorinstanz nur sporadische Einsätze als realistisch eingestuft hat (s. dazu auch unten E. 2.7), so dass sich am erzielbaren Gesamtlohn nichts ändert. Mit Blick auf das Alter und die berufliche Vergangenheit der Beschwerdegegnerin hat die Vorinstanz zu Recht davon abgesehen, ihr eine Übergangsfrist zur Verbesserung ihrer Deutschkenntnisse sowie zwecks Erwerb von EDV-Kenntnissen anzueignen. Diese Rüge erweist sich als unbegründet.
2.5 Alsdann bringt der Beschwerdeführer sinngemäss vor, die Vorinstanz behaupte zu Recht nicht, dass der Ehefrau eine 100%-ige Erwerbstätigkeit nicht zumutbar sei, und zwar in den Bereichen, welche die Vorinstanz als zumutbar qualifizierte.
Es trifft zu, dass die Vorinstanz nicht behauptet, eine 100%-ige Erwerbstätigkeit sei nicht zumutbar. Hingegen stellte sie in tatsächlicher Hinsicht fest, es sei der Ehefrau nicht möglich, eine 100%-Anstellung zu finden, sie könne aber mittels selbständiger Tätigkeit (Betrieb eines Nagelstudios) sowie mittels Einsätzen als Messe-Hostess und Erteilen von Sprachunterricht ein Einkommen erzielen. Weshalb diese Tätigkeiten insgesamt weniger als hundert Stellenprozent entsprechen, hat die Vorinstanz erklärt. Der Beschwerdeführer trägt nichts vor, was diese tatsächliche Schlussfolgerung ins Wanken bringen könnte. Damit zielt der erwähnte rechtliche Einwand der Zumutbarkeit an der Sache vorbei.
2.6 Der Beschwerdeführer macht zudem geltend, die vorinstanzliche Behauptung, es sei für eine Frau im Alter von 51 Jahren nicht realistisch, eine volle Anstellung zu finden, lasse sich angesichts der Realitäten in der Gesellschaft und auf dem Arbeitsmarkt nicht aufrecht erhalten. Als Beleg verweist der Beschwerdeführer auf Angaben des Bundesamtes für Statistik. Diesen zufolge bestehe seit 1970 ein steter Trend zur Wiederaufnahme einer Erwerbstätigkeit bei über 50-jährigen Frauen, der sich in den Perioden 1980-1990 und 1990-2000 stetig verstärkt habe und weiter verstärke.
Der Beschwerdeführer gibt die statistischen Angaben unpräzis wieder, denn diese Unterlagen sprechen nicht bloss von über 50-jährigen Wiedereinsteigerinnen, sondern gesamthaft von Wiedereinsteigerinnen sowie von Frauen, die im Alter von 50 Jahren erwerbstätig bleiben, wobei die Grösse der jeweiligen Gruppe nicht spezifiziert wird. Vor allem aber legt der vom Beschwerdeführer ins Feld geführte "Trend" im vorliegenden konkreten Fall keine von der Vorinstanz abweichende Beurteilung nahe, denn das Alter der Beschwerdegegnerin ist ohnehin nicht deren einziger Nachteil auf dem Arbeitsmarkt, fehlt es ihr doch auch an einer Ausbildung und war sie während 20 Jahren nicht mehr angestellt. Damit setzt sich der Beschwerdeführer nicht auseinander. Auf die Rüge ist nicht einzutreten.
2.7 Der Beschwerdeführer rügt weiter, in den von der Vorinstanz als zumutbar erachteten Tätigkeitsbereichen (mit Ausnahme des Nagelstudios) lasse sich ein Stundenlohn von Fr. 35.-- erzielen, woraus ein Monatslohn von Fr. 5'815.80 resultiere; allfällige Ausfälle könne die Beschwerdegegnerin mit einem Zusatzeinkommen aus dem Nagelstudio kompensieren.
Die Vorinstanz ging - als Ergänzung zum Betrieb des Nagelstudios - ausdrücklich von sporadischen Tätigkeiten aus, wie namentlich von Einsätzen an Messen und Erteilen von Sprachunterricht, d.h. von Erwerbsquellen, die "nicht konstant" sind, was der Beschwerdeführer übersieht. Indem der Beschwerdeführer diese Erwerbsmöglichkeiten auf ein 100%-Pensum hochrechnet, weicht er pauschal vom vorinstanzlichen Sachverhalt ab. Genau dies hat die Vorinstanz als nicht realistisch bezeichnet. Darauf ist nicht einzutreten.
2.8 Ferner wirft der Beschwerdeführer der Vorinstanz vor, unter anderem auch berücksichtigt zu haben, dass die Beschwerdegegnerin nach Eintritt des AHV-Alters des Beschwerdeführers keinen Unterhaltsbeitrag mehr erhalte. Dieser Kritik kommt indes keine selbständige Bedeutung zu, denn sie wird sinngemäss an die Voraussetzung geknüpft, dass die Beschwerdegegnerin tatsächlich ein höheres Einkommen erzielen könne. Darauf ist nicht einzutreten.
3. Streitig ist alsdann der Bedarf der Ehefrau.
3.1 Die Vorinstanz legte den gebührenden monatlichen Grundbedarf der Ehefrau auf insgesamt rund Fr. 6'000.-- fest. Darin enthalten ist unter anderem eine mit "Vorsorge/Hobby/Ferien/Kosmetik" umschriebene Position im Umfang von Fr. 2'000.--. Gemäss Vorinstanz ist dieser Betrag insoweit angemessen, als die Parteien einen hohen Lebensstandard gelebt hätten (einschliesslich eigenes Hauspersonal, hauseigener Swimming Pool, Tennisplatz sowie Polopferde), weshalb ein entsprechender Zuschlag im Grundbedarf vorzunehmen sei; zudem sei den scheidungsbedingten Mehrkosten Rechnung zu tragen; auch gelte es zu berücksichtigen, dass der Lebensunterhalt der Ehefrau in der Schweiz nunmehr höher sei als in Venezuela (wo die Ehegatten zuletzt gemeinsam gelebt hatten) und der Überschuss während der Ehe einer vierköpfigen Familie gedient hatte.
3.2 Der Beschwerdeführer kritisiert, die Vorinstanz habe der Ehefrau einen Zuschlag von 160% zugestanden; dies lasse sich ohne Nachweis, dass ein entsprechender Bedarf tatsächlich existiert, nicht rechtfertigen. Angemessen sei ein Zuschlag von 80%.
Mit der blossen Behauptung, der Zuschlag sei überhöht, lässt sich keine Ermessensüberschreitung dartun. Bei einer lebensprägenden Ehe haben beide Ehegatten Anspruch auf Fortführung der ehelichen Lebenshaltung (unter Berücksichtigung der scheidungsbedingten Mehrkosten). Reichen die vorhandenen Mittel nicht aus, um diesen Standard aufrecht zu erhalten, haben beide Ehegatten Anspruch auf den gleichen Lebensstandard (BGE <ref-ruling> E. 4.2.1.1 S. 106). Nun behauptet der Beschwerdeführer weder, dass der Zuschlag der Beschwerdegegnerin erlauben würde, einen höheren Standard zu geniessen als der während der Ehe gelebte, noch dass sie wegen des Zuschlags in den Genuss eines höheren Standards käme als er selbst.
3.3 Weiter beanstandet der Beschwerdeführer, die erwähnte Position enthalte auch einen Anteil "Vorsorge"; dies gehe nicht an, wenn die Ehefrau, wie von ihm gefordert, zu 100% erwerbstätig sein könne. Dieser Rüge kommt keine selbständige Bedeutung zu, da die Ehefrau, wie dargelegt, nicht zu 100% erwebstätig ist bzw. sein kann.
3.4 Überdies macht der Beschwerdeführer geltend, er habe auch noch für die Bedürfnisse seiner beiden erwachsenen, sich aber noch in Ausbildung befindlichen Töchter aufzukommen; zudem müssten die Mittel auch noch für seine 3-köpfige Familie ausreichen. Soweit er die für seine Töchter anfallenden Kosten geltend macht, erweist sich sein Argument als untauglich, denn der nacheheliche Unterhalt geht dem Mündigenunterhalt vor (<ref-ruling> E. 2.3 S. 211); im Übrigen sind seine Einwände nicht weiter substanziiert. Darauf ist nicht einzutreten.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang kommt der Ziffer 2 des Rechtsbegehrens (betreffend Kosten- und Entschädigungsfolgen) keine eigenständige Bedeutung zu.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 23. August 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Schwander