Sachverhalt:
A. X._ (1953) und Y._ (1954) heirateten am 24. Juni 1983. Sie haben die gemeinsamen Kinder A._ (1983) und B._ (1987). Seit Sommer 2005 leben sie getrennt.
B. Gestützt auf das gemeinsame Scheidungsbegehren vom 4. September 2006 schied das Kantonsgericht von Appenzell Ausserrhoden mit Urteil vom 14. April 2008 die Ehe der Parteien. Es genehmigte die konventionsweise vorgenommene güterrechtliche Auseinandersetzung und Teilung der beruflichen Vorsorge. Mit Bezug auf den strittigen nachehelichen Unterhalt verpflichtete es den Ehemann zu monatlichen Zahlungen von Fr. 800.-- ab Rechtskraft des Scheidungsurteils bis Juli 2018.
Im Appellationsverfahren verlangte die Ehefrau einen monatlichen Unterhaltsbeitrag von Fr. 1'225.--, während der Ehemann das Begehren stellte, es sei von der Festsetzung nachehelichen Unterhaltes abzusehen. Mit Urteil vom 23. März 2009 bestätigte das Obergericht des Kantons Appenzell Ausserrhoden den nachehelichen Unterhalt von Fr. 800.-- bis Juli 2018.
C. Gegen dieses Urteil hat X._ am 14. September 2009 eine Beschwerde in Zivilsachen eingereicht mit den Begehren um dessen Aufhebung und Abweisung des Begehrens um nachehelichen Unterhalt. Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Folgen eines kantonal letztinstanzlichen Ehescheidungsurteils; auf die Beschwerde ist somit einzutreten (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Gerügte Rechtsverletzungen prüft das Bundesgericht an sich frei (Art. 95 i.V.m. Art. 106 Abs. 1 BGG). Vorliegend ist jedoch zu beachten, dass dem Sachgericht bei der Unterhaltsfestsetzung ein weites Ermessen zukommt (Art. 4 ZGB; BGE 127 III 136 E. 3a S. 141; 134 III 577 E. 4 S. 580; 135 III 59 E. 4.4 S. 64) und das Bundesgericht bei der Überprüfung solcher Ermessensentscheide grosse Zurückhaltung übt (BGE 129 III 380 E. 2 S. 382; 131 III 12 E. 4.2 S. 15; 132 III 97 E. 1 S. 99).
An die kantonalen Sachverhaltsfeststellungen ist das Bundesgericht gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, der Sachverhalt sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; BGE 133 III 393 E. 7.1 S. 398). Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG), was bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft (BGE 134 II 244 E. 2.2 S. 246).
Was die Annahme eines hypothetischen Einkommens anbelangt, ist die effektive Erzielbarkeit (angesichts des Alters, der Gesundheit, der Ausbildung und persönlichen Fähigkeiten, der Arbeitsmarktlage, etc.) Tatfrage, hingegen Rechtsfrage, ob die Erzielung angesichts der Tatsachenfeststellungen als zumutbar erscheint (vgl. BGE 126 III 10 E. 2b S. 13 oben; 128 III 4 E. 4c/bb und cc S. 7).
2. Das Obergericht ist von einem gebührenden Unterhalt der Ehefrau von Fr. 5'145.-- ausgegangen, hat ihr das eigene Einkommen von Fr. 4'345.-- angerechnet und den Ehemann, der ein Einkommen von rund Fr. 8'000.-- erzielt, als für die Differenz von Fr. 800.-- leistungsfähig erklärt.
Umstritten ist einzig die Eigenversorgungskapazität der Ehefrau. Der Ehemann macht geltend, sie könnte einem Vollzeiterwerb nachgehen und damit den gebührenden Unterhalt vollumfänglich aus eigener Kraft decken.
2.1 Mit Bezug auf die Eigenversorgungskapazität hat das Obergericht im Einzelnen erwogen, die Ehefrau versehe ein 80%-Pensum bei der C._ AG und erziele dabei monatlich Fr. 4'148.90. Dazu komme eine auf den Monat umgerechnete Vergütung von Fr. 195.75 für ihre politische Tätigkeit als Kantonsrätin. Eine Ausdehnung des Teilzeiterwerbes auf ein Vollpensum sei nicht zumutbar. Die Ehefrau habe sich während der Ehe hauptsächlich der Kinderbetreuung und der Haushaltführung gewidmet. Beim beruflichen Wiedereinstieg habe sie anfänglich im Service gearbeitet. Seit dem Jahr 2000 arbeite sie wieder im kaufmännischen Bereich, zunächst mit einem Pensum von 50 % und heute mit einem solchen von 80 %. Zusammen mit dem Kantonsratsmandat ergebe sich ungefähr ein 90%-Pensum. Die Ehefrau habe sich damit erfolgreich wieder ins Erwerbsleben integriert. Wie bereits das Kantonsgericht festgehalten habe, seien Kleinpensen von 20 % schwer zu finden, nicht zuletzt wegen der politischen Tätigkeit und den daraus erwachsenden Verpflichtungen. Dass die Ehefrau im Jahr XXXX für das Amt einer Regierungsrätin kandidiert habe, ändere nichts an dieser Einschätzung. Eine solche Gelegenheit sei einmalig und stehe in engem Zusammenhang mit ihrer politischen Tätigkeit, weshalb daraus keine generelle Bereitschaft zur Ausübung eines Vollamtes abgeleitet werden könne. Angesichts ihrer Erwerbsbiographie und der heutigen Arbeitsmarktsituation schöpfe die Ehefrau die ihr zumutbare Erwerbstätigkeit voll aus.
2.2 Der Ehemann macht geltend, mit ihrer Kandidatur im Jahr XXXX für einen Sitz im Regierungsrat habe die Ehefrau gezeigt, dass sie weit über 100 % hinaus leistungswillig sei, weshalb ihr zugemutet werden könne, ihr Arbeitspensum auf 100 % auszudehnen und damit für sich selbst aufzukommen. Daran ändere nichts, dass es sich beim Regierungsamt um eine einmalige und eng mit der politischen Tätigkeit verknüpfte Chance gehandelt habe. Er habe nie verlangt, dass seine Frau Regierungsrätin werde; er habe einzig geltend gemacht, dass aus der Kandidatur die Bereitschaft zu einer anspruchsvollen und arbeitsintensiven Tätigkeit ersichtlich sei. Keinen Einfluss auf die vollumfängliche Arbeitsfähigkeit habe schliesslich die parlamentarische Tätigkeit, werde doch diese regelmässig neben einem Vollzeiterwerb ausgeübt. Das Argument, es sei schwierig, ein zusätzliches Kleinpensum oder aber eine Vollzeitstelle zu finden, treffe nur für den Urteilszeitpunkt zu; die Ehefrau hätte sich aber bereits bei der Trennung darum bemühen müssen, als sie erst 51 Jahre alt gewesen sei.
2.3 Der (anwaltlich vertretene) Ehemann beschränkt sich in seiner Beschwerde auf rein appellatorische Ausführungen. Was zunächst die Tatfrage der effektiven Erzielbarkeit eines höheren Erwerbseinkommens anbelangt, macht er nicht einmal die Verletzung eines verfassungsmässigen Rechtes geltend, weshalb die Beschwerde an sich bereits daran scheitert. Aber selbst wenn von sinngemässen Willkürrügen ausgegangen würde, zeigt der Ehemann jedenfalls nicht mit der hierfür erforderlichen Substanziierung auf (dazu E. 1), inwiefern das Obergericht unsachliche Annahmen getroffen oder relevante Sachumstände ausser Acht gelassen hätte und damit in Willkür verfallen wäre:
Zunächst ist hinsichtlich der tatsächlichen Erwerbsfähigkeit keine Willkür darzutun mit dem Verweis auf die im Jahr XXXX erfolgte Kandidatur als Regierungsrätin. Das Obergericht hat zu Recht festgehalten, dass es sich dabei um eine nicht wiederkehrende Gelegenheit gehandelt habe, hat doch ein Regierungsratsamt nicht den geringsten Zusammenhang mit dem allgemeinen Arbeitsmarkt, auf dem die Ehefrau bestehen und eine Vollzeitstelle finden können müsste.
Was nun diese Chancen auf dem allgemeinen Arbeitsmarkt anbelangt, lässt sich keine Willkür dartun mit der Behauptung, die - im Zeitpunkt des angefochtenen Urteils über 55-jährige - Ehefrau hätte sich seit langem um einen Vollzeiterwerb bemühen müssen. Es ist ihr rein faktisch unmöglich, gewissermassen rückwirkend eine Vollzeitstelle zu finden, weshalb es nicht unsachlich und damit auch nicht willkürlich ist, von der aktuell gegebenen Situation auszugehen. Dass die Ehefrau aber heute kaum eine Vollzeitstelle finden dürfte, mit der sie ihren gebührenden Unterhalt vollständig aus eigener Kraft finanzieren kann, anerkennt der Ehemann selbst. Abgesehen davon hatte die Ehefrau die als Richtlinie für die Wiederaufnahme bzw. Ausdehnung einer Erwerbstätigkeit dienende Alterslimite (dazu BGE 115 II 6 E. 5 S. 11; Urteile 5C.234/2005, E. 2; 5C.320/2006, E. 5.6.2.2) ohnehin bereits im Trennungszeitpunkt überschritten, weshalb auch vor diesem Hintergrund keine Willkür ersichtlich wäre.
Dass sodann Kleinpensen typischerweise eine grosse zeitliche Flexibilität voraussetzen und jedenfalls nur selten der Arbeitnehmer genau bestimmen kann, an welchem Tag oder zu welchen Stunden er die betreffende Arbeit verrichten möchte, ist gerichtsnotorisch und wird vom Ehemann in der Beschwerde auch nicht eigentlich bestritten. Insofern kann nicht im Ansatz Willkür gegeben sein, wenn das Obergericht befunden hat, es wäre für die Ehefrau sehr schwierig, ein zusätzliches Kleinpensum zu finden, das sich mit ihren aktuell bereits bestehenden Aktivitäten zeitlich verbinden liesse.
2.4 Ist damit aber vom willkürfrei festgestellten Sachverhalt auszugehen, dass der Ehefrau die Ausdehnung der Erwerbstätigkeit - sei es eine Vollzeitstelle, sei es ein zusätzliches Kleinpensum - rein tatsächlich kaum möglich sein wird, stellt sich die Rechtsfrage der Zumutbarkeit gar nicht. Nur der Vollständigkeit halber sei deshalb erwähnt, dass jedenfalls nicht augenfällig wäre, inwiefern das Obergericht mit seiner Kernerwägung, angesichts der langjährigen klassischen Rollenverteilung habe die Ehefrau mit der weitestgehend - nämlich zu rund 90 % - erfolgten beruflichen Wiedereingliederung das ihr Zumutbare unternommen, von dem in Unterhaltsfragen bestehenden weiten Ermessen (dazu E. 1) falschen Gebrauch gemacht haben soll. Angesichts der Besonderheit des politischen Amtes einer Regierungsrätin und der Einmaligkeit dieser Chance wäre jedenfalls mit dem blossen Verweis auf die betreffende Kandidatur noch kein Ermessensfehler darzutun.
3. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht von Appenzell Ausserrhoden, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 14. Januar 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli