Sachverhalt:
A. X._ (geb. 1950) und Y._ (geb. 1963) heirateten im Mai 1985. Sie wurden Eltern von drei mittlerweile mündigen Kindern. Die Ehefrau ist gelernte Coiffeuse. Nach der Heirat übernahm sie die Betreuung des Haushalts und die Erziehung der Kinder. Seit Oktober 2004 arbeitet sie im Bereich der Pflege (anfangs in einem Pensum von 50%, anschliessend von 70% und seit dem Jahr 2006 von 60%). Der Ehemann ist in einem vollen Pensum als Lehrer tätig.
Die Parteien leben seit dem 1. April 2006 getrennt. Die Folgen des Getrenntlebens regelten sie einvernehmlich in einer Trennungsvereinbarung.
B. Mit Eingabe vom 26. Februar 2008 leitete die Ehefrau beim Bezirksgericht Zürich das Scheidungsverfahren ein. Das Bezirksgericht schied mit Urteil vom 23. April 2010 die Ehe, genehmigte die Teilvereinbarung der Parteien über die güterrechtliche Auseinandersetzung und regelte die weiteren Scheidungsfolgen. Insbesondere verpflichtete es X._ zu nachehelichen monatlichen Unterhaltsbeiträgen von Fr. 2'891.-- (ab Rechtskraft des Scheidungsurteils bis Ende 2011), Fr. 1'867.-- (Januar 2012 bis zu seinem ordentlichen Pensionsalter im Mai 2015) sowie Fr. 1'341.-- (Juni 2015 bis zum ordentlichen Pensionsalter von Y._, zurzeit Mai 2027).
C. Gegen dieses Urteil erhob X._ am 5. Mai 2010 Berufung an das Obergericht des Kantons Zürich. Soweit den nachehelichen Unterhalt betreffend, verlangte er, es seien ihm ab Juni 2015 keine Unterhaltsbeiträge mehr aufzuerlegen. Die Unterhaltsbeiträge für die Zeit ab Rechtskraft des Scheidungsurteils bis Mai 2015 focht er nicht an.
Mit Urteil vom 13. Mai 2011 reduzierte das Obergericht insbesondere die von X._ vom 1. Juni 2015 bis zum ordentlichen Pensionsalter von Y._ (zurzeit Ende Mai 2027) zu leistenden nachehelichen Unterhaltsbeiträge auf monatlich Fr. 765.--.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 27. Juni 2011 die Aufhebung des obergerichtlichen Urteils soweit die nacheheliche Unterhaltsverpflichtung vom 1. Juni 2015 bis Ende Mai 2027 betreffend. Er verlangt, es seien ihm ab dem 1. Juni 2015 (und damit ab Erreichen seines Pensionsalters) keine Unterhaltsbeiträge mehr aufzuerlegen. Eventualiter seien die Unterhaltsbeiträge für diesen Zeitraum angemessen zu kürzen. Subeventualiter sei die Angelegenheit zu neuer Entscheidung an das Obergericht zurückzuweisen.
Das Obergericht hat dem Bundesgericht die Vorakten zugestellt, auf eine Vernehmlassung aber verzichtet. Y._ (nachfolgend Beschwerdegegnerin) beantragt in ihrer Vernehmlassung vom 19. September 2011 die Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. Das angefochtene Urteil des Obergerichts betrifft einen kantonal letztinstanzlichen Endentscheid (Art. 75 und Art. 90 BGG) in einer Scheidungs- und damit in einer Zivilsache (<ref-law>). Einzig umstritten ist die Regelung des nachehelichen Unterhalts. Es handelt sich damit um eine vermögensrechtliche Angelegenheit (Urteil 5A_311/2010 vom 3. Februar 2011 E. 1.1, nicht publ. in: <ref-ruling>), wobei die gesetzliche Streitwertgrenze erreicht ist (<ref-law>). Die fristgerecht (Art. 100 Abs. 1 i.V.m. <ref-law>) eingereichte Beschwerde ist demnach grundsätzlich zulässig.
2. 2.1 Die Beschwerde ist zu begründen (<ref-law>). Es ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen (<ref-ruling> E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (<ref-law>; vgl. <ref-ruling> E. 3.3 S. 310 f.; <ref-ruling> E. 2.2 S. 246).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig und damit willkürlich ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 4.2 S. 234 mit Hinweisen). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 4.4 S. 612).
3. 3.1 Strittig sind vor Bundesgericht einzig die Unterhaltsbeiträge für den Zeitraum ab Juni 2015 (Erreichen des ordentlichen Pensionsalters des Beschwerdeführers im Mai 2015) bis zum Erreichen des ordentlichen Pensionsalters der Beschwerdegegnerin (zurzeit Ende Mai 2027).
3.2 Die 1985 geschlossene Ehe der Parteien hat bis zur tatsächlichen Trennung knapp 21 Jahre und bis zur Scheidung 25 Jahre gedauert und aus ihr gingen drei gemeinsame Kinder hervor. Es ist unbestrittenermassen von einer lebensprägenden Ehe mit einem grundsätzlichen Anspruch beider Ehegatten auf Fortführung der ehelichen Lebenshaltung auszugehen. Das Vertrauen auf den Weiterbestand der bisherigen, frei vereinbarten Aufgabenteilung ist objektiv schutzwürdig (vgl. <ref-ruling> E. 4.1.2 S. 105; <ref-ruling> E. 4.1 S. 61). Der gebührende Unterhalt im Sinne von <ref-law> knüpft an den in der Ehe zuletzt gemeinsam gelebten Standard (zuzüglich scheidungsbedingter Mehrkosten) an, auf dessen Fortführung bei genügenden Mitteln beide Teile Anspruch haben, der aber gleichzeitig auch die Obergrenze des gebührenden Unterhalts bildet (<ref-ruling> E. 4.3 S. 160).
3.3 Für die Berechnung des nachehelichen Unterhalts bei lebensprägenden Ehen ist in drei Schritten vorzugehen: In einem ersten Schritt ist anhand der Feststellung der zuletzt erreichten und gepflegten gemeinsamen Lebenshaltung der gebührende Unterhalt eines jeden Ehegatten zu ermitteln. In einem zweiten Schritt ist zu prüfen, inwieweit jeder Ehegatte seinen gebührenden Unterhalt selbst finanzieren kann. Ist es einem Ehegatten nicht möglich oder nicht zumutbar, dafür selbst aufzukommen und ist er auf Unterhaltsleistungen angewiesen, ist schliesslich in einem dritten Schritt die Leistungsfähigkeit des unterhaltsverpflichteten Ehegatten zu ermitteln und ein angemessener Unterhaltsbeitrag festzusetzen (vgl. zum Ganzen: <ref-ruling> E. 4.2 S. 106 ff.).
3.4 Das Gesetz schreibt dem Sachrichter keine bestimmte Methode zur Unterhaltsbemessung vor (<ref-ruling> E. 3.2.2 S. 414).
Der Richter ist für die Unterhaltsfestsetzung in verschiedener Hinsicht auf sein Ermessen verwiesen (<ref-law>) und das Bundesgericht übt bei der Überprüfung solcher Entscheide eine gewisse Zurückhaltung aus: Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, das heisst, wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 3a S. 141).
4. 4.1 Nach den (vor Obergericht unbestritten gebliebenen) bezirksgerichtlichen Feststellungen hat das Familieneinkommen vor der Trennung im Jahr 2006 monatlich Fr. 16'200.-- betragen. Das Bezirksgericht folgerte, es lägen "äusserst günstige finanzielle Verhältnisse" vor. Es sei von einer "nicht unerheblichen Sparquote auszugehen, womit von einer Überschussteilung" abzusehen sei (Ziff. 4.6.3 S. 25 des bezirksgerichtlichen Entscheids).
4.2 Für den nachfolgend einzig noch zu behandelnden Zeitraum ab Juni 2015 hat das Bezirksgericht (was vor Obergericht ebenfalls unbestritten geblieben ist) in einem ersten Schritt den gebührenden Unterhalt (nur) der Beschwerdegegnerin aufgrund der ehelichen Lebenshaltung auf monatlich Fr. 5'341.-- (inklusive Vorsorgeunterhalt von Fr. 321.-- pro Monat) bestimmt.
4.3 In einem zweiten Schritt hat das Bezirksgericht (vgl. E. 6.3 unten) die Eigenversorgungskapazität der Beschwerdegegnerin bestimmt. Es kam zum Schluss, nach einer Übergangsphase (Pensum von 60% bis Ende 2011, Pensum von 80% bis Mai 2015) sei ihr ab Juni 2015 ein Monatseinkommen von netto Fr. 4'000.-- (Pensum von 100%) anzurechnen.
4.4 Schliesslich ermittelte das Obergericht in einem dritten Schritt die Leistungsfähigkeit des Beschwerdeführers. Es hatte zuerst noch dessen "gebührenden Bedarf" zu bestimmen, den es auf Fr. 5'622.-- pro Monat festsetzte.
Als Einkommen des Beschwerdeführers berücksichtigte das Obergericht eine AHV-Rente von Fr. 2'280.-- sowie eine BVG-Rente von Fr. 4'107.--, insgesamt damit Fr. 6'387.-- pro Monat.
Aufgrund der Gegenüberstellung von Bedarf und Renteneinkünften bejahte das Obergericht die Leistungsfähigkeit des Beschwerdeführers zur Zahlung von monatlichen Unterhaltsbeiträgen von Fr. 765.-- ab Juni 2015 bis zur ordentlichen Pensionierung der Beschwerdegegnerin.
5. Der Beschwerdeführer beanstandet die vom Obergericht gewählte Methode zur Berechnung des nachehelichen Unterhalts nicht. Hingegen wendet er sich gegen die Höhe der Eigenversorgungskapazität der Beschwerdegegnerin (E. 6 unten). Sodann erachtet er es im vorliegenden Fall als rechtswidrig, ihn nach seiner Pensionierung im Mai 2015 überhaupt noch zu Unterhaltszahlungen zu verpflichten (E. 7 unten). Schliesslich bestreitet er, zur Zahlung von nachehelichem Unterhalt leistungsfähig zu sein (E. 8 und 9 unten).
6. 6.1 Der Beschwerdeführer bringt vor, die Beschwerdegegnerin sei in der Lage, ein Einkommen von über Fr. 4'000.-- pro Monat zu erzielen. Sie sei auch über das Jahr 2015 hinaus verpflichtet, alles zu tun, um ihr eigenes Einkommen zu erhöhen und dürfe sich nicht "auf seinen Schultern ausruhen".
Der Beschwerdeführer macht damit sinngemäss geltend, der Beschwerdegegnerin sei bei der Eigenversorgungskapazität ein höheres (hypothetisches) Einkommen anzurechnen.
6.2 Bei der Festsetzung von Unterhaltsbeiträgen darf vom tatsächlichen Leistungsvermögen der Unterhaltsberechtigten (wie auch des Unterhaltsverpflichteten) abgewichen und stattdessen von einem hypothetischen Einkommen ausgegangen werden, sofern dieses zu erreichen zumutbar und möglich ist.
Dabei handelt es sich um zwei Voraussetzungen, die kumulativ erfüllt sein müssen. Damit ein Einkommen überhaupt oder ein höheres Einkommen als das tatsächlich erzielte angerechnet werden kann, genügt es nicht, dass der betroffenen Partei weitere Anstrengungen zugemutet werden können. Vielmehr muss es auch möglich sein, aufgrund dieser Anstrengungen ein höheres Einkommen zu erzielen. Mit Bezug auf das hypothetische Einkommen ist Rechtsfrage, welche Tätigkeit aufzunehmen oder auszudehnen als zumutbar erscheint. Ob die als zumutbar erkannte Tätigkeit möglich und das angenommene Einkommen effektiv erzielbar ist, bildet hingegen Tatfrage, die durch entsprechende Feststellungen oder durch die allgemeine Lebenserfahrung beantwortet wird. Auch im letzteren Fall müssen aber jene Tatsachen als vorhanden festgestellt sein, die eine Anwendung von Erfahrungssätzen überhaupt erst ermöglichen (vgl. zum Ganzen: <ref-ruling> E. 2.3 S. 121; <ref-ruling> E. 4.2.2.2 S. 108; <ref-ruling> E. 4c/bb S. 7).
6.3 Das Bezirksgericht legte dar (vgl. E. 4.3 oben), der Beschwerdegegnerin sei es möglich (und im Ergebnis auch zumutbar), ab Juni 2015 in einem Pensum von 100% ein Einkommen von netto Fr. 4'000.-- zu erzielen.
Das Obergericht hat im angefochtenen Entscheid ausdrücklich festgestellt (<ref-law>), die Frage und den Umfang der Eigenversorgungskapazität der Beschwerdegegnerin (hypothetisches Einkommen von Fr. 4'000.-- ab Juni 2015) habe der Beschwerdeführer im Berufungsverfahren nicht mehr bestritten (Ziff. 2b S. 10 des obergerichtlichen Urteils).
6.4 Diese Sachverhaltsfeststellung beanstandet der Beschwerdeführer vor Bundesgericht nicht. Wenn er (in Bezug auf die Voraussetzung der tatsächlichen Möglichkeit zur Erzielung eines höheren Einkommens) eine vor Obergericht unterlassene Sachverhaltsrüge nunmehr vor Bundesgericht vorträgt, indem er verlangt, der Beschwerdegegnerin sei ein höheres Einkommen als Fr. 4'000.-- möglich, kann darauf nicht eingetreten werden. Letztinstanzlichkeit im Sinne von <ref-law> bedeutet, dass der kantonale Instanzenzug für Rügen, die dem Bundesgericht vorgetragen werden, ausgeschöpft sein muss, was hier nicht geschehen ist (<ref-ruling> E. 4.3 S. 522; <ref-ruling> E. 3.2 S. 429). Die Sachverhaltsrüge vermöchte zudem auch formell nicht zu genügen (<ref-law>; vgl. E. 2.2 oben).
Kann vor Bundesgericht die (Tat-) Frage nicht mehr geprüft werden, ob es der Beschwerdegegnerin möglich ist, ein höheres Einkommen zu erzielen, erübrigen sich Ausführungen zur kumulativen (vgl. E. 6.2 oben) Voraussetzung, ob ihr dies auch zumutbar wäre.
7. 7.1 Der Beschwerdeführer macht weiter geltend, es erweise sich als bundesrechtswidrig (<ref-law>), wenn er der Beschwerdegegnerin über seine Pensionierung hinaus bis zu seinem 77. Altersjahr Unterhaltsbeiträge bezahlen müsse. Seine Unterhaltspflicht sei vielmehr auf das Erreichen seines Pensionsalters (Mai 2015) zu befristen.
7.2 Soweit der eine Ehegatte für den ihm zustehenden, gebührenden Unterhalt auf Dauer nicht oder nur teilweise aufzukommen vermag, ist der andere Ehegatte bei lebensprägenden Ehen verpflichtet, diese Eigenversorgungslücke nach Massgabe seiner Leistungsfähigkeit zu decken und ist nachehelicher Unterhalt im Grundsatz unbefristet geschuldet. Häufig brechen aber die verfügbaren Mittel ein, sobald der Leistungspflichtige das Rentenalter erreicht, so dass der während der Aktivitätsphase gepflegte Lebensstandard nicht uneingeschränkt fortgesetzt werden kann und er auch bei fortgeführter Ehe sinken würde. Dem Grundsatz, dass bei der lebensprägenden Ehe beide Ehegatten Anspruch auf eine vergleichbare Lebenshaltung haben, trägt die Praxis diesfalls insoweit Rechnung, als das Ende der Unterhaltspflicht an das Erreichen des AHV-Alters des Unterhaltspflichtigen geknüpft wird (zum Ganzen: <ref-ruling> E. 7.2 S. 595 f. mit Hinweisen; Urteile 5A_288/2008 vom 27. August 2008 E. 5.6; 5A_508/2007 vom 3. Juni 2008 E. 4.1)
7.3 Vorauszuschicken ist, dass nicht eine unbefristete Rente zur Diskussion steht. Vielmehr hat das Obergericht den Unterhaltsbeitrag auf den Zeitpunkt des Eintritts der Unterhaltsberechtigten in das AHV-Alter begrenzt.
Das Vorbringen des Beschwerdeführers, die nacheheliche Unterhaltspflicht müsse mit dem Erreichen des Pensionsalters des Unterhaltsschuldners ihr Ende nehmen, erweist sich im vorliegenden Fall als unbegründet (vgl. E. 7.2). Das Obergericht hat der Pensionierung des Unterhaltsverpflichteten im Jahr 2015 dadurch Rechnung getragen, als es den Unterhaltsbeitrag auf diesen Zeitpunkt hin um rund 60% und damit erheblich reduzierte. Wie bereits festgestellt, weist die Beschwerdegegnerin auch ab Juni 2015 weiterhin eine Deckungslücke auf. Soweit der Beschwerdeführer nach seiner Pensionierung - wie vom Obergericht erwogen - nach wie vor (zwar reduziert) leistungsfähig bleibt (vgl. dazu E. 8 und 9 unten), ist der Entscheid des Obergerichts, ihn in diesem (reduzierten) Umfang weiterhin zu Unterhaltszahlungen zu verpflichten, unter Berücksichtigung der konkreten Verhältnisse des vorliegenden Falles bundesrechtlich nicht zu beanstanden (vgl. die ähnlich gelagerten Urteile 5A_679/2007 vom 13. Oktober 2008 E. 4.6.1 f., in: FamPra.ch 2009 S. 202 f.; 5A_288/2008 vom 27. August 2008 E. 5.6; 5A_124/2007 vom 19. September 2007 E. 2.2).
8. 8.1 Der Beschwerdeführer rügt weiter eine Verletzung von <ref-law> (sowie des Willkürverbots gemäss <ref-law>), da es ihm mit den auferlegten Unterhaltsbeiträgen nicht möglich sein werde, irgendwelche Reserven für das Alter zu bilden beziehungsweise in der vorgenommenen Bedarfsberechnung nicht alle "Investitionen" berücksichtigt seien, die für ein "standesgemässes Leben" notwendig seien. Deshalb dürfe vorliegend wie bei der Bedürftigkeitsrente nach aArt. 152 ZGB die Leistungsfähigkeit des Unterhaltsverpflichteten erst bejaht und damit ein Unterhaltsbeitrag zugesprochen werden, wenn sein Einkommen seinen um 20% erhöhten familienrechtlichen Notbedarf übersteige. Dies sei vorliegend nicht der Fall, weshalb von der Zusprechung eines Unterhaltsbeitrages abzusehen sei.
8. 8.1 Der Beschwerdeführer rügt weiter eine Verletzung von <ref-law> (sowie des Willkürverbots gemäss <ref-law>), da es ihm mit den auferlegten Unterhaltsbeiträgen nicht möglich sein werde, irgendwelche Reserven für das Alter zu bilden beziehungsweise in der vorgenommenen Bedarfsberechnung nicht alle "Investitionen" berücksichtigt seien, die für ein "standesgemässes Leben" notwendig seien. Deshalb dürfe vorliegend wie bei der Bedürftigkeitsrente nach aArt. 152 ZGB die Leistungsfähigkeit des Unterhaltsverpflichteten erst bejaht und damit ein Unterhaltsbeitrag zugesprochen werden, wenn sein Einkommen seinen um 20% erhöhten familienrechtlichen Notbedarf übersteige. Dies sei vorliegend nicht der Fall, weshalb von der Zusprechung eines Unterhaltsbeitrages abzusehen sei.
8.2 8.2.1 Wird der zuletzt gelebte Lebensstandard nach der Methode der Grundbedarfsberechnung mit Überschussverteilung berechnet, wird in einem ersten Schritt das betreibungsrechtliche Existenzminimum (<ref-law>) ermittelt und in der Folge zum familienrechtlichen Grundbedarf erweitert.
Das Bundesgericht hatte in seiner altrechtlichen Praxis festgehalten, dass in der Regel eine Bedürftigkeitsrente nach aArt. 152 ZGB nur zuzusprechen sei, solange der Unterhaltsschuldner über ein Einkommen verfügt, das um 20% höher ist als der erweiterte Notbedarf (vgl. <ref-ruling> E. 3b/bb S. 4 f.).
8.2.2 Das Obergericht hat dem Beschwerdeführer monatlich neben dem Grundbetrag von Fr. 1'200.-- und den weiteren Positionen (Wohnung Fr. 2'200.--; Krankenkasse inkl. Zusatzversicherung Fr. 623.--; Gesundheitskosten Fr. 50.--; Versicherungen Fr. 91.--; Telefon Fr. 158.--; Auto Fr. 500.--; Steuern Fr. 500.--) einen Freibetrag von Fr. 300.-- für Ferien/Hobbys zugesprochen. Angesichts dieser Reserve dürfte der vom Beschwerdeführer geforderte Prozentzuschlag von 20% - der gemäss bundesgerichtlicher Rechtsprechung auf den betreibungsrechtlichen Grundbetrag beschränkt ist (Urteil 5C.107/2005 vom 13. April 2006 E. 4.2.1) - ohnehin bereits Berücksichtigung gefunden haben. Der Einwand des Beschwerdeführers erweist sich demnach als unbegründet.
9. 9.1 Schliesslich wendet sich der Beschwerdeführer gegen die obergerichtliche Festsetzung einzelner Positionen seines Bedarfs und verlangt deren Erhöhung, was im Ergebnis zu einer Reduktion des Unterhaltsbeitrages führen würde.
9.2 Soweit die konkrete Höhe einer Bedarfsposition in Frage steht, handelt es sich um eine Tatfrage. Ob (festgestellte) Aufwendungen im Rahmen der Bedarfsberechnung hingegen zu berücksichtigen sind, stellt eine Rechtsfrage dar.
9.2 Soweit die konkrete Höhe einer Bedarfsposition in Frage steht, handelt es sich um eine Tatfrage. Ob (festgestellte) Aufwendungen im Rahmen der Bedarfsberechnung hingegen zu berücksichtigen sind, stellt eine Rechtsfrage dar.
9.3 9.3.1 Das Obergericht hat im Bedarf des Beschwerdeführers neben den Kosten für die Grund- und Zusatzversicherung von monatlich Fr. 623.-- den Betrag von monatlich Fr. 50.-- für Gesundheitskosten berücksichtigt (für die Minimalfranchise von Fr. 300.-- und den Selbstbehalt von 10%). Es führte aus, der Beschwerdeführer beklage zwar aktuell keine gesundheitlichen Beschwerden, jedoch sei es "allgemein bekannt, dass mit zunehmendem Alter gewisse gesundheitliche Probleme auftreten" könnten.
9.3.2 Der Beschwerdeführer wendet sich gegen diese Sachverhaltsfeststellung und rügt, es sei offensichtlich unrichtig und absurd, bei einem Mann nach dessen Pensionierung und bis zu dessen 77. Altersjahr von ungedeckten Gesundheitskosten von jährlich Fr. 600.-- (Fr. 50.-- pro Monat) auszugehen. Vielmehr sei der von ihm bereits vor Obergericht geltend gemachte Betrag von monatlich Fr. 150.-- zu berücksichtigen.
9.3.3 Die Rüge des Beschwerdeführers erweist sich als begründet und der Sachverhalt ist insoweit zu berichtigen (Art. 105 Abs. 2 i.V.m. <ref-law>). Wie der allgemein zugänglichen (vgl. <ref-ruling> E. 4.1 S. 89 f.; <ref-ruling> E. 4c/bb S. 7 f.) und damit auch vor Bundesgericht zu berücksichtigenden Zusammenstellung "Kosten und Finanzierung des Gesundheitswesens" des Bundesamtes für Statistik (Statistisches Lexikon der Schweiz; abrufbar unter: http://www.bfs.admin.ch/bfs/portal/de/index/themen/14/05/blank/key/05.html; Stand: 9. September 2011, besucht am 26. Oktober 2011) zu entnehmen ist, betrugen die jährlichen Gesundheitskosten eines männlichen Einwohners im Jahr 2009 Fr. 10'637.20 (Altersgruppe 61 - 65), Fr. 13'106.40 (Altersgruppe 66 - 70), Fr. 16'696.50 (Altersgruppe 71 - 75) sowie Fr. 21'600.50 (Altersgruppe 76 - 80). Für den fraglichen Alterszeitraum des Beschwerdeführers (65. - 77. Altersjahr) ergeben sich damit für die Franchise von Fr. 300.-- pro Jahr sowie für 10% Selbstbehalt durchschnittliche Gesundheitskosten von gut Fr. 150.-- pro Monat. Dem Beschwerdeführer sind deshalb wie beantragt ab Mai 2015 für die Gesundheitskosten Fr. 150.-- pro Monat anzurechnen.
9.3.3 Die Rüge des Beschwerdeführers erweist sich als begründet und der Sachverhalt ist insoweit zu berichtigen (Art. 105 Abs. 2 i.V.m. <ref-law>). Wie der allgemein zugänglichen (vgl. <ref-ruling> E. 4.1 S. 89 f.; <ref-ruling> E. 4c/bb S. 7 f.) und damit auch vor Bundesgericht zu berücksichtigenden Zusammenstellung "Kosten und Finanzierung des Gesundheitswesens" des Bundesamtes für Statistik (Statistisches Lexikon der Schweiz; abrufbar unter: http://www.bfs.admin.ch/bfs/portal/de/index/themen/14/05/blank/key/05.html; Stand: 9. September 2011, besucht am 26. Oktober 2011) zu entnehmen ist, betrugen die jährlichen Gesundheitskosten eines männlichen Einwohners im Jahr 2009 Fr. 10'637.20 (Altersgruppe 61 - 65), Fr. 13'106.40 (Altersgruppe 66 - 70), Fr. 16'696.50 (Altersgruppe 71 - 75) sowie Fr. 21'600.50 (Altersgruppe 76 - 80). Für den fraglichen Alterszeitraum des Beschwerdeführers (65. - 77. Altersjahr) ergeben sich damit für die Franchise von Fr. 300.-- pro Jahr sowie für 10% Selbstbehalt durchschnittliche Gesundheitskosten von gut Fr. 150.-- pro Monat. Dem Beschwerdeführer sind deshalb wie beantragt ab Mai 2015 für die Gesundheitskosten Fr. 150.-- pro Monat anzurechnen.
9.4 9.4.1 Der Beschwerdeführer macht weiter geltend, die vom Obergericht für sein Fahrzeug berücksichtigten Fr. 500.-- deckten die Kosten nicht ab, die später einmal für den Erwerb eines neuen Fahrzeuges entstünden. Zudem gebe es noch weitere Aufwandpositionen, die das obergerichtliche Urteil nicht berücksichtige.
9.4.2 Der Beschwerdeführer begnügt sich insoweit mit appellatorischer Kritik und bringt keine rechtsgenüglich substanziierten Rügen vor. Zudem äussert er sich nicht zur Entscheidwesentlichkeit seiner Vorbringen, das heisst in welchem Umfang diese Bedarfspositionen zu erhöhen wären und sich demnach der Unterhaltsbeitrag reduzierte. Darauf ist nicht einzutreten (vgl. E. 2.2 oben).
9.5 Aufgrund des Gesagten ist demnach der vom Obergericht berechnete Bedarf des Beschwerdeführers um monatlich Fr. 100.-- (vgl. E. 9.3.3 oben) auf Fr. 5'722.-- zu erhöhen, womit sich der zu leistende Unterhaltsbeitrag für den Zeitraum ab Juni 2015 bis zur Erreichung des AHV-Alters der Beschwerdegegnerin auf Fr. 665.-- pro Monat reduziert.
10. Die Beschwerde ist teilweise gutzuheissen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer zu 3/4 und der Beschwerdegegnerin zu 1/4 aufzuerlegen und dieser eine reduzierte Parteientschädigung zuzuerkennen. Bei diesem Ausgang des Verfahrens vor Bundesgericht rechtfertigt es sich nicht, die obergerichtliche Kosten- und Entschädigungsregelung (Art. 67 und Art. 68 Abs. 5 BGG) abzuändern.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, soweit darauf einzutreten ist. Das Urteil des Obergerichts des Kantons Zürich, I. Zivilkammer, vom 13. Mai 2011 wird in Bezug auf Ziff. 1 Lemma 3 sowie Ziff. 3 Abs. 4 aufgehoben und wie folgt neu gefasst:
1. Der Gesuchsteller wird verpflichtet, der Gesuchstellerin persönlich monatliche Unterhaltsbeiträge im Sinne von <ref-law> wie folgt zu bezahlen:
- (...)
- (...)
- Fr. 665.-- vom 1. Juni 2015 bis zum ordentlichen Pensionsalter der Gesuchstellerin (zurzeit Ende Mai 2027).
(...).
3. Diesem Urteil liegen folgende finanzielle Verhältnisse der Parteien zugrunde:
(...)
Gebührender Bedarf Gesuchsteller
(...)
Fr. 5'722.-- (ab ordentlichem Pensionsalter des Gesuchstellers, zurzeit ab Juni 2015).
(...).
2. Die Gerichtskosten von insgesamt Fr. 2'000.-- werden im Betrag von Fr. 1'500.-- dem Beschwerdeführer und im Betrag von Fr. 500.-- der Beschwerdegegnerin auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. November 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler