Sachverhalt:
A. X._ (geb. 1953) und Z._ (geb. 1955) haben am 28. Mai 1982 geheiratet. Sie sind die Eltern der zwischenzeitlich mündigen Kinder S._ (geb. 1984) und T._ (geb. 1987). Nach der Aufhebung des gemeinsamen Haushaltes Ende 1998/Anfang 1999 mussten die Folgen des Getrenntlebens mehrfach gerichtlich geregelt werden. Am 19. März 2004 klagte X._ beim Kantonsgericht Zug auf Scheidung. Mit Urteil vom 21. November 2007 schied dieses die Ehe der Parteien und regelte die Nebenfolgen. Soweit hier noch von Interesse, wurde das Begehren der Ehefrau um Ausrichtung eines nachehelichen Unterhalts abgewiesen.
B. Gegen dieses Urteil legte die Ehefrau beim Obergericht Zug Berufung ein. Sie beantragte, der Ehemann sei zu verurteilen, ihr monatliche Unterhaltsbeiträge wie folgt zu bezahlen: Fr. 1'500.-- bis zur abgeschlossenen Erstausbildung der (erwachsenen) Kinder, anschliessend Fr. 2'000.-- bis 2. April 2018 und danach lebenslänglich Fr. 1'000.--. Mit Urteil vom 14. September 2010 hiess das Obergericht des Kantons Zug die Berufung teilweise gut; es verpflichtete den Ehemann, der Ehefrau bis zum 31. März 2018 einen jährlich zu indexierenden monatlichen Unterhaltsbeitrag von Fr. 780.-- zu bezahlen.
C. Mit Beschwerde in Zivilsachen vom 18. Oktober 2010 wendet sich X._ (nachfolgend Beschwerdeführer) an das Bundesgericht mit dem Begehren, es sei festzustellen, dass er seiner Ehefrau (nachfolgend Beschwerdegegnerin) keinen nachehelichen Unterhalt schulde; ferner seien die oberinstanzlichen Gerichtskosten der Beschwerdegegnerin aufzuerlegen und ihm für das oberinstanzliche Verfahren eine Parteientschädigung von Fr. 8'000.-- zuzusprechen; alles unter Kosten- und Entschädigungsfolgen zulasten der Beschwerdegegnerin.
Es sind die Akten, aber keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Nebenfolgen in einer kantonal letztinstanzlichen Scheidungsangelegenheit; hierfür steht die Beschwerde in Zivilsachen offen (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG). Auf formelle Einzelfragen wird im Sachzusammenhang einzugehen sein.
2. Der Beschwerdeführer beanstandet die vom Obergericht getroffenen Feststellungen hinsichtlich der gelebten Lebenshaltung, des gebührenden Unterhalts und der Eigenversorgungskapazität der Beschwerdegegnerin.
2.1 Mit Bezug auf die gemeinsame Lebenshaltung erwog das Obergericht, im relevanten Zeitpunkt (1998/1999) sei von Nettoeinkommen zwischen Fr. 9'405.90 und Fr. 10'295.90 auszugehen, was durchschnittlich Fr. 9'850.-- ergebe; indexiert entspreche dies im Urteilszeitpunkt rund Fr. 11'000.--. Damit habe ein Vierpersonenhaushalt finanziert werden müssen. Nach Abzug der kinderrelevanten Positionen von Fr. 2'065.-- (durchschnittlicher Barbedarf gemäss Zürcher Tabellen Stand 2010, je abzüglich Kosten für Pflege und Erziehung sowie für Unterkunft, welche im Grundbetrag der Eltern enthalten sind), verblieben den Erwachsenen indexiert rund Fr. 8'935.--. Nach Abzug des gemeinsamen Grundbedarfs von insgesamt Fr. 6'940.-- (einschliesslich Fr. 2'320.-- für Mietzins), verbleibe ein (indexierter) Überschuss von Fr. 2'000.--, der allerdings nicht gespart, sondern verbraucht worden sei.
Den gebührenden Unterhalt der Beschwerdegegnerin ermittelte das Obergericht auf Fr. 6'612.--. Diesen Betrag errechnete es, indem es einen erweiterten Grundbedarf von Fr. 5'612.-- berücksichtigte (einschliesslich Wohnkosten von Fr. 2'320.--) und dazu die Hälfte des bei der Berechnung des gemeinsamen Lebensstandards ermittelten Überschusses (1⁄2 von Fr. 2'000.--; s. vorstehenden Abschnitt) addierte.
Bei der Prüfung der Eigenversorgungskapazität der Beschwerdegegnerin ist das Obergericht von einem monatlichen Einkommen von Fr. 5'162.45 bei einem Beschäftigungsgrad von 90% ausgegangen, hat dieses auf ein Pensum von 100% hochgerechnet und schliesslich einen Ertrag von Fr. 100.-- aus der Vermietung einer Garage addiert, was einen Betrag von Fr. 5'836.-- ergibt. Dabei präzisierte das Obergericht, dass die von der Beschwerdegegnerin eingereichte Lohnabrechnung per Juni 2010 "im Quantitativen nur unwesentlich von den vorinstanzlichen Zahlen" abweiche.
Zusammenfassend ging das Obergericht von einem gebührenden Unterhalt der Beschwerdegegnerin von Fr. 6'612.-- aus, den sie im Umfang von Fr. 5'836.-- durch eigenes Einkommen decken könne. Bei einem Einkommen von Fr. 12'500.-- und einem gebührenden Unterhalt von Fr. 6'500.-- vermöge der Beschwerdeführer die ungedeckte Differenz von gerundet Fr. 780.-- ohne weiteres zu tragen.
2.2 Dagegen wendet der Beschwerdeführer ein, die Berechnung der gemeinsamen Lebenshaltung sei offensichtlich unrichtig, erstens weil der Mietzins im Jahr 1998 aufgrund der damals höheren Hypothekarzinsen Fr. 2'470.-- (anstatt Fr. 2'320.--) betrug, und zweitens weil für die kinderrelevanten Positionen gemäss Zürcher Tabellen Fr. 2'260.-- (durchschnittlicher Unterhaltsbedarf eines 14- und 12-jährigen Kindes) anstatt nur Fr. 2'065.-- hätten abgezogen werden müssen. Wenn man vom Einkommen im Trennungszeitpunkt (Fr. 9'850.--) die damaligen Wohnkosten (Fr. 2'620.--) abziehe und den Differenzbetrag (Fr. 7'320.--) indexiere, so ergebe dies einen Betrag von (gerundet) Fr. 8'000.--. Nach Abzug des gemeinsamen Grundbedarfs von Fr. 6'730.-- ergebe sich ein gemeinsamer Überschuss von Fr. 1'270.-- (anstatt Fr. 2'000.--).
Sodann trägt der Beschwerdeführer vor, der Anspruch auf Fortsetzung des ehelichen Lebensstandards könne nicht bedeuten, dass die Beschwerdegegnerin für sich allein weiterhin die Kosten des der ganzen Familie zur Verfügung gestandenen Reiheneinfamilienhauses (Fr. 2'320.--) beanspruchen könne; möglich und zumutbar sei, dass sie in eine 21⁄2- oder 3-Zimmerwohnung umziehe, welche im Kanton Zug für einen monatlichen Mietzins von Fr. 2'000.-- zu haben sei. Folglich betrage der erweiterte Grundbedarf der Beschwerdegegnerin Fr. 5'142.-- (und nicht Fr. 5'612.--). Zusammen mit der Hälfte des korrekt errechneten Überschusses ergebe sich ein gebührender Unterhalt von Fr. 5'777.--.
Hinsichtlich der Eigenversorgungskapazität der Beschwerdegegnerin wendet der Beschwerdeführer ein, das Obergericht sei - wie bereits das Kantonsgericht - von den Zahlen des Jahres 2006 ausgegangen, während die Beschwerdegegnerin bereits im Dezember 2007 bei einem 90% Pensum ein monatliches Einkommen von Fr. 5'328.65 erzielt habe, was bei einer Aufrechnung auf ein 100% Pensum Fr. 5'920.75 ergebe. Somit stünden ihr unter Berücksichtigung der Vermietung des Parkplatzes monatlich insgesamt Fr. 6'020.75 (anstatt Fr. 5'836.--) zur Verfügung. Sodann ergebe sich aus der an der Hauptverhandlung vor Obergericht eingereichten Steuererklärung 2009 ein Nettojahressalär von Fr. 74'020.--, was einem Monatssalär von Fr. 6'185.35 entspreche. Selbst nach Abzug der Kinderzulagen, die gemäss den Behauptungen der Beschwerdegegnerin in den erwähnten Gesamtbetrag eingeflossen sein sollen, verbleibe ein monatliches Salär von Fr. 5'818.35 für ein 90%-Pensum, was hochgerechnet auf ein 100%-Pensum ein Monatseinkommen von Fr. 6'464.80 (im Vergleich zu den vorinstanzlichen angenommenen Fr. 5'736.--) ergebe.
Daraus schliesst der Beschwerdeführer, dass die Beschwerdegegnerin in der Lage sei, den ihr gebührenden Unterhalt aus eigener Kraft zu decken, weshalb mit dem Zuspruch eines nachehelichen Unterhaltsbeitrages <ref-law> verletzt worden sei.
3. 3.1 Für die Unterhaltsfestsetzung gilt es zu beachten, dass der Richter in verschiedener Hinsicht auf sein Ermessen verwiesen ist (<ref-law>; <ref-ruling> E. 3a S. 141; Botschaft, BBl 1996 I S. 115 f.) und das Bundesgericht bei der Überprüfung solcher Entscheide eine gewisse Zurückhaltung übt: Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, das heisst wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat; aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 2c/aa S. 162; <ref-ruling> E. 4.2 S. 15; <ref-ruling> E. 1 S. 99).
Im Unterschied zur Rechtsanwendung ist das Bundesgericht an die kantonalen Sachverhaltsfeststellungen grundsätzlich gebunden (<ref-law>). Die Sachverhaltsfeststellung bzw. Beweiswürdigung prüft es nur auf Willkür oder andere Verfassungsverletzungen (<ref-law>; <ref-ruling> E. 1.2.2 S. 252). Diesbezüglich gilt das strenge Rügeprinzip (<ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
Im Unterschied zur Rechtsanwendung ist das Bundesgericht an die kantonalen Sachverhaltsfeststellungen grundsätzlich gebunden (<ref-law>). Die Sachverhaltsfeststellung bzw. Beweiswürdigung prüft es nur auf Willkür oder andere Verfassungsverletzungen (<ref-law>; <ref-ruling> E. 1.2.2 S. 252). Diesbezüglich gilt das strenge Rügeprinzip (<ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
3.2 3.2.1 Es trifft zu, dass die Miete im Jahr 1999 nicht Fr. 2'320.--, sondern Fr. 2'470.-- betrug, was rechnerisch zu einem tieferen gelebten Lebensstandard führen müsste. Indessen ist das Obergericht bei der Ermittlung des damaligen Haushaltseinkommens von einem Durchschnitt zwischen Fr. 9'405.90 und Fr. 10'295.--, ausmachend Fr. 9'850.--, ausgegangen. Bei schwankenden Einkommen, das heisst wenn Einkommensbestandteile unregelmässig bzw. in unregelmässiger Höhe oder nur einmalig ausbezahlt werden, ist praxisgemäss ein durchschnittliches Einkommen zu ermitteln (s. z.B. Urteil 5A_454/2010 E. 3.2, mit Hinweisen). Für unselbständig erwerbende Personen mit einem regelmässigen Lohn, wie dies für den Beschwerdeführer zutrifft, ist dagegen grundsätzlich vom letzten tatsächlichen Einkommen auszugehen. Dieses betrug im vorliegenden Fall für das letzte in gemeinsamem Haushalt verbrachte Jahr 1998 unbestrittenermassen Fr. 10'295.--. Daraus ergibt sich eine Differenz zu dem von der Vorinstanz angenommenen Lohn von Fr. 445.--, womit der Fehler beim Mietzins von Fr. 150.-- um das Dreifache kompensiert ist. Deshalb führt die Zugrundelegung der tieferen Miete jedenfalls im Ergebnis nicht zu einem offensichtlich unhaltbaren (Zwischen-)Ergebnis.
3.2.2 Auch mit Bezug auf den Unterhaltsbedarf der Kinder (Fr. 2'260.-- vs. Fr. 2'065.--) stimmt die Behauptung des Beschwerdeführers. Er übersieht allerdings, dass der vom Obergericht ermittelte Betrag den Durchschnitt über alle drei in den Zürcher Tabellen enthaltenen Alterskategorien darstellt. Die konkrete Bedarfsermittlung kommt nicht ohne gewisse Pauschalisierungen aus. Deshalb ist das Abstellen auf vorgegebene Bedarfszahlen (wie z.B. die "Zürcher Tabellen") unumgänglich und auch ohne weiteres zulässig (zuletzt: Urteil 5A_733/2009 vom 10. Februar 2010 E. 3.3.2, nicht publ. in: <ref-ruling>). Indes müssen die Beträge der Tabellen nicht zwingend übernommen werden. Sie stellen lediglich ein Hilfsmittel für die Festsetzung des Unterhaltsbeitrages dar und haben Richtwertcharakter. Die Festsetzung des Unterhaltsbedarfs im konkreten Fall bleibt ein Ermessensentscheid. Der Beschwerdeführer zeigt nicht auf, inwiefern das Obergericht mit dem gewählten Vorgehen sein Ermessen überschritten haben soll. Der Beschwerdeführer behauptet im Übrigen nicht, und es liegen auch keine Hinweise dafür vor, dass der tatsächliche Bedarf der Kinder grösser gewesen wäre als der im kantonalen Verfahren zugesprochene. Zumindest im Ergebnis lässt sich die vom Obergericht gewählte Rechnung in diesem Punkt nicht beanstanden.
3.2.3 Hinsichtlich des der Beschwerdegegnerin für die Bedarfsrechnung zugestandenen Mietzinses begnügt sich der Beschwerdeführer mit pauschalen Einwendungen. Von einer qualifizierten Ermessensüberschreitung kann indes keine Rede sein. Dies ergibt sich allein schon aus der Feststellung, dass ihm das Obergericht ebenfalls einen höheren Betrag für die Miete angerechnet hat, als er der Beschwerdegegnerin zuzugestehen bereit ist.
3.2.4 Der Beschwerdeführer leitet seine Schlussfolgerungen mit Bezug auf das Einkommen der Beschwerdegegnerin aus einer von dieser eingereichten Steuererklärung ab. Mit der Erwägung des Obergerichts, wonach die von der Beschwerdegegnerin eingereichte Lohnabrechnung pro Juni 2010 nur unwesentlich von den vorinstanzlichen Zahlen abweiche, setzt sich der Beschwerdeführer nicht auseinander, sodass nicht auf diesen Einwand eingetreten werden kann.
3.2.5 Nach dem Gesagten hat das Obergericht bei der Ermittlung eines nachehelichen Unterhalts von Fr. 780.-- weder einzelne Sachverhaltselemente willkürlich festgestellt noch das ihm zustehende Ermessen überschritten.
4. Der Beschwerdeführer begründet sein Begehren hinsichtlich der Kostenverlegung für das kantonale oberinstanzliche Verfahren ausschliesslich mit der von ihm beantragten Gutheissung seiner Beschwerde an das Bundesgericht. Da er unterliegt, gibt es keine Veranlassung, die kantonale Kostenregelung zu ändern. Das Begehren erweist sich als unbegründet.
5. Zusammenfassend ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerdeführer unterliegt und wird kostenpflichtig (<ref-law>). Hingegen ist keine Parteientschädigung geschuldet, denn der Beschwerdegegnerin ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 16. Dezember 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl V. Monn