Sachverhalt:
A.
A.a. A.A._ (geb. 1962; Beschwerdeführer) und B.A._ (geb. 1962; Beschwerdegegnerin) heirateten am 26. September 1990. Sie sind die Eltern zweier mittlerweile volljähriger Kinder. Seit dem 1. März 2013 leben die Ehegatten getrennt.
A.b. Am 2. März 2015 klagte A.A._ beim Richteramt Thal-Gäu auf Scheidung der Ehe. Mit Urteil vom 6. Juni 2018 entsprach das Richteramt diesem Begehren und regelte die Nebenfolgen der Scheidung. Dabei verpflichtete es A.A._ soweit hier interessierend dazu, an B.A._ bis zu ihrer Pensionierung nachehelichen Unterhalt von monatlich Fr. 2'800.-- zu bezahlen.
B.
Gegen dieses Urteil reichte A.A._ Berufung beim Obergericht des Kantons Solothurn ein. Dabei beantragte er unter anderem eine Reduktion des Unterhaltsbeitrags auf Fr. 2'354.-- im Monat. Der nacheheliche Unterhalt sei bis zur Pensionierung von B.A._, längstens aber bis und mit Februar 2027, zu bezahlen. Mit Urteil vom 16. Mai 2019 (eröffnet am 28. Mai 2019) hiess das Obergericht die Berufung im Zusammenhang mit der ebenfalls strittigen güterrechtlichen Auseinandersetzung teilweise gut (Dispositivziffern 1 und 2) und wies sie im Übrigen ab, soweit es darauf eintrat (Dispositivziffer 3). Die Kosten des Berufungsverfahrens auferlegte es den Parteien je hälftig, die Parteikosten schlug es wett (Dispositivziffern 4 und 5).
C.
A.A._ gelangt mit Beschwerde in Zivilsachen vom 18. Juni 2019 ans Bundesgericht. Er beantragt unter Kosten- und Entschädigungsfolgen, es seien die Ziffer 3 des Urteils des Obergerichts sowie die Ziffer 2 des Urteils des Richteramts aufzuheben und er sei zu verpflichten, an B.A._ ab Rechtskraft des Scheidungsurteils bis zu deren Pensionierung, längstens aber bis und mit Februar 2027, gestützt auf <ref-law> einen Unterhalt von (monatlich) Fr. 2'354.-- zu bezahlen.
Am 24. Juni 2019 beantragt das Obergericht, die Beschwerde sei abzuweisen. Mit Vernehmlassung vom 19. August 2019 schliesst B.A._ auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Parteien haben mit Eingaben vom 29. August und vom 6. September 2019 an ihren bisherigen Ausführungen festgehalten. Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens eingeholt.

Erwägungen:
1.
1.1. Angefochten ist der Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das auf Rechtsmittel hin (<ref-law>) über die vermögensrechtlichen Nebenfolgen einer Ehescheidung (nachehelicher Unterhalt) und damit über eine vermögensrechtliche Zivilsache nach <ref-law> entschieden hat. Der erforderliche Streitwert von Fr. 30'000.-- ist erreicht (Art. 74 Abs. 1 Bst. b, Art. 51 Abs. 1 Bst. a und Abs. 4 BGG). Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde berechtigt, die er auch fristgerecht (<ref-law>) eingereicht hat. Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2. Unzulässig ist der Antrag des Beschwerdeführers, es sei (auch) das Urteil des Richteramts teilweise aufzuheben. Die Berufung ist ein devolutives Rechtsmittel, weshalb dieses Urteil durch den Entscheid des Obergerichts ersetzt worden ist und im bundesgerichtlichen Verfahren kein taugliches Anfechtungsobjekt bildet (Urteil 5A_88/2020 vom 11. Februar 2021 E. 1.3 mit Hinweis). Gleichzeitig ist die Beschwerde grundsätzlich nur gegen die Urteile oberer kantonaler Gerichte zulässig, die letztinstanzlich auf Rechtsmittel hin entscheiden (<ref-law>; <ref-ruling> E. 4.1). Auf die Beschwerde ist insoweit nicht einzutreten.
2.
2.1. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden (<ref-law>). In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 1.7.1; <ref-ruling> E. 2).
2.2. Was die Feststellung des Sachverhalts (einschliesslich der Beweiswürdigung; Urteil 5A_242/2018 vom 24. August 2018 E. 1.2) angeht, legt das Bundesgericht seinem Urteil die vorinstanzlichen Feststellungen zugrunde (<ref-law>). Diesbezüglich kann nur vorgebracht werden, diese Feststellungen seien offensichtlich unrichtig, d.h. willkürlich, oder würden auf einer anderen Bundesrechtsverletzung im Sinne von <ref-law> (z.B. Verletzung von <ref-law> oder <ref-law>) beruhen. In der Beschwerde ist überdies darzutun, inwiefern die Behebung der gerügten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es gilt das strenge Rügeprinzip nach <ref-law>. Das Bundesgericht prüft daher nur klar und detailliert erhobene und soweit möglich belegte Rügen, während es auf ungenügend substanziierte Rügen und rein appellatorische Kritik am Sachverhalt nicht eintritt (<ref-ruling> E. 1.3.1; <ref-ruling> E. 2.3).
3.
Vor Bundesgericht beanstandet der Beschwerdeführer die Festsetzung des von ihm zu bezahlenden Unterhaltsbeitrags (hinten E. 4) sowie die vom Obergericht vorgesehene Dauer der Unterhaltspflicht (hinten E. 5). Unbestritten geblieben und nachfolgend daher nicht zu thematisieren ist dagegen, dass die Ehe der Parteien lebensprägend war und die Beschwerdeführerin gestützt auf <ref-law> Anspruch auf nachehelichen Unterhalt hat (grundlegend dazu Urteil 5A_907/2018 vom 3. November 2020 E. 3.4 mit zahlreichen Hinweisen [zur Publikation bestimmt]).
4.
4.1. Zur Festsetzung des streitbetroffenen Unterhalts ging das Obergericht nach der zweistufig-konkreten Methode (auch zweistufige Methode mit Überschussverteilung genannt) vor, was vor Bundesgericht nicht beanstandet wird (vgl. zu dieser Methode Urteil 5A_891/2018 vom 2. Februar 2021 E. 4 mit zahlreichen Hinweisen [zur Publikation bestimmt]). Dabei errechnete es einen massgebenden monatlichen Bedarf der Beschwerdegegnerin von Fr. 3'273.-- und des Beschwerdeführers von Fr. 4'716.--. Die Einkommen der Parteien stellte das Obergericht mit Fr. 2'000.-- im Monat für die Beschwerdegegnerin und Fr. 9'956.-- im Monat für den Beschwerdeführer fest. Den Ausführungen des Obergerichts lässt sich entnehmen, dass es bei der Ermittlung dieser Zahlen von den Verhältnissen nach der Trennung ausging. Die Berücksichtigung einer vom Beschwerdeführer behaupteten Sparquote lehnte das Obergericht ab. Dies ergab bei einem Gesamteinkommen von Fr. 11'956.-- und einem Gesamtbedarf von Fr. 7'989.-- einen Überschuss von Fr. 3'967.--, der den Parteien je hälftig zustehe. Der Anspruch der Beschwerdegegnerin belaufe sich damit auf den zur Deckung des ihr für den gebührenden Bedarf fehlenden Betrags von Fr. 1'273.-- und den hälftigen Überschuss von (gerundet) Fr. 1'983.--. Damit sei der von der Erstinstanz vorgesehene Unterhaltsbeitrag von monatlich Fr. 2'800.-- nicht zu beanstanden.
4.2. Nach Dafürhalten des Beschwerdeführers hat das Obergericht die Berücksichtigung einer monatlichen Sparquote von Fr. 1'775.15 zu Unrecht abgelehnt. Er, der Beschwerdeführer, habe gestützt auf die Steuerveranlagungen der Jahre 2009 und 2012 nachgewiesen, dass die Ersparnisse der Familie (abzüglich einer Erbschaft der Beschwerdeführerin) in den letzten drei Jahren vor der Trennung um insgesamt Fr. 63'906.-- angewachsen seien. Mangels weiterer Vermögenserträge oder Einnahmequellen sei dieser Vermögenszuwachs auf die Differenz zwischen dem damaligen Einkommen des Beschwerdeführers und den für die Lebenskosten der Familie verbrauchten Mitteln zurückzuführen. Die Beschwerdegegnerin habe keinen Gegenbeweis erbracht und für den Nachweis der Sparquote müsse die Darlegung des Vermögenszuwachs vor der Trennung genügen. Weiter wirft der Beschwerdeführer dem Obergericht vor, es missachte, dass Obergrenze des Unterhalts stets der zuletzt gemeinsam gelebte Lebensstandard sei. Entsprechend sei für die Ermittlung des Überschusses nicht das aktuelle Einkommen der Parteien, sondern das Einkommen während des Zusammenlebens heranzuziehen. Damals sei allein der Beschwerdeführer einer Erwerbsarbeit nachgegangen und er habe im Monat Fr. 9'000.-- verdient. Nach Abzug der vorgenannten Sparquote sei ein Überschuss von Fr. 1'994.-- verblieben, der von den Ehegatten verbraucht worden sei. Der gebührende Unterhalt der Beschwerdeführerin könne daher nicht mehr betragen als ihr heutiges Existenzminimum von Fr. 3'273.--, in welchem die trennungsbedingten Mehrkosten eingerechnet seien, zuzüglich der Hälfte des damaligen Überschusses, ausmachend Fr. 997.--. Dies ergebe, abzüglich des Einkommens der Ehefrau von Fr. 2'000.--, einen monatlichen Unterhaltsanspruch von Fr. 2'273.-- (recte: Fr. 2'270.--). Damit sei die beantragte Reduktion des Beitrags auf Fr. 2'354.-- angemessen.
Die Beschwerdegegnerin bringt vor, der Beschwerdeführer habe zu keinem Zeitpunkt eine Sparquote oder Ersparnisse nachweisen können. Ganz im Gegenteil habe sie, die Beschwerdeführerin, den Nachweis erbracht, dass das gemeinsame Vermögen sich während des Zusammenlebens verringert habe und die Ehegatten für den Familienunterhalt auf das vorhandene Vermögen zurückgegriffen hätten. Eine allfällige Sparquote werde ohnehin für die Deckung der trennungsbedingten Mehrkosten benötigt. Was ihr eigenes Einkommen angehe, so könne dieses nicht mit Fr. 2'000.-- im Monat beziffert werden. Da die Beschwerdegegnerin erst im Laufe des Scheidungsverfahrens eine Anstellung gefunden habe, müsse eine phasenweise Betrachtung erfolgen. Der Familienbedarf vor der Trennung habe Fr. 9'690.-- betragen.
4.3.
4.3.1. Bei einer lebensprägenden Ehe (vgl. vorne E. 3) ist der Unterhaltsanspruch in drei Schritten zu prüfen: Vorab ist der gebührende Unterhalt zu bestimmen, wofür die massgebenden Lebensverhältnisse der Parteien festzustellen sind. Der gebührende Unterhalt bemisst sich an dem in der Ehe zuletzt gemeinsam gelebten Standard. Auf dessen Fortführung haben bei genügenden Mitteln beide Teile Anspruch; gleichzeitig bildet der betreffende Standard aber auch die Obergrenze des gebührenden Unterhalts. Verunmöglichen scheidungsbedingte Mehrkosten es, den früheren Lebensstandard aufrechtzuerhalten, so hat der Unterhaltsgläubiger Anrecht auf die gleiche Lebenshaltung wie der Unterhaltsschuldner. Sodann ist zu prüfen, inwiefern die Ehegatten diesen Unterhalt je selbst finanzieren können. Der Vorrang der Eigenversorgung ergibt sich direkt aus dem Wortlaut von <ref-law>. Ist sie einem Ehegatten vorübergehend oder dauerhaft nicht möglich bzw. zumutbar, sodass er auf Unterhaltsleistungen des anderen angewiesen ist, muss in einem dritten Schritt dessen Leistungsfähigkeit ermittelt und ein angemessener Unterhaltsbeitrag festgesetzt werden; dieser beruht auf dem Prinzip der nachehelichen Solidarität (<ref-ruling> E. 3.1; vgl. weiter Urteil 5A_104/2018 vom 2. Februar 2021 E. 4 [zur Publikation bestimmt]).
4.3.2. Bezugspunkt des gebührenden Unterhalts ist nach dem Ausgeführten grundsätzlich die von den Ehegatten gemeinsam gelebte Lebenshaltung unter Berücksichtigung der scheidungsbedingten Mehrkosten (vgl. bereits Urteil 5C.278/2000 vom 4. April 2001 E. 3a; zur hier nicht einschlägigen Ausnahme der langen Trennungsdauer vgl. <ref-ruling> E. 4.2.1.1; Urteil 5A_709/2017 vom 3. April 2018 E. 3.3, in: FamPra.ch 2018 S. 842). Bei Berechnung des nachehelichen Unterhalts anhand der zweistufigen Methode folgt hieraus, dass für die Ermittlung eines (allfälligen) Überschusses dasjenige Einkommen heranzuziehen ist, über das die Ehegatten während des Zusammenlebens verfügten. Es ist der aus diesem Einkommen resultierende Überschuss, der die zuletzt gelebte Lebenshaltung der Parteien abbildet. Der Beschwerdeführer beklagt sich damit zu Recht darüber, dass das Obergericht im Rahmen der Berechnung des Unterhaltsanspruchs vom Überschuss ausging, den die Parteien nach der Trennung erzielten, indem es das aktuelle Gesamteinkommen der Familie dem aktuellen Gesamtbedarf gegenüberstellte (vgl. E. 4.1 hiervor). Soweit dieses Gesamteinkommen die zuletzt während des ehelichen Zusammenlebens erzielten Einkünfte übersteigt, widerspiegelt der daraus resultierende Überschuss nicht den zuletzt gemeinsam gelebten Standard, sondern die Verhältnisse nach der Trennung. Ein solches Ergebnis verträgt sich nicht mit dem Bundesrecht (zum Ganzen: Urteil 5A_24/2016 vom 23. August 2016 E. 4.1.2 und dazu HEINZ HAUSHEER, in: ZBJV 153/2013 S. 486 ff., 490; vgl. weiter Urteil 5A_891/2018 vom 2. Februar 2021 E. 4.4 [zur Publikation bestimmt]). Die Beschwerde ist in dieser Hinsicht begründet.
4.3.3. Das Obergericht stellte einzig die Verhältnisse nach der Trennung der Parteien fest (vgl. E. 4.1 hiervor). Auf dieser Grundlage lässt sich nicht bestimmen, ob während deren Zusammenlebens ein Überschuss erzielt wurde und wie hoch dieser war (vgl. zum diesbezüglichen Vorgehen Urteil 5A_891/2018, a.a.O. [zur Publikation bestimmt]). Folglich fehlen die tatsächlichen Grundlagen, um den Unterhaltsanspruch der Beschwerdegegnerin - er ist als solcher nicht strittig (vgl. vorne E. 3) - zu berechnen (vgl. Art. 112 Abs. 1 Bst. b BGG). Die Festsetzung des Unterhalts durch das Bundesgericht kommt damit nicht in Frage, auch wenn die Parteien sich zu den Verhältnissen vor der Trennung äussern. Vielmehr ist die Angelegenheit zur Erhebung des massgebenden Sachverhalts und zu neuer Entscheidung an die Vorinstanz zurückzuweisen (<ref-law>). Dabei hat das Obergericht Gelegenheit, auf die von den Parteien in diesem Zusammenhang erhobenen Vorbringen einzugehen. An dieser Stelle sind die entsprechenden Rügen unter Vorbehalt nachfolgender Ausführungen nicht mehr zu behandeln.
4.3.4. Das Obergericht erachtete die vom (beweisbelasteten; <ref-ruling> E. 3.3) Beschwerdeführer im Zusammenhang mit der Berechnung des massgebenden Überschusses geltend gemachte Sparquote nicht als genügend behauptet oder nachgewiesen. Der Beschwerdeführer habe keine Gegenüberstellung von Einkommen und Kosten vorgelegt, sondern allein den in der Steuererklärung ausgewiesenen Vermögensstand des Jahres 2009 mit jenem aus dem Jahr 2012 verglichen, was nicht ausreiche. Der Beschwerdeführer wiederholt vor Bundesgericht im Wesentlichen seine aus dem Vergleich der genannten Vermögensstände gezogenen Schlussfolgerungen und bekräftigt, dass die Sparquote seiner Ansicht nach damit nachgewiesen sei, zumal die Beschwerdegegnerin den Gegenbeweis nicht erbracht habe (vgl. E. 4.2 hiervor). Weder wirft der Beschwerdeführer der Vorinstanz damit eine (qualifiziert) unrichtige Sachverhaltsfeststellung vor, noch tut er eine solche auch nur annähernd dar. Er beschränkt sich vielmehr auf eine Darlegung des eigenen Standpunkts und setzt sich nicht mit den Überlegungen der Vorinstanz auseinander, was nicht ausreicht (vgl. vorne E. 2.2). Auf die Beschwerde ist damit insoweit nicht einzutreten.
5.
Hinsichtlich der weiter umstrittenen Dauer der Unterhaltspflicht anerkennt der Beschwerdeführer im Grundsatz, dass er der Beschwerdegegnerin bis zu deren Eintritt in das ordentliche Pensionsalter wird Unterhalt bezahlen müssen. Dennoch beantragte er vor Obergericht, die Unterhaltspflicht auf Februar 2027 zu befristen, was indes erfolglos blieb. Diesen Antrag stellte der Beschwerdeführer vor dem Hintergrund seines Eintritts in das Pensionsalter zu diesem Zeitpunkt. Sollte bis dahin das Pensionsalter für Frauen auf 65 Jahre angehoben werden, werde er vor der Beschwerdeführerin in Pension treten. Für diesen Fall sei eine Befristung der Rente auf den genannten Zeitpunkt notwendig. Das Obergericht hielt dem entgegen, dass nicht absehbar sei, ob und wann eine entsprechende Gesetzesänderung in Kraft trete. Im Urteilszeitpunkt nicht absehbare Veränderungen seien aber im Scheidungsurteil nicht zu berücksichtigen.
Der Beschwerdeführer trägt vor Bundesgericht im Wesentlichen erneut seine Ausführungen zu einer möglichen Anhebung des Pensionsalters von Frauen vor und ergänzt, eine künftige Änderung könne im Scheidungsurteil ebenfalls dann berücksichtigt werden, wenn sie nicht klar vorhersehbar sei. Die blosse Möglichkeit einer Änderung reiche aus. Es ist bereits zweifelhaft, ob die Beschwerde damit den Begründungsanforderungen genügt. Auch hier unterbreitet der Beschwerdeführer dem Bundesgericht letztlich seine eigenen Ansichten, ohne sich vertieft mit der Argumentation der Vorinstanz auseinander zu setzen (vgl. vorne E. 2). Jedenfalls ist es nicht zu beanstanden, wenn das Obergericht die bloss mehr oder weniger entfernte Möglichkeit einer künftigen Gesetzesänderung im Scheidungsurteil nicht berücksichtigte (vgl. <ref-ruling> E. 3a; <ref-ruling> E. 5a; Urteil 5A_751/2011 vom 22. Dezember 2011 E. 4.2.1; vgl. auch <ref-ruling> E. 3.3.1 a.E.). Deren Berücksichtigung hätte sich nur aufgedrängt, wenn sie mit Bestimmtheit oder grosser Wahrscheinlichkeit eintreten würde; es müsste eine Prognose mit genügender Sicherheit gestellt werden können (Urteil 5C.52/2007 vom 12. Juli 2007 E. 2, in: FamPra.ch 2007 S. 933; vgl. weiter Urteil 5A_593/2017 vom 24. November 2017 E. 6.3), was hier gerade nicht der Fall ist. Nichts anderes ergibt sich aus der vom Beschwerdeführer angerufenen Lehrmeinung (vgl. SCHWENZER/BÜCHLER, in: FamKomm Scheidung, Band I, 3. Aufl. 2017, N. 8 zu <ref-law>). Wie der Beschwerdeführer ebenfalls erkennt, ist er vielmehr auf das Abänderungsverfahren verwiesen, sollte die fragliche Änderung eintreten (<ref-ruling> E. 11.1.1; vgl. auch <ref-ruling> E. 3.3.1).
6.
6.1. Zusammenfassend ist die Beschwerde teilweise gutzuheissen und die Ziffer 3 des angefochtenen Urteils soweit den nachehelichen Unterhalt betreffend aufzuheben. Die Sache ist zur Ergänzung des Sachverhalts und zu neuer Entscheidung an das Obergericht zurückzuweisen. Das Obergericht wird auch neu über die Kosten des kantonalen Verfahrens zu bestimmen haben, weshalb auch die Ziffern 4 und 5 des angefochtenen Urteils aufzuheben sind (Art. 67 und 68 Abs. 5 BGG). Im Übrigen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
6.2. Die Rückweisung der Angelegenheit zum erneuten Entscheid gilt im Hinblick auf die Gerichtskosten und die Parteientschädigung als Obsiegen des Beschwerdeführers. Unerheblich bleibt, dass er die Rückweisung nicht beantragt hat (<ref-ruling> E. 11.1). Entsprechend obsiegen die Parteien je zur Hälfte, sind ihnen die Gerichtskosten in diesem Umfang aufzuerlegen (<ref-law>) und die Parteikosten wettzuschlagen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Die Ziffer 3 des Urteils des Obergerichts des Kantons Solothurn vom 16. Mai 2019 wird soweit den nachehelichen Unterhalt betreffend und die Ziffern 4 und 5 werden ganz aufgehoben. Die Sache wird zur Ergänzung des Sachverhalts und zu neuer Entscheidung an das Obergericht zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Parteien je zur Hälfte auferlegt.
3.
Die Parteikosten werden wettgeschlagen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 2. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber