Sachverhalt: A. A.a. A._ (geb. 1970; Beschwerdeführer) und B._ (geb. 1969; Beschwerdegegnerin) heirateten 1999. Sie sind die Eltern der Kinder C._ (geb. 2001), D._ (geb. 2004) und E._ (geb. 2007). A.b. Am 26. Januar 2015 hoben die Ehegatten den gemeinsamen Haushalt auf. Mit Eheschutzentscheid vom 14. September 2015 stellte das Bezirksgericht Laufenburg soweit hier interessierend C._ und E._ unter die Obhut der Mutter und D._ unter diejenige des Vaters. Ausserdem genehmigte es eine von den Ehegatten geschlossene Teilvereinbarung, mit der sich A._ verpflichtete, vom 1. Juni bis zum 30. September 2015 für C._ und E._ monatlichen Unterhalt von je Fr. 850.-- (zzgl. Kinder- und Ausbildungszulagen) zu leisten. Den an B._ für den gleichen Zeitraum zu zahlenden Ehegattenunterhalt bestimmte das Bezirksgericht auf Fr. 3'530.-- im Monat. In Ziffer 6.3 der auch insoweit genehmigten Teilvereinbarung hielten die Ehegatten fest, "dass die Unterhaltsbeiträge ab dem 1. Oktober 2015 erst festgelegt werden können, wenn Klarheit in Bezug auf ihre künftige Einkommenssituation herrscht, d.h. wenn insbesondere die Entscheide der Invalidenversicherung vorliegen". Ein von B._ gegen den Eheschutzentscheid eingereichtes Revisionsgesuch wies das Bezirksgericht am 27. Mai 2016 ab. A.c. Am 27. Januar 2017 machte A._ beim Bezirksgericht das Scheidungsverfahren anhängig. Mit Verfügung vom 21. Dezember 2017 verpflichtete ihn das Gericht dazu, für die Ehefrau einen Gerichtskostenvorschuss von Fr. 1'500.-- zu bezahlen und ihr die Parteikosten von Fr. 2'780.-- vorzuschiessen. Am 3. November 2017 und am 5. Juni 2018 beantragte B._ die Festsetzung von Unterhaltsbeiträgen ab dem 1. Oktober 2015. Diesbezüglich entschied das Bezirksgericht am 29. Juni 2018 Folgendes: "1. 1.1. Der Vater wird verpflichtet, der Mutter an den Unterhalt des Sohnes C._ monatlich folgende Beiträge Fr. 487.00 vom 1. August 2016 bis zum 31. Dezember 2016 Fr. 758.00 vom 1. Januar 2017 bis 31. März 2017 Fr. 1'140.00 vom 1. April 2017 bis 30. Juni 2017 Fr. 806.00 vom 1. Juli 2017 bis 31. Dezember 2017 Fr. 61.00 vom 1. Januar 2018 bis 30. April 2018 Fr. 31.00 vom 1. Mai 2018 bis 14. Mai 2018 zuzüglich allfällige bezogene Kinder- und Ausbildungszulagen zu bezahlen. 1.2. Der Vater wird verpflichtet, der Mutter an den Unterhalt des Sohnes E._ monatlich folgende Beiträge Fr. 325.00 vom 1. August 2016 bis zum 31. Dezember 2016 Fr 596.00 vom 1. Januar 2017 bis 31. März 2017 Fr. 978.00 vom 1. April 2017 bis 30. Juni 2017 Fr. 644.00 vom 1. Juli 2017 bis 31. Dezember 2017 Fr. 149.00 vom 1. Januar 2018 bis 30. April 2018 Fr. 75.00 vom 1. Januar [recte: Mai] 2018 bis 14. Mai 2018 zuzüglich allfällige bezogene Kinder- und Ausbildungszulagen zu bezahlen. 2. [A._] wird verpflichtet, [B._] an den persönlichen Unterhalt monatlich folgende Beiträge - Fr. 653.00 vom 1. August 2016 bis zum 31. Dezember 2016 - Fr. 431.00 vom 1. Januar 2017 bis zum 31. März 2017 zu bezahlen. 3. Auf die Unterhaltsbeiträge gemäss Ziff. 1 und 2 vorstehend sind Zahlungen von [A._] an [B._] zwischen dem 1. August 2016 und dem 31. Mai 2018 von insgesamt Fr. 37'080.00 (Wohnkosten von [B._] sowie der Söhne C._ und E._) anzurechnen." Ausserdem hielt das Bezirksgericht fest, dass beide Parteien ihre eigenen Parteikosten zu tragen hätten und dass B._ den Parteikostenvorschuss zurückzuzahlen habe. B. Die von B._ hiergegen eingereichte Berufung hiess das Obergericht des Kantons Aargau mit Entscheid vom 12. November 2018 (eröffnet am 5. Dezember 2018) teilweise gut, wobei es die Verpflichtung von B._ zur Rückzahlung des Parteikostenvorschusses ersatzlos aufhob und die Unterhaltsbeiträge wie folgt neu festsetzte: "1. 1.1. Der Vater wird verpflichtet, der Mutter an den Unterhalt des Sohnes C._ monatlich folgende Beiträge Fr. 450.00 vom 1. August 2016 bis zum 28. Februar 2019 Fr. 690.00 ab 1. März 2019 zuzüglich allfällige bezogene Kinder- und Ausbildungszulagen zu bezahlen. 1.2. Der Vater wird verpflichtet, der Mutter an den Unterhalt des Sohnes E._ monatlich folgende Beiträge Fr. 460.00 vom 1. August 2016 bis zum 31. Dezember 2016 Fr. 1'550.00 vom 1. Januar 2017 bis 31. Dezember 2018 (davon Fr. 1'090.00 Betreuungsunterhalt) Fr. 1'560.00 im Januar und Februar 2019 (davon Fr. 1'100.00 Betreuungsunterhalt) Fr. 2'060.00 ab 1. März 2019 (davon Fr. 1'100.00 Betreuungsunterhalt) zuzüglich allfällige bezogene Kinder- und Ausbildungszulagen zu bezahlen. 2. [A._] wird verpflichtet, [B._] an den persönlichen Unterhalt monatlich folgende Beiträge Fr. 1'090.00 vom 1. August 2016 bis zum 31. Dezember 2016 Fr. 431.00 vom 1. Januar 2017 bis zum 31. März 2017 Fr. 0.00 vom 1. April 2017 bis 28. Februar 2019 Fr. 1'346.00 ab 1. März 2019 zu bezahlen. 3. Auf die Unterhaltsbeiträge gemäss Ziff. 1 und 2 vorstehend sind Zahlungen von [A._] an [B._] zwischen dem 1. August 2016 und dem 31. Mai 2018 von insgesamt Fr. 36'820.00 (Wohnkosten von [B._] sowie der Söhne C._ und E._) anzurechnen." Weitergehend wies das Obergericht die Berufung ab. Die Gerichtskosten des Berufungsverfahrens auferlegte es den Ehegatten je hälftig, die Prozesskosten schlug es wett. C. Mit Beschwerde in Zivilsachen vom 4. Januar 2019 gelangt A._ ans Bundesgericht. Er beantragt, es sei der Entscheid des Obergerichts vom 12. November 2018 aufzuheben und in Abweisung der Berufung der Entscheid des Bezirksgerichts vom 29. Juni 2018 zu bestätigen. Die Kosten des Berufungsverfahrens seien B._ aufzuerlegen und diese habe ihm eine Entschädigung für die Parteikosten von Fr. 3'000.-- (inkl. Auslagen und MWSt) zu bezahlen. Eventuell sei das Verfahren an das Obergericht zurückzuweisen. Ausserdem beantragt A._, der Beschwerde sei die aufschiebende Wirkung zu erteilen. Am 11. Januar 2019 verzichtet das Obergericht auf eine Vernehmlassung zum Gesuch um aufschiebende Wirkung und mit Eingabe vom 24. Januar 2019 beantragt B._, dieses sei abzuweisen und der Beschwerde sei keine aufschiebende Wirkung zu gewähren. Mit Verfügung vom 25. Januar 2019 hat der Präsident der II. zivilrechtlichen Abteilung der Beschwerde für die verfallenen, nicht aber für die laufenden Unterhaltsbeiträge aufschiebende Wirkung zuerkannt. Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens, indes keine Vernehmlassung eingeholt.