Sachverhalt: A. A._ (Beschwerdeführer) war ab 14. Januar 2002 bei der B._ AG (Beschwerdegegnerin) als Abteilungsleiter "Einkauf/ Verkauf DVD" angestellt. Am 27. August 2014 kam es zwischen A._ und C._ - dem Verwaltungsratspräsidenten der B._ AG - zu einer Auseinandersetzung. Ab dem Folgetag war A._ bis Ende Januar 2016 krankgeschrieben. Mit Schreiben vom 15. September 2014 teilte die B._ AG A._ mit, dass sie plane, nach seiner Genesung das Arbeitsverhältnis aufzulösen und ihn von jeglicher Arbeitsleistung freizustellen. Mit Schreiben vom 24. Februar 2015 kündigte die B._ AG das Arbeitsverhältnis per 31. März 2015. A._ erhob innerhalb der Kündigungsfrist Einsprache. B. Am 29. Februar 2016 klagte A._ beim Bezirksgericht (Arbeitsgericht) Baden mit dem Begehren, die B._ AG sei zu verurteilen, ihm Fr. 10'923.37 brutto sowie Fr. 27'300.-- netto je nebst Zins zu 5 % seit 22. September 2015 und Fr. 4'720.14 netto nebst Zins zu 5 % seit 17. November 2015 zu bezahlen. Mit Entscheid vom 28. August 2017 hiess das Arbeitsgericht die Klage teilweise gut und verurteilte die B._ AG, A._ netto Fr. 7'514.70 nebst Zins zu 5 % seit 22. September 2015 zu bezahlen. Gegen diesen Entscheid erhob A._ Berufung, die B._ AG Anschlussberufung an das Obergericht des Kantons Aargau. Mit Entscheid vom 11. April 2019 hob das Obergericht den Entscheid des Arbeitsgerichts auf und verurteilte die B._ AG in Abweisung der Berufung und teilweiser Gutheissung der Anschlussberufung, A._ netto Fr. 1'567.10 nebst Zins zu 5 % seit 22. September 2015 zu bezahlen. C. A._ verlangt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts sei aufzuheben. Die B._ AG sei zu verurteilen, ihm Fr. 10'923.37 brutto sowie Fr. 27'300.-- netto je nebst Zins zu 5 % seit 22. September 2015 zu bezahlen. Eventualiter sei die Sache "zur Durchführung des Beweisverfahrens bezüglich Verursachung der Krankheit" und "zur Bemessung der Entschädigung wegen missbräuchlicher Kündigung" zurückzuweisen. Überdies sei die B._ AG zu verurteilen, ihm Fr. 4'720.14 netto nebst Zins zu 5 % seit 17. November 2015 zu bezahlen. Das Obergericht verzichtete auf Vernehmlassung. Die B._ AG begehrt, die Beschwerde sei abzuweisen, soweit auf sie einzutreten sei. Mit Präsidialverfügung vom 4. September 2019 wurde der Beschwerde aufschiebende Wirkung erteilt.