Sachverhalt: A. A._ (Kläger, Beschwerdeführer) erhob am 28. April 2010 beim Bezirksgericht Aarau zwei separate Klagen gegen B._ (Beklagte, Beschwerdegegnerin), mit der er Honorarforderungen aus einem Anwaltsmandat von Fr. 13'501.75 bzw. Fr. 22'433.10 nebst Zins geltend machte. Am 25. Oktober 2010 vereinigte das Gerichtspräsidium die beiden Verfahren. Am 18. April 2013 hiess das Bezirksgericht die Klage teilweise gut und verpflichtete die Beklagte, dem Kläger Fr. 7'408.90 bzw. Fr. 12'412.85, gesamthaft Fr. 19'821.75, nebst Zins, zu bezahlen (Urteilsdispositiv Ziff. 1). Ferner hob es die Rechtsvorschläge in den gegen sie angehobenen Betreibungen in entsprechendem Umfang auf (Urteilsdispositiv Ziff. 2). Die Verfahrenskosten von insgesamt Fr. 4'830.-- auferlegte es im Umfang ihres Unterliegens zu 55 % im Betrag von Fr. 2'656.50 der Beklagten und im Umfang seines Unterliegens zu 45 % im Betrage von Fr. 2'173.50 dem Kläger (Urteilsdispositiv Ziff. 3 Abs. 1). Der auf die Beklagte entfallende Teil der Kosten wurde ihr im Hinblick auf die gewährte unentgeltliche Rechtspflege "einstweilen vorgemerkt" (Urteilsdispositiv Ziff. 3 Abs. 2). Ferner verpflichtete das Gericht die Beklagte, aufgrund ihres Unterliegens im Umfang von 55 % dem Kläger 1/10 seiner richterlich genehmigten Parteikosten von total Fr. 16'314.25 zu bezahlen. Sodann bestimmte es, dass die Beklagte ihre eigenen Parteikosten unter Vorbehalt der ihr gewährten unentgeltlichen Rechtspflege selber zu Tragen habe (Urteilsdispositiv Ziff. 4). Am 13. November 2013 gelangte der Kläger mit Berufung an das Obergericht des Kantons Aargau und stellte folgende Anträge: "A. Das Urteil des Bezirksgerichts Aarau vom 18.04.2013 sei aufzuheben und wie folgt neu zu fassen: 1. Die Beklagte wird verpflichtet, dem Kläger und Berufungskläger CHF 35'934.85 nebst Zins zu 5 % seit dem 21.09.2009 zu bezahlen. (...) 3. Die Gerichts- und Parteikosten werden der Beklagten und Berufungsbeklagten auferlegt. 3. Die Gerichts- und Parteikosten werden der Beklagten und Berufungsbeklagten auferlegt. B. Die Gerichts- und Parteikosten des Berufungsverfahrens seien der Beklagten und Berufungsbeklagten aufzuerlegen." Tags darauf erhob die Beklagte ebenfalls Berufung gegen den Entscheid vom 18. April 2013 und beantragte, die Klage und die Rechtsöffnungsbegehren des Klägers seien abzuweisen. Mit Entscheid vom 18. November 2014 trat das Obergericht auf die Berufung der Beklagten nicht ein, da sie, nachdem ihr Gesuch um unentgeltliche Rechtspflege abgewiesen worden war, den von ihr verlangten Kostenvorschuss nicht geleistet hatte (Dispositiv Ziff. 1.1). Die Berufung des Klägers wies es ab (Dispositiv Ziff. 1.2). Die Verfahrenskosten von Fr. 2'500.-- auferlegte es den Parteien je zur Hälfte (Dispositiv Ziff. 2). Ferner verpflichtete es die Beklagte, dem Kläger eine Parteientschädigung von Fr. 613.-- zu bezahlen für ein von diesem gestelltes Begehren um Sicherstellung der Parteientschädigung, das mit dem Nichteintreten auf die Berufung der Beklagten gegenstandslos geworden war. Im Übrigen schlug es die Parteikosten wett (Dispositiv Ziff. 3). B. Der Kläger erhob gegen den Entscheid des Obergerichts vom 18. November 2014 beim Bundesgericht Beschwerde. Er beantragt im Wesentlichen, es sei dieses Urteil in Dispositiv Ziff. 1.2. aufzuheben, d.h. soweit das Obergericht seine Berufung abgewiesen habe, und in der Weise neu zu fassen, als darin in teilweiser Gutheissung seiner Berufung das Urteil des Bezirksgerichts in Ziff. 3 Abs. 1 und Ziff. 4 (erstinstanzliche Kosten- und Entschädigungsfolgen) aufgehoben werde. Diese Ziffern seien wie folgt neu so zu fassen, dass die erstinstanzlichen Verfahrenskosten von insgesamt Fr. 4'830.-- der Beschwerdegegnerin im Umfang von 65 % im Betrag von Fr. 3'139.50 und im Umfang von 35 % im Betrag von Fr. 1'690.50 dem Beschwerdeführer auferlegt würden, dass die Beschwerdegegnerin verpflichtet werde, dem Beschwerdeführer 3/10 seiner richterlich genehmigten (erstinstanzlichen) Parteikosten von Fr. 16'134.25, somit Fr. 4'894.30, zu bezahlen, und dass sie ihre eigenen Parteikosten unter Vorbehalt der ihr gewährten unentgeltlichen Rechtspflege selber zu tragen habe. Weiter verlangt der Beschwerdeführer, Ziffer 2 des obergerichtlichen Urteilsdispositivs sei aufzuheben und so zu fassen, dass die (obergerichtlichen) Verfahrenskosten von Fr. 2'500.-- ihm zu 2/5, d.h. mit Fr. 1'000.--, und der Beschwerdegegnerin zu 3/5, d.h. mit Fr. 1'500.--, auferlegt würden. Schliesslich verlangt er auch die Aufhebung von Ziffer 3 des obergerichtlichen Urteilsdispositivs und deren Neufassung in der Weise, dass die Beschwerdegegnerin verpflichtet werde, ihm eine zweitinstanzliche Parteientschädigung von Fr. 1'000.-- zu bezahlen. Eventuell seien die Ziffern 1.2, 3 und 4 des Urteils des Obergerichts aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Vorinstanz schliesst auf Abweisung der Beschwerde. Die Beschwerdegegnerin äusserte sich zur Beschwerde, ohne einen konkreten Antrag zu stellen. C. Auf eine gegen den Entscheid des Obergerichts vom 18. November 2014 erhobene Beschwerde der Beklagten trat das Bundesgericht mit Urteil 4A_29/2015 vom 2. Februar 2015 nicht ein.