Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) erhob am 28. April 2010 beim Bezirksgericht Aarau zwei separate Klagen gegen B._ (Beklagte, Beschwerdegegnerin), mit der er Honorarforderungen aus einem Anwaltsmandat von Fr. 13'501.75 bzw. Fr. 22'433.10 nebst Zins geltend machte.
Am 25. Oktober 2010 vereinigte das Gerichtspräsidium die beiden Verfahren. Am 18. April 2013 hiess das Bezirksgericht die Klage teilweise gut und verpflichtete die Beklagte, dem Kläger Fr. 7'408.90 bzw. Fr. 12'412.85, gesamthaft Fr. 19'821.75, nebst Zins, zu bezahlen (Urteilsdispositiv Ziff. 1). Ferner hob es die Rechtsvorschläge in den gegen sie angehobenen Betreibungen in entsprechendem Umfang auf (Urteilsdispositiv Ziff. 2). Die Verfahrenskosten von insgesamt Fr. 4'830.-- auferlegte es im Umfang ihres Unterliegens zu 55 % im Betrag von Fr. 2'656.50 der Beklagten und im Umfang seines Unterliegens zu 45 % im Betrage von Fr. 2'173.50 dem Kläger (Urteilsdispositiv Ziff. 3 Abs. 1). Der auf die Beklagte entfallende Teil der Kosten wurde ihr im Hinblick auf die gewährte unentgeltliche Rechtspflege "einstweilen vorgemerkt" (Urteilsdispositiv Ziff. 3 Abs. 2). Ferner verpflichtete das Gericht die Beklagte, aufgrund ihres Unterliegens im Umfang von 55 % dem Kläger 1/10 seiner richterlich genehmigten Parteikosten von total Fr. 16'314.25 zu bezahlen. Sodann bestimmte es, dass die Beklagte ihre eigenen Parteikosten unter Vorbehalt der ihr gewährten unentgeltlichen Rechtspflege selber zu Tragen habe (Urteilsdispositiv Ziff. 4).
Am 13. November 2013 gelangte der Kläger mit Berufung an das Obergericht des Kantons Aargau und stellte folgende Anträge:
"A.
Das Urteil des Bezirksgerichts Aarau vom 18.04.2013 sei aufzuheben und wie folgt neu zu fassen:
1. Die Beklagte wird verpflichtet, dem Kläger und Berufungskläger CHF 35'934.85 nebst Zins zu 5 % seit dem 21.09.2009 zu bezahlen.
(...)
3. Die Gerichts- und Parteikosten werden der Beklagten und Berufungsbeklagten auferlegt.
3. Die Gerichts- und Parteikosten werden der Beklagten und Berufungsbeklagten auferlegt.
B. Die Gerichts- und Parteikosten des Berufungsverfahrens seien der Beklagten und Berufungsbeklagten aufzuerlegen."
Tags darauf erhob die Beklagte ebenfalls Berufung gegen den Entscheid vom 18. April 2013 und beantragte, die Klage und die Rechtsöffnungsbegehren des Klägers seien abzuweisen.
Mit Entscheid vom 18. November 2014 trat das Obergericht auf die Berufung der Beklagten nicht ein, da sie, nachdem ihr Gesuch um unentgeltliche Rechtspflege abgewiesen worden war, den von ihr verlangten Kostenvorschuss nicht geleistet hatte (Dispositiv Ziff. 1.1). Die Berufung des Klägers wies es ab (Dispositiv Ziff. 1.2). Die Verfahrenskosten von Fr. 2'500.-- auferlegte es den Parteien je zur Hälfte (Dispositiv Ziff. 2). Ferner verpflichtete es die Beklagte, dem Kläger eine Parteientschädigung von Fr. 613.-- zu bezahlen für ein von diesem gestelltes Begehren um Sicherstellung der Parteientschädigung, das mit dem Nichteintreten auf die Berufung der Beklagten gegenstandslos geworden war. Im Übrigen schlug es die Parteikosten wett (Dispositiv Ziff. 3).
B.
Der Kläger erhob gegen den Entscheid des Obergerichts vom 18. November 2014 beim Bundesgericht Beschwerde. Er beantragt im Wesentlichen, es sei dieses Urteil in Dispositiv Ziff. 1.2. aufzuheben, d.h. soweit das Obergericht seine Berufung abgewiesen habe, und in der Weise neu zu fassen, als darin in teilweiser Gutheissung seiner Berufung das Urteil des Bezirksgerichts in Ziff. 3 Abs. 1 und Ziff. 4 (erstinstanzliche Kosten- und Entschädigungsfolgen) aufgehoben werde. Diese Ziffern seien wie folgt neu so zu fassen, dass die erstinstanzlichen Verfahrenskosten von insgesamt Fr. 4'830.-- der Beschwerdegegnerin im Umfang von 65 % im Betrag von Fr. 3'139.50 und im Umfang von 35 % im Betrag von Fr. 1'690.50 dem Beschwerdeführer auferlegt würden, dass die Beschwerdegegnerin verpflichtet werde, dem Beschwerdeführer 3/10 seiner richterlich genehmigten (erstinstanzlichen) Parteikosten von Fr. 16'134.25, somit Fr. 4'894.30, zu bezahlen, und dass sie ihre eigenen Parteikosten unter Vorbehalt der ihr gewährten unentgeltlichen Rechtspflege selber zu tragen habe. Weiter verlangt der Beschwerdeführer, Ziffer 2 des obergerichtlichen Urteilsdispositivs sei aufzuheben und so zu fassen, dass die (obergerichtlichen) Verfahrenskosten von Fr. 2'500.-- ihm zu 2/5, d.h. mit Fr. 1'000.--, und der Beschwerdegegnerin zu 3/5, d.h. mit Fr. 1'500.--, auferlegt würden. Schliesslich verlangt er auch die Aufhebung von Ziffer 3 des obergerichtlichen Urteilsdispositivs und deren Neufassung in der Weise, dass die Beschwerdegegnerin verpflichtet werde, ihm eine zweitinstanzliche Parteientschädigung von Fr. 1'000.-- zu bezahlen. Eventuell seien die Ziffern 1.2, 3 und 4 des Urteils des Obergerichts aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Die Vorinstanz schliesst auf Abweisung der Beschwerde. Die Beschwerdegegnerin äusserte sich zur Beschwerde, ohne einen konkreten Antrag zu stellen.
C.
Auf eine gegen den Entscheid des Obergerichts vom 18. November 2014 erhobene Beschwerde der Beklagten trat das Bundesgericht mit Urteil 4A_29/2015 vom 2. Februar 2015 nicht ein.

Erwägungen:
1.
Der Streitwert bestimmt sich nach den Begehren, die vor der Vorinstanz streitig geblieben sind (<ref-law>). Dabei ist auch bei ausschliesslicher Anfechtung des Kostenentscheids der Streitwert in der Hauptsache massgebend (<ref-ruling> E. 1.2.2). Im vorinstanzlichen Verfahren war der volle Forderungsbetrag von Fr. 35'934.85 strittig. Der von <ref-law> geforderte Mindeststreitwert ist demnach erreicht und die Beschwerde in Zivilsachen, deren übrige Sachurteilsvoraussetzungen ebenfalls erfüllt sind, grundsätzlich zulässig.
Soweit der Beschwerdeführer auch subsidiäre Verfassungsbeschwerde erhebt, ist demnach auf seine Eingabe nicht einzutreten (<ref-law>).
Nicht eingetreten werden kann auf die Beschwerde, soweit darin unabhängig vom Ausgang des vorliegenden Verfahrens die Abänderung der vorinstanzlichen Verfahrenskosten verlangt wird, da der Beschwerdeführer diesen Antrag mit keinem Wort begründet (Art. 42 Abs. 1 und 2 BGG).
2.
2.1. Der Beschwerdeführer bringt in der Beschwerde vor, er habe in der Berufung an die Vorinstanz bezüglich den (erstinstanzlichen) Kosten beantragt, diese seien vollumfänglich der Beschwerdegegnerin aufzuerlegen. Für den Fall, dass die Berufung nicht gutgeheissen werde, habe er in der Berufungsantwort (recte: Berufungsschrift) vom 13. November 2013, Ziff. 12.2 folgendes angeführt:
"12. Kostenverteilung
(...)
2.1. Eventualiter ist die Kostenverteilung des Bezirksgerichts Aarau sowieso zu korrigieren. Dieses hält sich dabei basierend auf <ref-law> AG mathematisch an die Anteile des Obsiegens und Unterliegens.
Das Verfahren vor dem Bezirksgericht Aarau zeichnete sich dadurch aus, dass es durch eine Vielzahl überwiegend unnötiger, teilweise ungebührlicher Eingaben der Beklagten erschwert, verzögert und verteuert wurde. Die 12-seitige Aktenzusammenfassung im angefochtenen Urteil ist augenscheinlicher Beweis dafür. Zudem blieb die Beklagte der Hauptverhandlung vom 09.11.2011 unentschuldigt fern, so dass eine zweite Hauptverhandlung durchgeführt werden musste. Die erstinstanzlichen Kosten wären somit auch bei Bestätigung des angefochtenen Urteils in den materiellen Punkten vermehrt zu Lasten der Beklagten zu verlegen (vgl. Bühler/Edelmann/Killer, Komm. zur aargauischen Zivilprozessordnung, Aarau u.w. 1998, N. 14 zu <ref-law> AG) "
Zu dieser explizit angefochtenen erstinstanzlichen Kostenverteilung fehle im angefochtenen Urteil der Vorinstanz, so der Beschwerdeführer weiter, jegliche Begründung. Das Urteil befasse sich damit mit keinem Wort. Dadurch habe die Vorinstanz den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt.
Die Rüge ist begründet.
2.2. Der verfassungsmässige Anspruch auf rechtliches Gehör umfasst das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Akts zur Sache zu äussern. Er verlangt von der Behörde, dass sie seine Vorbringen tatsächlich hört, ernsthaft prüft und in ihrer Entscheidfindung angemessen berücksichtigt. Dies gilt für alle form- und fristgerechten Äusserungen, Eingaben und Anträge, die zur Klärung der konkreten Streitfrage geeignet und erforderlich erscheinen. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt (vgl. <ref-ruling> E. 5.1 S. 503 f.; <ref-ruling> E. 5.1; <ref-ruling> E. 2.2.1 S. 188 mit Hinweisen).
Nachdem die Vorinstanz die Berufung des Beschwerdeführers in der Hauptsache abgewiesen hatte, kam den vorstehend dargestellten, vom Beschwerdeführer für diesen Fall angebrachten Ausführungen für die erstinstanzlichen Kostenverlegung entscheiderhebliche Bedeutung zu. Dem vorinstanzlichen Entscheid lässt sich dazu indessen, wie der Beschwerdeführer zutreffend geltend macht, kein Wort entnehmen, so dass daraus nicht erkennbar wird, ob sich das Gericht überhaupt mit diesen Vorbringen auseinandersetzte und aus welchen Gründen es diesen gegebenenfalls nicht folgte. Die Begründung des angefochtenen Entscheids ist in diesem Punkt offensichtlich in einem entscheiderheblichen Punkt lückenhaft und verletzt den Gehörsanspruch des Beschwerdeführers.
2.3. Eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs kann ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Rechtsmittelinstanz zu äussern, die sowohl den Sachverhalt wie auch die Rechtslage frei überprüfen kann. Unter dieser Voraussetzung ist darüber hinaus - im Sinne einer Heilung des Mangels - selbst bei einer schwerwiegenden Verletzung des Anspruchs auf rechtliches Gehör von einer Rückweisung der Sache an die Vorinstanz abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (vgl. zum Ganzen: <ref-ruling> E. 2.3; <ref-ruling> E. 4.2.2.2 S. 126 f.; <ref-ruling> E. 2.2 S. 204 f.).
Die Heilung einer Gehörsverletzung ist auch im bundesgerichtlichen Verfahren möglich, sofern das Bundesgericht im gegebenen Verfahren hinsichtlich aller sich stellenden Rechtsfragen über eine volle Kognition verfügt und seine beschränkte Kognition in Sachverhaltsfragen (Art. 105 Abs. 2 und Art. 118 BGG) unerheblich ist, weil die Gehörsverletzung nicht die Feststellung wesentlicher Sachverhaltselemente beeinträchtigt hat und im bundesgerichtlichen Verfahren keine Sachverhaltsfragen zu beantworten sind (vgl. Urteil 4A_273/2012 vom 30. Oktober 2012 E. 3.3, nicht publ. in: <ref-ruling>). Dies ist vorliegend der Fall.
Die Vorinstanz lieferte in ihrer Beschwerdevernehmlassung vom 9. Februar 2015 eine Begründung dafür, weshalb sie die Berufungsvorbringen des Beschwerdeführers hinsichtlich der erstinstanzlichen Verfahrenskosten nicht behandelte, und der Beschwerdeführer erhielt Gelegenheit, im Rahmen seiner Replik dazu Stellung zu nehmen, wovon er mit Eingabe vom 31. März 2015 eingehend Gebrauch machte. Nach den entsprechenden Ausführungen ist der entscheidwesentliche Sachverhalt unbestritten und das Bundesgericht kann alle sich dazu stellenden Rechtsfragen frei prüfen. Unter diesen Umständen ist die festgestellte Gehörsverletzung als im vorliegenden Verfahren geheilt zu betrachten und auf eine Rückweisung der Sache an die Vorinstanz zur Begründung ihres Entscheids in diesem Punkt zu verzichten, da dies als rein formalistischer Leerlauf erschiene.
3.
3.1. Die Vorinstanz führte in der Beschwerdevernehmlassung - in Übereinstimmung mit den Vorbringen des Beschwerdeführers - aus, der Beschwerdeführer habe in der Berufung geltend gemacht, die erstinstanzlichen Kosten wären auch bei Bestätigung des angefochtenen Urteils in den materiellen Punkten "vermehrt" zu Lasten der Beschwerdegegnerin zu verlegen. Der Beschwerdeführer habe damit indessen keinen bezifferten Antrag gestellt, wie die Kosten in diesem Fall abweichend vom erstinstanzlichen Entscheid zu verlegen seien, was nach der bundesgerichtlichen Rechtsprechung erforderlich gewesen wäre. Auch aus seiner Berufungsbegründung könne kein solcher Antrag abgeleitet werden. Es habe damit insoweit an einer gültigen Rechtsmittelerhebung gefehlt und der Vorwurf des Beschwerdeführers, die Vorinstanz habe seinen Antrag nicht behandelt, gehe ins Leere.
Der Beschwerdeführer wirft der Vorinstanz vor, in überspitzten Formalismus verfallen zu sein und gegen <ref-law> und Art. 6 Ziff. 1 EMRK verstossen zu haben, indem sie dafür gehalten habe, aus seinem Berufungsbegehren, zumindest in Verbindung mit der Berufungsbegründung, ergebe sich keine Bezifferung seines Antrags. Er habe in seinen Berufungsanträgen verlangt, das Urteil des Bezirksgerichts aufzuheben und in der Weise neu zu fassen, dass die Gerichts- und Parteikosten der Beklagten und Berufungsbeklagten (Beschwerdegegnerin) auferlegt würden. Wenn er die vollumfängliche Kostenpflicht der Beschwerdegegnerin beantragt habe, sei darin offensichtlich auch eine teilweise Änderung der erstinstanzlichen Kostenverlegung enthalten. Die Vorinstanz habe den Grundsatz "in maiore minus" zu Unrecht nicht angewandt. Er hält sinngemäss dafür, er habe nicht für jeden Eventualfall, d.h. auch für denjenigen, dass die Berufung in der Hauptsache nicht durchdringe, eigens einen weiteren formellen Antrag stellen müssen, sondern sich mit dem Antrag begnügen dürfen, die erstinstanzlichen Kosten seien vollumfänglich der Beschwerdegegnerin aufzuerlegen, worin auch der Antrag auf nur teilweise Auferlegung der Kosten zu Lasten der Beschwerdegegnerin enthalten sei.
3.2. <ref-law> garantiert vor Gerichts- und Verwaltungsinstanzen ein faires Verfahren (<ref-ruling> E. 3.2.1 S. 274 f.). Gegen <ref-law> verstösst eine Behörde insbesondere, wenn sie in überspitzten Formalismus verfällt. Überspitzter Formalismus als besondere Form der Rechtsverweigerung liegt vor, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und damit dem Bürger den Rechtsweg in unzulässiger Weise versperrt (<ref-ruling> E. 2.1 mit Hinweisen). Prozessuale Formen sind unerlässlich, um die ordnungsgemässe Abwicklung des Verfahrens und die Durchsetzung des materiellen Rechts zu gewährleisten. Nicht jede prozessuale Formstrenge stellt daher überspitzten Formalismus dar, sondern nur jene, die durch keine schutzwürdigen Interessen gerechtfertigt ist, zum blossen Selbstzweck wird und die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschwert oder verhindert (<ref-ruling> E. 2.4.2 S. 248; <ref-ruling> E. 3a).
Nach der bundesgerichtlichen Rechtsprechung muss unter der auf das vorinstanzliche Verfahren anwendbaren Schweizerischen Zivilprozessordnung (<ref-law>) der Rechtsmittelantrag im Berufungsverfahren so bestimmt sein, dass er im Falle seiner Gutheissung unverändert zum Urteil erhoben werden kann. Rechtsbegehren, die auf Geldzahlung gerichtet sind, müssen daher bezifferte Anträge enthalten (vgl. <ref-ruling> E. 4.2/4.3 S. 618 f.). Es stellt grundsätzlich keine formelle Rechtsverweigerung dar, zu verlangen, dass die Berufungseingabe entsprechende Begehren enthalten muss (<ref-ruling> E. 6.1). Werden die Kostenfolgen des erstinstanzlichen Verfahrens selbständig - d.h. unabhängig vom Ausgang der Hauptsache im Rechtsmittelverfahren - angefochten, ist danach erforderlich, dass aus den Anträgen klar hervorgeht, in welchen Beträgen die Verfahrenskosten welcher Partei aufzuerlegen sein sollen (vgl. Urteile 4A_226/2014 vom 6. August 2014 E. 1.2; 4A_225/2011 vom 15. Juli 2011 E. 2.6.2; 5A_34/2009 vom 26. Mai 2009 E. 11.3, nicht publ. in: <ref-ruling>; 4A_43/2008 vom 4. März 2008 E. 2, publ. in: Praxis 97/2008 Nr. 121 S. 757 f.). Gestellte Begehren sind nach Treu und Glauben auszulegen (<ref-ruling> E. 1.2 S. 136; <ref-ruling> E. 1.4.2; <ref-ruling> E. 1; <ref-ruling> E. 2a). Es genügt dabei, wenn aus der Berufungsbegründung, allenfalls in Verbindung mit dem angefochtenen Entscheid, klar hervorgeht, in welchem Sinne der angefochtene Entscheid abgeändert werden soll (<ref-ruling> E. 6.2; <ref-ruling> E. 2 S. 236 f.; je mit Hinweisen).
3.3. Vorliegend beantragte der Beschwerdeführer in seinen formellen Berufungsbegehren ausser der vollumfänglichen Gutheissung seiner Klage, die Kosten des erstinstanzlichen Verfahrens seien vollumfänglich der Beschwerdegegnerin aufzuerlegen. In Ziff. 12.2 seiner Berufungsbegründung erhob er sodann Rügen, mit denen er die Kostenverlegung der Vorinstanz selbständig anfocht, indem er vorbrachte, die Kosten des erstinstanzlichen Verfahrens wären mit Rücksicht auf das Prozessverhalten der Beschwerdegegnerin "sowieso" (d.h. für den Fall, dass die Berufung in der Hauptsache nicht gutgeheissen werde) "vermehrt" zu Lasten derselben zu verlegen. Damit verlangte er nicht, wie in seinem formellen Rechtsbegehren beantragt, die erstinstanzlichen Verfahrenskosten für den Fall der Abweisung der Berufung in der Hauptsache gänzlich der Beschwerdegegnerin aufzuerlegen, und auch der weiteren Berufungsbegründung lässt sich für eine solche Kostenverteilung keine Begründung entnehmen. Daraus durfte die Vorinstanz ableiten, dass der formelle Antrag auf vollumfängliche Kostenauflage zu Lasten der Beschwerdegegnerin nicht auf den Fall der Abweisung der Berufung in der Hauptsache, d.h. auf die selbständige Anfechtung der Kostenfolgen, zu beziehen ist, sondern bloss für den Fall der antragsgemässen Abänderung des erstinstanzlichen Urteils in der Hauptsache gestellt wurde.
Daraus, dass der Beschwerdeführer für den Fall der Abweisung der Berufung in der Hauptsache in der Berufungsbegründung bloss verlangte, die Kosten seien "vermehrt" zu Lasten der Beschwerdegegnerin zu verlegen, wird sodann nach Treu und Glauben einzig klar, dass er insoweit keine vollumfängliche Kostenauferlegung zu Lasten der Beschwerdegegnerin beantragen wollte, nicht jedoch in welchem Umfang die Kosten der Beschwerdegegnerin seiner Auffassung nach letztlich aufzuerlegen sein sollen. Der Vorinstanz ist kein überspitzter Formalismus vorzuwerfen, wenn sie bei dieser Sachlage erkannte, der Beschwerdeführer habe dazu kein rechtsgenügendes Rechtsmittelbegehren gestellt. Der gegen sie erhobene Vorwurf, sie habe schon deshalb auf das Fehlen eines erforderlichen bezifferten Rechtsbegehrens geschlossen, weil in den formellen Anträgen für den Eventualfall der Abweisung der Berufung in der Hauptsache kein beziffertes Begehren gestellt wurde, geht fehl. Vielmehr prüfte sie ausdrücklich, ob sich eine Bezifferung aus der Rechtsmittelbegründung ergebe. Die Rüge der formellen Rechtsverweigerung ist unbegründet.
4.
Zusammenfassend ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>). Mit Blick auf die festgestellte Verletzung der Begründungspflicht im angefochtenen Urteil und darauf, dass der Beschwerdeführer erst im vorliegenden Beschwerdeverfahren Klarheit über die Entscheidgründe der Vorinstanz hinsichtlich der strittigen erstinstanzlichen Verfahrenskosten erhielt, ist indessen von einer Kostenauflage zu seinen Lasten abzusehen (<ref-law>). Parteientschädigungen sind für das bundesgerichtliche Verfahren keine zuzusprechen, namentlich auch nicht der letztlich obsiegenden, jedoch nicht anwaltlich vertretenen Beschwerdegegnerin (<ref-law>; <ref-ruling> E. 4 S. 446).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.
Es werden keine Gerichtskosten erhoben.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 12. Juni 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Widmer