Sachverhalt:
A.
A.a. X._ (Darlehensnehmer, Beschwerdeführer) begann im Jahr 2001 mit dem Studium der Rechtswissenschaft. Zur Finanzierung seines Studiums schloss er im September bzw. Oktober 2003 mit der Bank Y._ (Darlehensgeberin, Beschwerdegegnerin) einen Basisvertrag und einen "Bildung plus-Kreditvertrag" über eine Summe von Fr. 20'000.-- ab. Dieser Betrag wurde in Form eines Überziehungskredits auf laufendem Konto gewährt, wobei die Überziehungslimite gestaffelt erhöht werden sollte. Der Kredit sollte gemäss Vereinbarung ausschliesslich der Finanzierung der mehrjährigen Hochschulausbildung dienen. Der Zins von 3,25 bzw. 3 % wurde gemäss Vertrag bis zum Ende der Ausbildung kapitalisiert.
A.b. Jeweils auf Antrag des Darlehensnehmers wurde der Kredit im November 2004 zuerst auf Fr. 35'000.-- und im Januar 2007 auf Fr. 37'000.-- erhöht. Die Darlehensgeberin nahm unbestrittenermassen nie eine Kreditfähigkeitsprüfung nach den Regeln von Art. 28 des Bundesgesetzes vom 23. März 2001 über den Konsumkredit (KKG; SR 221.214.1) vor, verlangte aber vor der ersten Anhebung der Kreditlimite im Jahr 2004 ein detailliertes Budget.
A.c. Der Darlehensnehmer hielt die gewährten Kreditlimiten nicht immer ein und wurde zwischen Oktober 2006 und Oktober 2008 mehrfach zum Ausgleich des Überzugssaldos aufgefordert. Nachdem das im dritten Kreditvertrag vorgesehene voraussichtliche Ausbildungsende verstrichen war, teilte der Darlehensnehmer der Darlehensgeberin mit, es sei ihm nicht möglich, den Überzug auszugleichen. Er sei übermässig überschuldet und studiere noch. Zur Begründung verwies der Darlehensnehmer auf Bandscheibenprobleme, welche zu einer temporären Exmatrikulation und einer kostspieligen Operation geführt hätten.
A.d. Der Darlehensnehmer schlug in der Folge vor, den Kredit nach Abschluss des Studiums monatlich abzuzahlen. Die Darlehensgeberin unterbreitete ihm daraufhin eine Abzahlungsvereinbarung, die eine Schuldanerkennung und konkrete Rückzahlungsmodalitäten beinhaltete. Zudem erklärte sie unter der Bedingung der Einhaltung der Abzahlungsvereinbarung den Verzicht auf die laufenden Zinsen ab Ende 2008. Der Darlehensnehmer lehnte die Unterzeichnung der Vereinbarung ab. Daraufhin kündigte die Darlehensgeberin mit Schreiben vom 7. August 2009 den "Bildung plus-Kreditvertrag" und verlangte die Rückzahlung des ihrer Ansicht nach offenen Betrags von Fr. 37'939.78 bis zum 31. August 2009. Da die Rückzahlung ausblieb, leitete die Darlehensgeberin die Betreibung ein. Gegen den Zahlungsbefehl vom 18. September 2009 erhob der Darlehensnehmer Rechtsvorschlag.
B.
B.a. Am 5. Oktober 2010 reichte die Darlehensgeberin beim Gerichtskreis VIII Bern-Laupen (neu: Regionalgericht Bern-Mittelland) Klage ein und beantragte, der Darlehensnehmer sei zur Zahlung eines Betrags von Fr. 37'939.80 zu verurteilen und der Rechtsvorschlag in der gegen ihn eingeleiteten Betreibung sei zu beseitigen.
Der Darlehensnehmer beantragte widerklageweise, die Darlehensgeberin sei zur Rückzahlung der durch ihn bereits geleisteten Zinszahlungen zu verurteilen.
Mit Entscheid vom 26. Oktober 2011 hiess der Gerichtspräsident des Regionalgerichts Bern-Mittelland die Klage teilweise gut, verurteilte den Darlehensnehmer zur Zahlung von Fr. 37'000.-- und beseitigte den Rechtsvorschlag in diesem Umfang. Die Widerklage wurde abgewiesen.
B.b. Dagegen erhob der Darlehensnehmer Berufung beim Obergericht das Kantons Bern und beantragte, es sei der erstinstanzliche Entscheid aufzuheben, die Klage abzuweisen und die Darlehensgeberin zur Zahlung von Fr. 4'686.85 zu verurteilen.
Mit Entscheid vom 3. September 2012 wies das Obergericht des Kantons Bern die Berufung ab.
C.
Mit Beschwerde in Zivilsachen vom 28. September 2012 beantragt der Darlehensnehmer dem Bundesgericht, es sei der Entscheid des Obergerichts aufzuheben, die Klage abzuweisen und die Beschwerdegegnerin zur Zahlung von Fr. 4'686.85 zu verurteilen. Eventuell sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (Art. 90 BGG) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. Art. 72 BGG), die Rechtsbegehren des Beschwerdeführers sind im kantonalen Verfahren nicht geschützt worden (Art. 76 Abs. 1 BGG), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG) und die Beschwerdefrist ist eingehalten (Art. 100 Abs. 1 BGG). Auf die Beschwerde ist somit unter Vorbehalt einer rechtsgenügenden Begründung (Art. 42 Abs. 2 i.V.m. Art. 106 Abs. 2 BGG) einzutreten.
2.
Zwischen den Parteien ist streitig, ob das KKG auf den von ihnen abgeschlossenen Vertrag anwendbar sei. Die Vorinstanz ist mit der Beschwerdegegnerin der Auffassung, der Beschwerdeführer sei nicht als Konsument im Sinne von Art. 3 KKG zu qualifizieren, womit das KKG keine Anwendung finde. Der Beschwerdeführer rügt, die Vorinstanz habe diese Bestimmung falsch ausgelegt. Bei richtiger Auslegung sei das KKG anwendbar, womit die Beschwerdegegnerin wegen unterlassener Prüfung seiner Kreditfähigkeit die gewährte Kreditsumme samt Zinsen und Kosten verloren habe.
2.1. Ein Konsumkreditvertrag nach KKG liegt vor, wenn eine kreditgebende Person einem Konsumenten einen Kredit in Form eines Zahlungsaufschubs, eines Darlehens oder einer ähnlichen Finanzierungshilfe gewährt oder zu gewähren verspricht (Art. 1 Abs. 1 KKG). Nach Art. 3 KKG gilt als Konsument jede natürliche Person, die einen Konsumkreditvertrag zu einem Zweck abschliesst, der nicht ihrer beruflichen oder gewerblichen Tätigkeit zugerechnet werden kann. Vor Abschluss eines Konsumkreditvertrags muss die Kreditgeberin die Kreditfähigkeit des Konsumenten prüfen (Art. 28 Abs. 1 KKG). Dabei muss von einer Amortisation des Konsumkredits innerhalb von 36 Monaten ausgegangen werden, selbst wenn vertraglich eine längere Laufzeit vereinbart worden ist (Art. 28 Abs. 4 KKG). Verstösst die Kreditgeberin in schwerwiegender Weise gegen diese Prüfungspflicht, so verliert sie die von ihr gewährte Kreditsumme samt Zinsen und Kosten (Art. 32 Abs. 1 Satz 1 KKG).
2.2. Die Vorinstanz hat ausgeführt, der Wortlaut von Art. 3 KKG sei nicht klar. Den Materialien lasse sich hierzu nichts entnehmen. Das historische Element helfe daher nur insofern weiter, als bei der teleologischen Auslegung die Wertungen und Zielsetzungen des historischen Gesetzgebers zu berücksichtigen seien. Bereits mit dem aKKG habe der Gesetzgeber zur Hauptsache die Privathaushalte vor Überschuldung schützen wollen. Unter diesem Aspekt erscheine eine Ausnahme von der Unterstellung unter das KKG für Kredite im Zusammenhang mit der beruflichen Tätigkeit grundsätzlich dann gerechtfertigt, wenn diese auf die Erzielung eines Einkommens gerichtet sei, aus welchem der Kredit zurückbezahlt werden könne. Bei einem Ausbildungskredit handle es sich weiter nicht um einen klassischen Konsumkredit, der nach dem Motto "heute kaufen, morgen bezahlen" aufgenommen werde. Ausschlaggebend erscheine aber letztlich, dass eine Unterstellung unter das KKG die Gewährung von Ausbildungsdarlehen an Studenten regelmässig verunmöglichen würde, da eine Amortisation dieser Kredite innert 36 Monaten (Art. 28 Abs. 4 KKG) angesichts der durchschnittlichen Dauer eines Studiums in den wenigsten Fällen möglich wäre. Es könne nicht die Absicht des Gesetzgebers gewesen sein, solche bildungspolitisch sehr sinnvollen und wünschenswerten Finanzierungsmöglichkeiten zu verunmöglichen. Eine Abwägung der (Überschuldungs-) Risiken mit dem (Bildungs-) Nutzen solcher Darlehen ergebe daher, dass Ausbildungskredite dem KKG nicht unterstünden.
2.3. Der Beschwerdeführer bringt vor, nach dem Wortlaut von Art. 3 KKG sei die Konsumenteneigenschaft zu bejahen, wenn nicht eine bereits bestehende berufliche oder gewerbliche Tätigkeit vorliege. Das KKG sei nicht bzw. nicht in erster Linie bildungspolitischen Zielen verpflichtet, sondern diene dem Schutz des Konsumenten vor Überschuldung. Sofern eine solche drohe, was die Vorinstanz bezüglich Ausbildungskrediten selbst bejaht habe, sei das KKG nach der Absicht des Gesetzgebers anzuwenden. Eine Abschwächung des Geltungsbereichs des KKG sei nur sehr zurückhaltend anzunehmen. Würde man Ausbildungskredite als bildungspolitisch sinnvolle und wünschenswerte Finanzierungsmöglichkeiten vom Geltungsbereich des KKG ausnehmen wollen, so müsste eine entsprechende ausdrückliche Ausnahme ins Gesetz aufgenommen werden.
2.4. Das Bundesgericht hat die Frage noch nicht entschieden. Auch in der Rechtsprechung des EuGH zur Richtlinie über Verbraucherkredite bzw. Verbraucherkreditverträge, der das aKKG vom 8. Oktober 1993 angeglichen worden war und die denselben Wortlaut zur Definition des Verbrauchers verwendet wie Art. 3 KKG, findet sich dazu kein Urteil (Richtlinie des Rates vom 22. Dezember 1986 zur Angleichung der Rechts- und Verwaltungsvorschriften der Mitgliedstaaten über den Verbraucherkredit, Richtlinie 87/102/EWG, ABl. L 42 vom 12. Februar 1987 S. 48 ff.; ersetzt durch Richtlinie 2008/48/EG des europäischen Parlaments und des Rates vom 23. April 2008 über Verbraucherkreditverträge und zur Aufhebung der Richtlinie 87/102/EWG des Rates, ABl. L 133 vom 22. Mai 2008 S. 66 ff.).
In der Lehre ist die Frage umstritten (für Anwendung des KKG: BERND STAUDER, Konsumkreditrecht, in: Konsumentenschutz im Privatrecht, SPR Bd. X, 2008, S. 233 Fn. 53; XAVIER FAVRE-BULLE, Les opérations de crédit à l'épreuve de la nouvelle législation, in: Journée 2003 de droit bancaire et financier, 2004, S. 138; wohl auch URS EMCH/HUGO RENZ/RETO ARPAGAUS, Das Schweizerische Bankgeschäft, 7. Aufl. 2011, N. 957; dagegen: ROLAND HASELBACH, Überziehungskredit auf laufendem Konto gemäss neuem Konsumkreditgesetz, in: Hess/Simmen [Hrsg.], Das neue Konsumkreditgesetz, 2002, S. 122; bei engem Zusammenhang der Ausbildungs- und Weiterbildungskredite mit der geplanten Berufskarriere HANS GIGER, Berner Kommentar, Der Konsumkredit, 2007, N. 534 und ROBERT SIMMEN, Barkredit und Teilzahlungsverträge unter dem neuen Konsumkreditgesetz, in: Hess/Simmen [Hrsg.], Das neue Konsumkreditgesetz, 2002, S. 42; im Ergebnis auch MARLIS KOLLER-TUMLER, Konsumkreditverträge nach revidiertem KKG - eine Einführung, in: JKR 2002 [zit. Konsumkreditverträge], S. 26).
2.5.
2.5.1. Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zu Grunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Prioritätsordnung zu unterstellen. Die Gesetzesmaterialien können beigezogen werden, wenn sie auf die streitige Frage eine klare Antwort geben (<ref-ruling> E. 3.2; <ref-ruling> E. 3.2; <ref-ruling> E. 6.6.2.1; <ref-ruling> E. 3.3.2).
2.5.2. Nach Art. 3 KKG gilt als Konsument wie bereits ausgeführt (E. 2.1) jede natürliche Person, die einen Konsumkreditvertrag zu einem Zweck abschliesst, der nicht ihrer beruflichen oder gewerblichen Tätigkeit zugerechnet werden kann (dans un but pouvant être considéré comme étranger à son activité commerciale ou professionnelle; per uno scopo che può considerarsi estraneo alla sua attività commerciale o professionale). Diesem Wortlaut lässt sich nicht klar entnehmen, ob als Konsument auch gilt, wer einen Kredit zur Finanzierung seines Studiums aufnimmt. Voraussetzung für die Verneinung dieser Frage wäre, dass die Absolvierung eines Studiums der beruflichen oder gewerblichen Tätigkeit des Studenten zugerechnet werden kann. Entgegen der Ansicht des Beschwerdeführers schliesst der Wortlaut dies jedenfalls nicht dadurch aus, dass er eine bereits bestehende solche Tätigkeit voraussetzen würde (so auch GIGER, a.a.O., N. 534; MARLIS KOLLER-TUMLER, in: Basler Kommentar, Abzahlungsrecht und Konsumkreditrecht, Sonderedition aus dem Kommentar zum Obligationenrecht I, 1996 [zit. Basler Kommentar], N. 2 zu Art. 3 KKG; SIMMEN, a.a.O., S. 42; HASELBACH, a.a.O., S. 122). Die herrschende Lehre rechnet denn auch Existenzgründungsdarlehen (bereits) der beruflichen bzw. gewerblichen Tätigkeit zu ( STAUDER, a.a.O., S. 233 Fn. 53; GIGER, a.a.O., N. 534; KOLLER-TUMLER, Basler Kommentar, a.a.O., N. 2 zu Art. 3 KKG; dies., Konsumkredite - eine kleine Tour d'Horizon mit Blick auch auf die EU, in: Kreditrecht, Schweizerische Bankrechtstagung 2010, S. 29 Fn. 27; SIMMEN, a.a.O., S. 42; HASELBACH, a.a.O., S. 122).
2.5.3. Der Gesetzgeber wollte im Bereich des Konsumkredits namentlich jene Konsumenten schützen, die nicht in der Lage sind, ihre wirtschaftliche Situation richtig einzuschätzen, bzw. die nicht der Versuchung widerstehen können, einen für sie ruinösen Konsumkredit zu beanspruchen (so Botschaft vom 14. Dezember 1999 betreffend die Änderung des Bundesgesetzes über den Konsumkredit, BBl 1998 3165 Ziff. 131). In den parlamentarischen Beratungen zum KKG wurde ausgeführt, nach den Werbebotschaften in den Tageszeitungen würden sich Konsumwünsche rasch, einfach und diskret erfüllen lassen (Votum Goll, AB 1999 N 1878). Die Folgekosten des kreditfinanzierten Konsums zahle die öffentliche Hand. Gleichzeitig würden Banken und Kreditinstitute mittels Wucherzinsen horrende Gewinne einstreichen.
2.5.4. Der Abschluss eines Kreditvertrags zur Finanzierung des Studiums unterscheidet sich in verschiedener Hinsicht von der umschriebenen Konstellation. Wie die Vorinstanz richtig ausgeführt hat, handelt es sich dabei nicht um klassische Konsumkredite nach dem Motto "heute kaufen, morgen bezahlen". Die Entscheidung für ein (kreditfinanziertes) Studium wird kaum je überstürzt erfolgen, geht es dabei doch einerseits um die Planung einer über mehrere Jahre dauernden Ausbildung und andererseits um die künftige berufliche Ausrichtung. Zudem zeigt sich gerade beim von der Beschwerdegegnerin angebotenen "Bildung plus-Kreditvertrag", dass es für Ausbildungskredite spezifische Angebote mit vorteilhaften Konditionen wie tiefem Zins und Kapitalisierung der Zinsen bis zum Ende des Studiums gibt. Mit der Unterstellung solcher Kredite unter das KKG werden diese faktisch beinahe verunmöglicht (so auch KOLLE r-Tumler, Konsumkreditverträge, a.a.O., S. 26). Denn ein Konsument muss nach Art. 28 Abs. 4 KKG in der Lage sein, den Konsumkredit innerhalb von 36 Monaten zu amortisieren, ansonsten die Kreditfähigkeit zu verneinen ist und der Kredit folglich nicht gewährt werden darf. Mit der Vorinstanz ist davon auszugehen, dass die Amortisation eines Kredits zur Finanzierung des Studiums angesichts der durchschnittlichen Studiendauer in den wenigsten Fällen möglich wäre. Die Kredite zur Finanzierung eines Studiums weisen somit in verschiedener Hinsicht Besonderheiten auf gegenüber denjenigen Krediten, auf die das KKG gemäss den Materialien zugeschnitten wurde.
2.5.5. Auf der anderen Seite bestehen Gemeinsamkeiten zu den Existenzgründungsdarlehen. In beiden Fällen dient der Kredit einer Investition mit dem Zweck der Ermöglichung der (späteren) beruflichen oder gewerblichen Tätigkeit. Die Investition schlägt sich nach absolviertem Studium denn auch in einem (höheren) Einkommen nieder. Anders etwa als der Besuch eines Sprachkurses im Hinblick auf einen Ferienaufenthalt ist der in der Lehre teilweise geforderte enge Zusammenhang des Kredits mit der geplanten Berufskarriere (vgl. oben E. 2.4) bei einem Studium in der Regel zu bejahen. Angesichts der Dauer und Kosten eines Studiums wird dieses kaum lediglich zum Zweck der Allgemeinbildung absolviert werden. Vielmehr wird damit (wie bei einem Existenzgründungsdarlehen) der Grundstein für eine bestimmte berufliche Laufbahn gelegt. Der mit dem Abschluss eines Kreditvertrags zur Finanzierung des Studiums verfolgte Zweck ist daher eher der beruflichen Tätigkeit zuzurechnen.
2.5.6. Aus diesen Erwägungen ergibt sich insgesamt, dass das KKG nicht auf das dem Beschwerdeführer gewährte Darlehen zur Finanzierung seines Studiums anwendbar ist. Die Beschwerde erweist sich damit als unbegründet.
3.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, Zivilabteilung, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. Februar 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier