Sachverhalt:
A.
Die Stiftung B._ (Klägerin, Beschwerdegegnerin) gehörte einem Zusammenschluss von verschiedenen Körperschaften an, die sich für die "Institution X._" engagierten. Zu Letzterer gehörten u.a. die "Schule X._" und das "Heim X._". A._ (Beklagter, Beschwerdeführer) war an der Schule als Lehrer angestellt. Im Jahr 2014 entzog das Kantonale Jugendamt der Schule die Bewilligung, worauf sie geschlossen wurde.
Der Beklagte und weitere Betroffene setzten sich bereits vor der absehbaren Schliessung der Schule zum Ziel, Konzepte und Strategien für eine Neuausrichtung resp. Wiedereröffnung der Schule und des Heims zu entwickeln. Der Beklagte behauptet, B.B._ (Stiftungsratspräsident der Klägerin) habe ihn mit der Ausarbeitung entsprechender Konzepte und Strategien beauftragt.
Am 8. Mai 2014 schlossen die Klägerin und der Beklagte einen Darlehensvertrag über CHF 50'000.--, zinsfrei. Die Dauer des Darlehensvertrags wurde bis zum 1. Januar 2016 festgelegt. Anschliessend sollte das Darlehen jährlich auf Ende Jahr kündbar sein. Bei der Kündigung sollten Konzept- und Designarbeiten, die der Beklagte für die Klägerin geleistet habe, mit dem Darlehen verrechnet werden.
Mit Schreiben vom 5. Dezember 2015 machte die Klägerin von der Kündigungsmöglichkeit Gebrauch und verlangte die Rückzahlung. Der Beklagte widersetzte sich der eingeleiteten Betreibung mit dem Argument, er habe in der Zeit zwischen Mai 2013 und Juli 2014 diverse Arbeiten für die Klägerin geleistet, die er mit dem Darlehen verrechne.
B.
Am 4. Januar 2019 belangte die Klägerin den Beklagten auf Zahlung von CHF 50'000.-- zuzüglich Akzessorien und auf Beseitigung des Rechtsvorschlages. Mit Entscheid vom 5. Dezember 2019 hiess die Gerichtspräsidentin des Regionalgerichts Oberland die Klage im Umfang von CHF 50'000.-- nebst Zins zu 5 % seit 30. Januar 2018 gut und beseitigte den Rechtsvorschlag. Weitergehend, namentlich im Bezug auf die Betreibungskosten, wies sie die Klage ab. Die Gerichtspräsidentin erachtete den Darlehensvertrag, die Hingabe der Darlehensvaluta und die Kündigung für unbestritten. Die Verrechnungsforderung sei ungenügend substanziiert und nicht ausgewiesen.
Mit Entscheid vom 12. August 2020 wies das Obergericht des Kantons Bern die vom Beklagten dagegen erhobene Berufung ab. Die Behauptung des Klägers, er habe die CHF 50'000.-- nicht erhalten, sei neu und damit nicht zu hören. Es erachtete den relevanten Sachverhalt als hinreichend erstellt und wies die Beweisanträge, namentlich die Ausfertigung eines Gutachtens über den Wert der angeblich geleisteten Arbeiten, als verspätet ab. Sodann verwarf es sämtliche Einwände des Klägers gegen den Bestand des Darlehensvertrags sowie die Pflicht zur Rückzahlung des Darlehensbetrags. Auch bestätigte es die Beurteilung der Erstinstanz, die vom Beklagten geltend gemachte Verrechnungsforderung für angeblich erbrachte Leistungen sei weder hinreichend substanziiert noch ausgewiesen, und wies die dagegen vom Beklagten erhobenen Einwände als unbegründet ab.
C.
Der Beklagte erhebt Beschwerde in Zivilsachen an das Bundesgericht. Im Hauptbegehren beantragt er "aufgrund von Befangenheit der Richterinnen seien die Entscheide des Regionalgerichts Oberland vom 6. März 2020 sowie des Obergerichts des Kantons Bern vom 12. August 2020 aufzuheben und ein neues Verfahren mit unbefangenen Richtern zu eröffnen". Eventualiter beantragt er die Aufhebung der beiden Entscheide und die vollumfängliche Abweisung der Klage.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Der Beschwerdeführer verlangt im Hauptbegehren die Aufhebung des erst- und des zweitinstanzlichen Entscheids "aufgrund von Befangenheit der Richterinnen". Er stellt dieses Begehren erstmals vor Bundesgericht.
In Bezug auf die erstinstanzliche Gerichtspräsidentin kann von vornherein nicht auf das Begehren eingetreten werden. Da der Beschwerdeführer es vor Obergericht nicht gestellt hat, ist es neu und damit unzulässig (<ref-law>). Zudem fehlt es an der Ausschöpfung des kantonalen Instanzenzuges.
In Bezug auf die zweitinstanzliche Oberrichterin ist das Vorbringen verspätet und damit verwirkt. Eine Partei, die eine Gerichtsperson ablehnen will, muss unverzüglich ein entsprechendes Gesuch stellen, sobald sie vom Ausstandsgrund Kenntnis erhalten hat. Tut sie dies nicht, verwirkt sie den Anspruch auf spätere Anrufung des Ausstandsgrundes (<ref-ruling> E. 3.2.1; <ref-ruling> E. 2.2 S. 4; <ref-ruling> E. 3.4). Der Beschwerdeführer beruft sich auf den Umstand, dass die Oberrichterin Mitglied der grünen Partei sei, der auch der Vizepräsident der klägerischen Stiftung angehöre. Dieser wirke seit zwei Legislaturperioden als Grossrat in der Fraktion der Grünen Partei und zähle als solcher zur Wahlinstanz der Richterinnen. Er begründet mit keinem Wort, weshalb er den angerufenen Umstand nicht schon im Verfahren vor dem Obergericht geltend machen konnte. Er hat damit die Anrufung dieses Ausstandsgrundes verwirkt, so dass es sich erübrigt, zu seiner Begründetheit Stellung zu nehmen.
2.
Im Eventualbegehren beantragt der Beschwerdeführer die vollumfängliche Abweisung der Klage. Was er zur Begründung dieses Antrags vorbringt, verfehlt indessen über weite Strecken die gesetzlichen Begründungsanforderungen einer Beschwerde an das Bundesgericht (<ref-law>; <ref-ruling> E. 2), weshalb darauf nicht einzugehen ist.
Dies gilt namentlich auch, wenn er der Vorinstanz an mehreren Stellen vorwirft, den Sachverhalt unrichtig festgestellt zu haben, dabei aber keine hinreichend substanziierten Sachverhaltsrügen präsentiert, die den Anforderungen der Rechtsprechung genügen würden (<ref-ruling> E. 1.3.1). Auch damit ist er nicht zu hören.
Im Übrigen erhebt er in seiner Beschwerde durchwegs Rügen, die bereits im angefochtenen Entscheid aufgrund zutreffender Erwägungen, auf die verwiesen werden kann (<ref-law>), als unbegründet verworfen wurden. So bestreitet er erneut die Gültigkeit des Darlehensvertrages wegen Mitunterzeichnung des nicht zeichnungsberechtigten C.B._, lässt aber die Begründung der Vorinstanz intakt, dass die Beschwerdegegnerin den Darlehensvertrag konkludent genehmigt hat. Sodann insistiert er auf seiner Behauptung, der Darlehensbetrag sei nicht ausbezahlt worden, zeigt aber nicht auf, inwiefern die Vorinstanz Recht verletzt haben soll, indem sie diese Behauptung als unzulässiges Novum qualifizierte. Zur "Rolle von B.B._ / Zeuge D._" unterbreitet er appellatorische Kritik, mit der er nicht gehört werden kann. Schliesslich zeigt er auch keine Bundesrechtsverletzung auf, soweit er der Beurteilung der Vorinstanz entgegen tritt, wonach die Verrechnungsforderung weder hinreichend substanziiert geschweige denn nachgewiesen sei.
3.
Die Beschwerde erweist sich als offensichtlich unbegründet, soweit überhaupt darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kostenpflichtig (<ref-law>). Der Beschwerdegegnerin, die keine Vernehmlassung einzureichen hatte, steht keine Parteientschädigung zu.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 13. Januar 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger