Sachverhalt:
A.
Vor dem Regionalgericht Bern-Mittelland ist zwischen der Bank B._ und A._ (Gesuchsteller; Beschwerdeführer) eine Forderungsstreitigkeit hängig. Am 18. Dezember 2020 stellte der Gesuchsteller ein Ausstandsgesuch gegen den für das Verfahren zuständigen Gerichtspräsidenten Gerber. Da das Regionalgericht das Ausstandsgesuch als aussichtslos einstufte, verzichtete es darauf, vom Gerichtspräsidenten eine Stellungnahme einzuholen. Mit Entscheid vom 11. Januar 2021 wies die Abteilungsleiterin der Zivilabteilung des Regionalgerichts Bern-Mittelland das Ausstandsgesuch ab, soweit sie darauf eintrat.
B.
Gegen diesen Entscheid erhob der Gesuchsteller Beschwerde beim Obergericht des Kantons Bern. Die Beschwerde wurde der Bank B._ und dem zuständigen Gerichtspräsidenten zugestellt und ihnen Gelegenheit zur Einreichung einer Beschwerdeantwort gewährt. Während sich die Bank B._ nicht vernehmen liess, äusserte sich der Gerichtspräsident mit Stellungnahme vom 29. Januar 2021. Der Gesuchsteller reichte dazu am 10. Februar 2021 eine Replik ein. Am 8. Februar 2021 ersuchte er zudem um unentgeltliche Rechtspflege für das Beschwerdeverfahren.
Mit Urteil vom 31. März 2021 wies das Obergericht die Beschwerde ab, soweit es darauf eintrat. Ebenso wies es das Gesuch um unentgeltliche Rechtspflege für das Beschwerdeverfahren ab.
C.
Gegen das Urteil des Obergerichts erhob der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte, das Urteil des Obergerichts sei aufzuheben, der Gerichtspräsident Gerber sei zu verpflichten, in den Ausstand zu treten und die Sache sei an einen anderen zu bestimmenden Spruchkörper beim Regionalgericht Bern-Mittelland zurückzuweisen. Sodann seien unter Aufhebung und Abänderung von Dispositiv-Ziffer 3, die Gerichtskosten des vorinstanzlichen Beschwerdeverfahrens, bestimmt auf Fr. 600.--, dem Kanton Bern aufzuerlegen.
Das Bundesgericht hat die Vorakten beigezogen, jedoch keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
3.1. Der Beschwerdeführer moniert, die Spruchkörperbildung beim Regionalgericht Bern-Mittelland stelle einen Verstoss gegen Art. 6 Ziff. 1 EMRK dar. Art. 81 Abs. 4 des Gesetzes über die Organisation der Gerichtsbehörden und der Staatsanwaltschaft des Kantons Bern (GSOG/BE; BSG 161.1), der sich mit der Zusammensetzung, dem Vorsitz und dem Spruchkörper der Regionalgerichte befasse, genüge den konventionsrechtlichen Anforderungen an eine hinreichende gesetzliche Grundlage für die Spruchkörperbildung nicht. Die Erwägung der Vorinstanz dazu sei mit der aktuellen Rechtslage beim Obergericht des Kantons Bern und der bundesgerichtlichen Rechtsprechung nicht vereinbar. So verweise die Vorinstanz auf das bundesgerichtliche Urteil 5D_56/2018, übergehe aber, dass die gleiche gesetzliche Grundlage in Bezug auf das Obergericht des Kantons Bern in zwei anderen Urteilen des Bundesgerichts (Urteile 6B_63/2018 und 6B_1458/2017, jeweils vom 21. Juni 2018) "als konventionswidrig beurteilt" worden sei. In der Folge zu diesen beiden Urteilen sei sodann das Organisationsreglement des Obergerichts des Kantons Bern um einen Artikel 27a ergänzt worden. Die Ergänzung des Organisationsreglements belege, dass die Bedenken des Beschwerdeführers gegen die Spruchkörperbildung beim Regionalgericht Bern-Mittelland berechtigt seien. Es bestünden also keine hinreichenden gesetzlichen Bestimmungen für die Spruchkörperbildung.
3.2. Mit der vorliegenden Beschwerde trägt der Beschwerdeführer seine bereits schon bei zahlreichen Gelegenheiten vorgebrachten und vom Bundesgericht in verschiedenen Entscheiden verworfenen Standpunkte betreffend Spruchkörperbildung vor. Er begnügt sich jedoch im Wesentlichen damit, auf zwei Entscheide der strafrechtlichen Abteilung des Bundesgerichts vom 21. Juni 2018 zu verweisen, in welchen dieses eine gewisse Kritik bezüglich der Spruchkörperbildung am Obergericht des Kantons Bern äusserte. Der Beschwerdeführer setzt sich damit aber nicht rechtsgenüglich mit den Erwägungen der Vorinstanz auseinander, die ihm mit Verweis auf die Bundesgerichtsurteile 5D_56/2018 und 4A_208/2018, die später als die von ihm herangezogenen Urteile 6B_63/2018 und 6B_1458/2017 ergangen sind, darlegte, dass die Spruchkörperbildung im Kanton Bern verfassungs- und EMRK-konform sei. Es erscheint damit äusserst fraglich, ob der Beschwerdeführer mit seinen pauschalen Ausführungen zur Spruchkörperbildung den oben genannten Begründungsanforderungen vor Bundesgericht genügt (Erwägung 2.1).
3.3. Unabhängig davon ist Folgendes klarzustellen:
3.3.1. Soweit der Beschwerdeführer unter Hinweis auf die Urteile 6B_63/2018 und 6B_1458/2017 das Fehlen einer genügenden gesetzlichen Grundlage für die Besetzung des erstinstanzlichen Spruchkörpers rügt, kann er daraus nichts ableiten. Die strafrechtliche Abteilung des Bundesgerichts erwog zwar in den beiden Urteilen, die Spruchkörperbildung am Obergericht des Kantons Bern erscheine "äusserst problematisch" (Urteile 6B_63/2018 vom 21. Juni 2018 E. 3.2.3; 6B_1458/2017 vom 21. Juni 2018 E. 3.2.3). Sie beurteilte aber entgegen der Auffassung des Beschwerdeführers in diesen Entscheiden die Spruchkörperbildung nicht als "konventionswidrig", sondern akzeptierte die frühere Regelung am Berner Obergericht jedenfalls als Übergangslösung und wies die vom Beschwerdeführer erhobenen Beschwerden ab, worauf die strafrechtliche Abteilung in späteren Entscheiden denn auch hinwies (Urteile 6B_233/2019 vom 15. August 2019 E. 3; 6B_982/2018 vom 6. Februar 2019 E. 3.2).
3.3.2. Hinzu kommt, dass drei Monate vor den beiden genannten Entscheiden der strafrechtlichen Abteilung vom 21. Juni 2018 die Spruchkörperbildung am Obergericht des Kantons Bern in <ref-ruling> für verfassungs- und konventionskonform erklärt wurde (insb. <ref-ruling> E. 6.3). Diese publizierte Rechtsprechung wurde in der Folge vom Bundesgericht mehrfach bestätigt (Urteile 6B_233/2019 vom 15. August 2019 E. 3; 8C_665/2018 vom 15. April 2019 E. 3.4; 6B_982/2018 vom 6. Februar 2019 E. 3.2; 5D_154/2018 vom 17. Januar 2019 E. 3.1; 1B_491/2018 vom 11. Januar 2019 E. 6.2; 5D_56/2018 vom 18. Juli 2018 E. 3; 1B_275/2018 vom 28. Juni 2018 E. 4.2; alle den Beschwerdeführer betreffend).
Sodann wurde dem Beschwerdeführer im Anschluss an die beiden strafrechtlichen Entscheide vom 21. Juni 2018 bereits in zwei Entscheiden ausdrücklich nochmals aufgezeigt, dass die in <ref-ruling> E. 6.3 dargelegten Gründe weiterhin überzeugen: Ihm wurde explizit dargelegt, dass sich die Kriterien für die Spruchkörperbildung am Obergericht des Kantons Bern mit hinreichender Klarheit aus dem kantonalen Gerichtsorganisationsgesetz und der dazugehörigen Praxis ergeben, womit das Ermessen, das die Abteilungspräsidien bei der Spruchkörperbildung ausüben, in einer Weise regelgebunden ist, die mit den Vorgaben von Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK vereinbar ist (Urteile 5D_154/2018 vom 17. Januar 2019 E. 3.1; 8C_665/2018 vom 15. April 2019 E. 3.4). Ebenso wurde dem Beschwerdeführer bereits erläutert, dass dasselbe für die Spruchkörperbildung am Verwaltungsgericht des Kantons Bern gilt (Urteil 8C_665/2018 vom 15. April 2019 E. 3.4), und ihm wurde aufgezeigt, dass an der Konventionskonformität nichts ändert, dass am 1. September 2018 ein revidiertes Organisationsreglement des Obergerichts des Kantons Bern in Kraft trat, das eine Bestimmung zur Spruchkörperbesetzung enthält (Urteil 1B_491/2018 vom 11. Januar 2019 E. 6.2). Die vom Beschwerdeführer vorgetragene, nicht weiter begründete Kritik gibt keinen Anlass, von dieser gefestigten Rechtsprechung abzuweichen.
3.3.3. Schliesslich überzeugt das in <ref-ruling> Dargelegte grundsätzlich auch für die Spruchkörperbildung am Regionalgericht. Jedenfalls wird das Gegenteil nicht hinreichend dargetan (Erwägung 2.1; so schon Urteil 4A_208/2018 vom 22. August 2018 E. 4). Darauf kann nicht eingetreten werden.
4.
Vor der Vorinstanz war strittig, ob das Vorgehen des Regionalgerichts korrekt war, über das Ausstandsgesuch zu entscheiden, ohne beim abgelehnten Gerichtspräsidenten Gerber vorab eine Stellungnahme eingeholt zu haben. Die Vorinstanz prüfte dies ausführlichst und kam zum Schluss, dass es nicht zu beanstanden sei, dass das Regionalgericht das Ausstandsgesuch des Beschwerdeführers in Teilen als rechtsmissbräuchlich sowie weitergehend als offensichtlich unbegründet qualifizierte und darüber befand, ohne beim abgelehnten Gerichtspräsidenten Gerber vorab eine persönliche Stellungnahme eingeholt zu haben.
Vor Bundesgericht führt der Beschwerdeführer diesbezüglich aus, dass er vor der Vorinstanz gerügt habe, dass die Nichteinholung der Stellungnahme gegen seinen Anspruch auf rechtliches Gehör verstosse und der erstinstanzliche Entscheid an einem Verstoss gegen seinen Anspruch auf rechtliches Gehör "kranke". Er setzt sich aber mit diesen pauschalen Behauptungen nicht hinreichend mit den eingehenden Erwägungen der Vorinstanz auseinander, noch zeigt er rechtsgenüglich auf (Erwägung 2.1), dass das Regionalgericht nicht auf die Einholung der Stellungnahme des Gerichtspräsidenten hätte verzichten dürfen. Darauf ist nicht einzutreten.
5.
Der Beschwerdeführer beanstandet, Gerichtspräsident Gerber habe sich anlässlich einer früheren Gerichtsverhandlung abschätzig gegenüber einem seiner Klienten geäussert und erscheine aufgrund dieses Vorfalls als befangen. Das bestärke seine Besorgnis der Befangenheit wegen fehlender Unparteilichkeit im Sinne von Art. 6 Ziff. 1 EMRK.
Der Beschwerdeführer geht in seiner Kritik nicht hinreichend auf die diesbezüglichen Erwägungen der Vorinstanz ein (Erwägung 2.1), geschweige denn zeigt er rechtsgenüglich auf, inwiefern hier eine Verletzung von Art. 6 Ziff. 1 EMRK vorliegen würde. Darauf ist nicht einzutreten. Das Gleiche gilt, wenn er in diesem Zusammenhang behauptet, die Vorinstanz habe den "Sachverhalt aktenwidrig" festgestellt, ohne hinreichend darzutun (Erwägung 2.2), worin die Aktenwidrigkeit bestünde.
Soweit der Beschwerdeführer in der Folge in einem in freier Rede gehaltenen Exkurs angebliche Verbindungen zwischen Gerichtspräsident Gerber, der Bank B._, deren Rechtsanwalt, der Anwaltsaufsicht des Kantons Bern und der Vorinstanz schildert, kann er ebenfalls nicht gehört werden. Es fehlt auch hier an einem Sachverhaltsfundament für seine Vorbringen (Erwägung 2.2) und es wird im Übrigen aus den Ausführungen des Beschwerdeführers nicht klar (Erwägung 2.1), worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegen könnte.
6.
6.1. Im vorinstanzlichen Verfahren reichte Gerichtspräsident Gerber eine Stellungnahme ein (oben Sachverhalt B). Diesbezüglich erwog die Vorinstanz, soweit der Beschwerdeführer in dieser Stellungnahme einen weiteren Ausstandsgrund gegenüber dem Gerichtspräsidenten erblicke, handle es sich um ein neues Vorbringen, das nach Art. 326 ZPO im Beschwerdeverfahren keine Berücksichtigung finden könne. Das Gleiche gelte auch für die Wortwahl des Gerichtspräsidenten in der Stellungnahme, welche nach Ansicht des Beschwerdeführers von latenter Aggressivität gekennzeichnet sein soll. Immerhin sei in diesem Zusammenhang darauf hinzuweisen, dass aus einer pointierten Stellungnahme beziehungsweise einem entschiedenen Zurückweisen von erhobenen Ausstandsgründen noch nicht eine ausstandsbegründende Aversion abgeleitet werden könne. Dies gelte selbst dann, wenn in der entsprechenden Stellungnahme ein gewisses Unverständnis oder ein gewisser Unmut über die erhobenen Ausstandsgründe mitschwinge. Unsachliche Elemente, die gegen den Beschwerdeführer persönlich gerichtet gewesen wären, liessen sich der Stellungnahme nicht entnehmen.
6.2. Dagegen stellt sich der Beschwerdeführer auf den Standpunkt, die Vorinstanz habe die von ihm betreffend die Stellungnahme von Gerichtspräsident Gerber vorgetragenen Argumente zu Unrecht nicht berücksichtigt. Dieses Vorgehen verstosse gegen seinen Anspruch auf rechtliches Gehör. So sei nicht nachvollziehbar, wieso die Vorinstanz eine Stellungnahme anfordere, um dann aber die Ausführungen nicht beurteilen zu können. Die Vorinstanz argumentiere widersprüchlich, wenn sie die Nichteinholung einer Stellungnahme durch das Regionalgericht schütze, um dann aber selbst eine Stellungnahme im Beschwerdeverfahren einzuholen. Die Argumentation der Vorinstanz sei zudem rechtsfehlerhaft, da Noven im Beschwerdeverfahren zulässig seien, wenn der angefochtene Entscheid dazu Anlass gebe. Da der seinerzeit angefochtene erstinstanzliche Entscheid an einem Verstoss gegen den Anspruch auf rechtliches Gehör kranke, seien die Ausführungen aus der Stellungnahme dementsprechend zulässig und von Art. 326 ZPO nicht erfasst. Im Übrigen würde die Argumentation der Vorinstanz dazu führen, dass ein neuer Ausstandsgrund in der Beschwerdeinstanz denklogisch bei der nicht dafür zuständigen ersten Instanz geltend gemacht und beurteilt werden müsse. Das wäre systemwidrig und deshalb habe es bei der Regelung von Art. 49 Abs. 1 ZPO zu bleiben, wonach ein Ausstandsgesuch gegen eine Gerichtsperson dort geltend zu machen sei, wo dieser erstmals entdeckt werde. Hätte die Vorinstanz die Ausführungen aus der Stellungnahme berücksichtigen müssen, so hätte sie das Ausstandsgesuch wegen der Wortwahl und der damit belegten Feindseligkeit gutheissen müssen.
6.3. Auch diese Rügen gehen fehl. Es ist zwar richtig, dass die Vorinstanz vorab erwog, dass es sich bei den Ausführungen des Beschwerdeführers in der Replik auf die Stellungnahme des Gerichtspräsidenten um neue Vorbringen i.S.v. Art. 326 ZPO handle, die im Beschwerdeverfahren keine Berücksichtigung mehr finden könnten. In der Folge ging die Vorinstanz in einer Eventualerwägung dennoch auf die vorinstanzliche Stellungnahme des Gerichtspräsidenten ein und prüfte, ob gestützt auf diese auf eine Befangenheit des Gerichtspräsidenten zu schliessen sei. Die Vorinstanz verneinte dies.
Dagegen macht der Beschwerdeführer bloss geltend, dass das Ausstandsgesuch wegen der Wortwahl des Gerichtspräsidenten und der damit belegten Feindseligkeit hätte gutgeheissen werden müssen. Er setzt sich aber nicht hinreichend mit den Erwägungen der Vorinstanz auseinander, noch legt er rechtsgenüglich dar (Erwägung 2.1), inwiefern gestützt auf die eingereichte Stellungnahme des Gerichtspräsidenten entgegen der Vorinstanz auf dessen Befangenheit geschlossen werden müsste.
7.
Aus den genannten Gründen ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
8.
In Rechtsbegehren Ziffer 2 seiner Beschwerde verlangt der Beschwerdeführer eine Aufhebung und Abänderung der Gerichtskosten im vorinstanzlichen Verfahren. Er begründet dies aber - wenn überhaupt - nur für den Fall, dass der Entscheid der Vorinstanz aufgehoben würde. Da der Entscheid der Vorinstanz nach dem Gesagten nicht aufzuheben ist, entfällt auch eine andere Kostenverteilung des vorinstanzlichen Verfahrens.
9.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Die Bank B._ hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein entschädigungspflichtiger Aufwand erwachsen ist (Art. 68 Abs. 2 BGG). Dem Gerichtspräsidenten Gerber ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Juli 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger