Sachverhalt:
A. Vor dem Gerichtspräsidenten Nr. x des Gerichtskreises D._ (seit 1. Januar 2011 Teil des Regionalgerichts Oberland), B._, ist ein Verfahren zwischen A._ als Kläger/ Widerbeklagtem und E._ und F._ als Beklagten/ Widerklägern hängig. Der Streit geht um ein Wegrecht, das zugunsten des klägerischen Grundstücks lautet und auf dem Grundstück der Beklagten lastet. Anlässlich der Hauptverhandlung vom 10. November 2010 und nach durchgeführtem Augenschein vor Ort schlossen die Parteien einen Vergleich. A._ widerrief diesen Vergleich fristgerecht am 17. November 2010. Zugleich lehnte er den Gerichtspräsidenten für das weitere Verfahren ab.
Mit Schreiben vom 2. Dezember 2010 unterbreitete der Gerichtspräsident die Akten dem Obergericht zum Entscheid über das Ablehnungsgesuch und nahm gleichzeitig zu den erhobenen Vorwürfen Stellung. Das Obergericht des Kantons Bern wies das Ablehnungsgesuch mit Entscheid vom 20. Dezember 2010 ab.
B. Am 24. Januar 2011 hat A._ (Beschwerdeführer) gegen diesen Entscheid Verfassungsbeschwerde an das Bundesgericht erhoben. Er beantragt, den angefochtenen Entscheid aufzuheben. Zudem ersucht er um aufschiebende Wirkung.
Nachdem das Obergericht auf Vernehmlassung verzichtet hat und der Gerichtspräsident (Beschwerdegegner) sich nicht hat vernehmen lassen, wurde der Beschwerde mit Präsidialverfügung vom 16. März 2011 aufschiebende Wirkung zuerkannt.
In der Sache sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. 1.1 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (<ref-law>). Die subsidiäre Verfassungsbeschwerde ist (gleich wie die ordentliche Beschwerde) ein reformatorisches Rechtsmittel (Art. 117 i.V.m. <ref-law>; Urteil 5D_161/2009 vom 16. März 2010 E. 1.2 mit Hinweis). Der Beschwerdeführer darf sich deshalb grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Er muss angeben, welche Punkte des Entscheids angefochten und welche Abänderungen beantragt werden. Grundsätzlich ist ein materieller Antrag erforderlich; Anträge auf Rückweisung der Sache an die Vorinstanz zu neuer Entscheidung oder blosse Aufhebungsanträge genügen nicht und machen die Beschwerde unzulässig. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, etwa weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f. mit Hinweisen).
1.2 Vorliegend stellt der Beschwerdeführer einen blossen Aufhebungsantrag. Weder stellt er ein Begehren in der Sache noch stellt er ein ausnahmsweise zulässiges Begehren auf Rückweisung zur neuen Entscheidung. Die Beschwerde enthält demnach keinen rechtsgenüglichen Antrag und ist unzulässig (BGE <ref-ruling> E. 3.2 S. 490). Es kann offen bleiben, ob der Antrag anhand der Beschwerdebegründung ergänzt werden könnte, denn die Verfassungsbeschwerde erweist sich ohnehin auch aus einem anderen Grunde als unzulässig.
2. Der Beschwerdeführer begründet die Befangenheit des Beschwerdegegners mit dessen angeblichen Äusserungen während der Hauptverhandlung und des Augenscheins vom 10. November 2010. Insbesondere habe der Beschwerdegegner damals unmissverständlich ausgesagt, dass der Beschwerdeführer kein Recht habe, den fraglichen Weg mit seinem Personenwagen zu befahren. Der Beschwerdegegner habe - entgegen seiner Stellungnahme vom 2. Dezember 2010 - nie klargestellt, dass der Weg nur unter bestimmten Bedingungen bzw. nicht unbedingt mit einem Auto befahren werden dürfe. Ebenso wenig habe er klargestellt, dass es sich nur um eine unpräjudizielle Ansichtsäusserung vor Durchführung des Beweisverfahrens handle.
Mit dieser Kritik stellt der Beschwerdeführer bloss seine eigene Sicht des damaligen Ablaufs der Hauptverhandlung dar, ohne den Anforderungen an die Rüge einer willkürlichen Feststellung des Sachverhalts (<ref-law>) durch die Vorinstanz zu genügen. Hiezu müsste er detailliert und anhand der Erwägungen des angefochtenen Entscheids aufzeigen, inwiefern die vorinstanzliche Würdigung an einem qualifizierten und offensichtlichen Mangel leidet (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 4.3 S. 522; <ref-ruling> E. 2.2 S. 246; je mit Hinweis). Das Obergericht hat festgehalten, der Beschwerdegegner habe in seiner Stellungnahme nachvollziehbar dargelegt, dass er den Parteien im Rahmen der Vergleichsverhandlungen seine Sicht der Dinge in transparenter Weise aufgezeigt und die Prozessaussichten den Parteien in unpräjudizieller Weise erörtert habe. In dieser Stellungnahme, auf welche das Obergericht verweist, hat der Beschwerdegegner geschrieben, er habe im Rahmen der Vergleichsverhandlungen ausdrücklich darauf hingewiesen, dass seine Ansichtsäusserung völlig unpräjudiziell und vor Durchführung des Beweisverfahrens erfolge. Dass dies tatsächlich gemacht wurde, erachtet das Obergericht offensichtlich als erwiesen. Der Beschwerdeführer legt nicht dar, inwiefern diese Würdigung willkürlich sein sollte. Er behauptet des Weiteren, der Beschwerdegegner habe unmissverständlich zum Ausdruck gebracht, der Weg dürfe nicht mit einem Auto befahren werden. Solches hat die Vorinstanz nicht festgestellt. Vielmehr ist sie davon ausgegangen, dass der Beschwerdegegner bloss ausgeführt habe, das im Grundbuch eingetragene Recht bedeute "nicht unbedingt", dass der Weg mit einem Auto befahren werden dürfe. Damit hat die Vorinstanz abermals auf die Stellungnahme des Beschwerdegegners abgestellt. Auch hier beschränkt sich der Beschwerdeführer darauf, die Stellungnahme des Beschwerdegegners anzuzweifeln. Er zeigt aber wiederum nicht auf, inwiefern das Vorgehen der Vorinstanz willkürlich sein sollte. In diesem Zusammenhang geht der Beschwerdeführer nicht nur von einer anderen effektiven Aussage des Beschwerdegegners aus als die Vorinstanz, sondern schildert auch den Zeitpunkt derselben aus eigener Sicht. Die Aussage des Beschwerdegegners, dass der Weg nicht mit Personenwagen befahren werden dürfe, sei zeitlich klar am Anfang gestanden, womit der Beschwerdeführer einen nicht genau bestimmten Zeitpunkt vor Aufnahme der Vergleichsverhandlungen, also offenbar während des Augenscheins, meint. Erneut begründet er jedoch nicht, inwiefern das Fehlen einer entsprechenden Feststellung im vorinstanzlichen Entscheid über die zeitliche Abfolge der Aussagen des Beschwerdegegners willkürlich sein soll.
3. Auf die Verfassungsbeschwerde kann somit nicht eingetreten werden. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Verfassungsbeschwerde wird nicht eingetreten.
2. Der Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, Appellationshof, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. April 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zingg