Sachverhalt: A. A.a. A._ (Gesuchsteller, Beschwerdeführer) erlitt am 27. November 2007 als Lenker eines Lieferwagens bei einer Frontalkollision mit einem Personenwagen eine Hirnerschütterung, eine Rissquetschwunde links am Kinn sowie eine oberflächliche Fraktur des Oberkieferkammes mit zwei gelockerten Zähnen und einem Zahnverlust. Die B._ AG (Haftpflichtversicherung, Gegenpartei im Hauptverfahren) ist die Motorfahrzeughaftpflichtversicherung des Halters des am Unfall beteiligten Personenwagens. A.b. Bereits kurze Zeit nach dem Unfall klagte der Gesuchsteller unter anderem über Kopfschmerzen, Fussschmerzen sowie Schlafstörungen und nächtliche Flash-backs. Im Januar 2008 wurde eine "posttraumatische Belastungsstörung" diagnostiziert, die seither strittig ist. A.c. Die eidgenössische Invalidenversicherung (IV) gab aufgrund eines Rentenbegehrens des Gesuchstellers ein Gutachten bei der C._ GmbH in Auftrag. Die Gutachter gelangten in ihrem interdisziplinären Gutachten vom 19. Mai 2010 zum Schluss, dass beim Gesuchsteller eine Arbeitsunfähigkeit von 20 % bestehe, bedingt durch eine leichte depressive Episode. Die IV lehnte das Rentengesuch ab. A.d. Die SUVA, welche seit dem Unfallzeitpunkt für die Heilungskosten aufgekommen war und Taggelder ausrichtete, führte nach der Ablehnung der IV-Rente weitere Abklärungen durch. Mit Verfügung vom 1. November 2013 stellte die SUVA ihre Leistungen auf den 4. November 2013 ein. Das Verwaltungsgericht des Kantons Bern wies die vom Gesuchsteller dagegen erhobene Beschwerde am 15. September 2014 ab. Dieses Urteil ist rechtskräftig. B. B.a. Mit Eingabe vom 6. Februar 2015 gelangte der Gesuchsteller an das Regionalgericht Bern-Mittelland mit dem Begehren, es sei ihm die unentgeltliche Rechtspflege für einen Prozess gegen die Haftpflichtversicherung zu gewähren. Er beabsichtigt eine Klage auf Schadenersatz im Betrag von Fr. 1,4 Mio. einzureichen für den Erwerbsausfall wegen behaupteter Arbeitsunfähigkeit von 100 %, die er auf den Unfall zurückführt. B.b. Mit Entscheid vom 4. Januar 2016 wies die Gerichtspräsidentin des Regionalgerichts Bern-Mittelland das Gesuch um unentgeltliche Rechtspflege ab. Zur Begründung führte sie aus, dass der Gesuchsteller sich im Wesentlichen mit dem Verweis auf die Fülle medizinischer Akten begnüge, was nicht ausreiche zur summarischen Begründung der von ihm zu beweisenden vollständigen Arbeitsunfähigkeit, zumal sich auch die von ihm eingereichten zwei Arztberichte (Dr. med. D._ und "Entlassungsbericht" von Dr. med. E._) nicht substanziell zur angeblichen Arbeitsunfähigkeit - zumal einer dauerhaften von 100 % - äusserten. Dagegen spricht sich das polydisziplinäre Gutachten der C._ nach den Erwägungen des Regionalgerichts ausführlich zur Arbeitsfähigkeit des Gesuchstellers aus mit dem Ergebnis, dass aus psychiatrischer Sicht eine Einschränkung der Arbeitsfähigkeit von 20 % bestehe. Angesichts dieser attestierten Arbeitsfähigkeit von 80 % beständen erhebliche Zweifel an der behaupteten dauerhaften und vollständigen Arbeitsunfähigkeit des Gesuchstellers. Insgesamt erachtete das Gericht die behauptete Arbeitsunfähigkeit von 100 % weder für die Gegenwart noch für die Zukunft als glaubhaft und vermochte nicht zu sehen, wie eine neue Begutachtung andere Ergebnisse liefern könnte. Das Gericht gelangte zum Schluss, eine Partei, die über die nötigen Mittel verfüge, würde bei vernünftiger Überlegung in der Situation des Gesuchstellers den angestrebten Prozess nicht führen - zumal eine sorgfältige Prozessführung gebieten würde, höchstens eine Teilklage mit einem geringeren Betrag einzureichen. B.c. Das Obergericht des Kantons Bern wies die Beschwerde des Gesuchstellers mit Entscheid vom 21. März 2016 ab. Das Obergericht bestätigte zunächst, dass der Gesuchsteller seine Mitwirkungspflicht im vorinstanzlichen Verfahren verletzt habe und mit seinen erst vor Obergericht erhobenen Sachvorbringen nicht zu hören sei. Es fügte jedoch an, dass sich an der Aussichtslosigkeit des Verfahrens auch nichts ändern würde, wenn er mit seinen neuen Vorbringen gehört würde. So habe sich der Gesuchsteller zu den inhaltlichen Feststellungen des C._-Gutachtens nicht geäussert und seien keine Gründe ersichtlich, die ein Abstützen auf dieses Gutachten unzulässig erscheinen liessen. Danach bestehe jedoch abgesehen von der 20%igen Arbeitsunfähigkeit wegen einer leichten depressiven Episode volle Arbeitsfähigkeit und es bleibe überdies unklar, ob der Unfall für die festgestellten psychischen Beschwerden überhaupt kausal sei. Die anderen Arztberichte widersprächen diesem Befund nicht grundsätzlich und der von der Gegenpartei im Hauptverfahren in Auftrag gegebene Observationsbericht wecke erhebliche Zweifel an den vom Gesuchsteller geschilderten Beschwerden. Insgesamt kam das Obergericht zum Schluss, es erscheine äusserst unwahrscheinlich, dass dem Gesuchsteller im Hauptprozess gelingen könnte, eine unfallbedingte vollständige Arbeitsunfähigkeit zu beweisen. Die beabsichtigte Schadenersatzklage sei als aussichtslos zu beurteilen. Und selbst wenn dem Gesuchsteller gelingen würde, einen Teil seiner behaupteten Gesundheitsstörungen und deren Zusammenhang mit dem Unfall zu beweisen, so wäre der geltend gemachte Schadensbetrag deutlich zu hoch. Auch wenn der Kausalzusammenhang im Haftpflichtrecht anders beurteilt werde als im Sozialversicherungsrecht, wäre jedenfalls zu beachten, dass bei der Schwere des vom Gesuchsteller erlittenen Unfalls in der Regel keine psychischen Beschwerden aufträten und daher jedenfalls der ungewöhnliche Krankheitsverlauf als Reduktionsgrund in Betracht fiele. C. C.a. Mit Beschwerde in Zivilsachen stellt der Gesuchsteller die Rechtsbegehren, der angefochtene Entscheid des Obergerichts des Kantons Bern vom 21. März 2016 sei aufzuheben und es sei ihm im bevorstehenden Zivilverfahren vor dem Regionalgericht Bern-Mittelland das Recht auf unentgeltliche Rechtspflege zu erteilen (Ziffer 1); zudem sei ihm für das Beschwerdeverfahren vor der Vorinstanz (Ziffer 2) und für das Beschwerdeverfahren vor Bundesgericht (Ziffer 3) die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Der Beschwerdeführer schildert zunächst aus seiner Sicht den Ablauf der Ereignisse und rügt sodann, die Vorinstanz habe Art. 117 und 119 ZPO aus folgenden Gründen verletzt: Sie habe ihm zu Unrecht eine Verletzung der Mitwirkungspflicht vorgeworfen und habe sich zur Beurteilung der Aussichtslosigkeit auf das nicht schlüssige polydisziplinäre Gutachten C._ vom 19. Mai 2010 gestützt statt auf die gründlicheren Abklärungen der SUVA; zudem habe sie die Aussichtslosigkeit mit einem Parteigutachten der Gegenpartei im Hauptverfahren und deren rechtswidriger Observation begründet. Der Beschwerdeführer bestreitet, dass er offensichtlich überklage. C.b. Nachdem der Beschwerdeführer aufgefordert wurde, aktuelle Unterlagen zu seinen finanziellen Verhältnissen einzureichen, zog er sein Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren zurück und bezahlte den Kostenvorschuss von Fr. 2'000.--. C.c. Die Gegenpartei im Hauptverfahren beantragt in der Stellungnahme, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei, unter Kosten- und Entschädigungsfolge. Die Vorinstanz hat auf Vernehmlassung verzichtet.