Sachverhalt: A. A._ und B._ (Beschwerdeführer) belangten die X._ AG (Beschwerdegegnerin) vor dem Bezirksgericht Bülach im Sinne einer Teilklage auf Zahlung von Fr. 31'840.-- aus Werkeigentümerhaftung. Das Bezirksgericht wies die Klage am 9. Juli 2008 ab. Dieses Urteil hob das Obergericht des Kantons Zürich am 9. Juni 2010 auf und wies das Verfahren zur Durchführung eines Beweisverfahrens an das Bezirksgericht zurück. B. Mit Eingabe vom 21. April 2011 reichten die Beschwerdeführer dem Bezirksgericht ein Ablehnungsbegehren gegen dessen Vizepräsidenten Andreas Fischer ein. Sie brachten dazu vor, der abgelehnte Richter habe das Nichterscheinen eines Zeugen genutzt, um die Parteien zu fragen, ob Vergleichsgespräche geführt worden seien. Als diese verneint hätten, habe der abgelehnte Richter erklärt, er erachte das Prozessrisiko der Beschwerdeführer trotz der obergerichtlichen Rückweisung nach wie vor als sehr gross. Hierauf habe er die Beschwerdeführer gefragt, ob sie sich einen Klagerückzug vorstellen könnten. Deren Antwort sei negativ ausgefallen. Mit dem beschriebenen Verhalten habe der abgelehnte Richter zumindest den Eindruck erweckt, er habe sich eine abschliessende Meinung gebildet, die auch durch die unmittelbar bevorstehende Beweisverhandlung mit Zeugenbefragung nicht mehr geändert werden könne. Der abgelehnte Richter erscheine deshalb als befangen. Ausserdem sei er vorbefasst, da er bereits vor der Rückweisung am Verfahren mitgewirkt habe. Schliesslich sei auch die landgerichtliche Zusammensetzung des Spruchkörpers mit dem abgelehnten Richter als Juristen unter Laienrichtern, dessen Meinung faktisch prozessentscheidende Bedeutung zukomme, geeignet, ihn als befangen erscheinen zu lassen. C. Am 4. Mai 2011 überwies der abgelehnte Richter das Ablehnungsbegehren zuständigkeitshalber an die Verwaltungskommission des Obergerichts des Kantons Zürich. Gleichzeitig gab er die gewissenhafte Erklärung ab, er fühle sich unbefangen, und er erläuterte die Ereignisse vom 8. April 2011 sowie seine damals abgegebene Meinungsäusserung aus seiner Sicht. Mit Beschluss vom 4. Juli 2011 wies die Verwaltungskommission das Ablehnungsbegehren ab. Auf die hiegegen erhobene Beschwerde in Zivilsachen trat das Bundesgericht am 21. September 2011 nicht ein, weil die Verwaltungskommission nicht auf Rechtsmittel hin, sondern als erste und einzige Instanz entschieden hatte, womit der Anforderung gemäss Art. 75 Abs. 2 Satz 2 BGG nicht genüge getan war (Urteil des Bundesgerichts 4A_534/2011 vom 21. September 2011 mit Hinweis auf BGE 137 III 424 E. 2.2). Hierauf gelangten die Beschwerdeführer nach wiederhergestellter Frist an die Rekurskommission des Obergerichts des Kantons Zürich mit den Anträgen, den Beschluss der Verwaltungskommission vom 4. Juli 2011 aufzuheben und das Ausstandsgesuch gutzuheissen. Die Rekurskommission wies die Beschwerde am 7. Juni 2012 ab. D. Die Beschwerdeführer beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, den Beschluss des Obergerichts vom 7. Juni 2012 aufzuheben und ihr Ausstandsgesuch gutzuheissen. Ihrem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht am 6. August 2012 statt. Sowohl die Beschwerdegegnerin als auch die Rekurskommission des Obergerichts haben auf Vernehmlassung verzichtet.