Sachverhalt:
A. A.a Die Y._ AG (Gesuchsgegnerin, Beschwerdegegnerin) klagte mit Eingabe vom 9. Mai 2011 beim Handelsgericht des Kantons Bern gegen die X._ AG (Gesuchstellerin, Beschwerdeführerin) auf Zahlung von Fr. 73'722.35 nebst Zins zu 5 % seit dem 11. Dezember 2010 und Fr. 2'711.50 nebst Zins zu 5 % seit dem 13. Juli 2010.
Die Parteien schlossen an der Hauptverhandlung vom 24. Januar 2012 vor dem Handelsgericht des Kantons Bern einen Vergleich ab, mit dem sich die X._ AG dazu verpflichtete, der Y._ AG per Saldo aller gegenseitigen Ansprüche innert 30 Tagen einen Betrag von Fr. 40'000.-- zu bezahlen.
Das Handelsgericht tagte an der Hauptverhandlung in jener Besetzung, die den Parteien mit Verfügung vom 23. August 2011 (Vorladung zur Hauptverhandlung) bekannt gegeben worden war. Ziffer 5 dieser Verfügung lautete:
"Das Gericht tagt voraussichtlich in folgender Besetzung:
Oberrichter Greiner (Präsident)
Handelsrichter Beat Schneeberger, dipl. Bauingenieur ETH
Handelsrichter Peter Flükiger, Architekt / dipl. Immobilientreuhänder"
Diese Verfügung wurde der X._ AG am 24. August 2011 zugestellt.
Das Handelsgericht erliess noch in der Hauptverhandlung den Abschreibungsbeschluss. Zusätzlich zur mündlichen Eröffnung vor Schluss der Hauptverhandlung eröffnete das Gericht den Abschreibungsbeschluss schriftlich.
A.b Am 27. Januar 2012 reichte die X._ AG dem Handelsgericht ein "Ausstandsgesuch, eventuell Revisionsgesuch" mit den folgenden Rechtsbegehren ein:
"1. Herr Handelsrichter Beat Schneeberger, dipl. Bauingenieur ETH, sei zu verpflichten, in den Ausstand zu treten und durch einen neu zu bestimmenden Handelsrichter zu ersetzen.
2. Die gesamte Hauptverhandlung vom 24. Januar 2012 (inklusive die dabei geschlossene Vereinbarung) sei aufzuheben. ..."
Mit Stellungnahme vom 28. Februar 2012 wies Handelsrichter Schneeberger die Befangenheitsvorwürfe der Gesuchstellerin zurück. Diese äusserte sich dazu mit Eingabe vom 22. März 2012.
B. Mit Entscheid vom 11. Juni 2012 trat das Handelsgericht des Kantons Bern (in anderer Besetzung) auf das Gesuch der X._ AG nicht ein.
Das Handelsgericht hielt fest, die Gesuchstellerin habe ihr Ausstandsgesuch am 27. Januar 2012 eingereicht, mithin drei Tage nach Abschluss des Vergleichs sowie nach Erlass und mündlicher Eröffnung des Abschreibungsbeschlusses am 24. Januar 2012. Im Zeitpunkt der Gesuchseinreichung sei das Verfahren vor Handelsgericht daher bereits abgeschlossen gewesen, weshalb darauf - soweit es als Ausstandsgesuch im laufenden Verfahren gestellt worden sei - mangels Zuständigkeit des Handelsgerichts nicht einzutreten sei. Selbst wenn das Gesuch jedoch als Ausstandsgesuch im laufenden Verfahren noch behandelt werden könnte, habe die Gesuchstellerin den Ausstandsgrund zu spät geltend gemacht, weshalb sie ihr Recht, sich darauf zu berufen, verwirkt habe; ohnehin lägen gegen den Handelsrichter Schneeberger keine Ausstandsgründe vor, weshalb er auch keine Mitteilungspflicht habe verletzen können. Soweit das Gesuch als Revisionsgesuch eingereicht wurde, trat das Handelsgericht darauf ebenfalls nicht ein; selbst wenn jedoch zugunsten der Gesuchstellerin davon auszugehen sei, sie habe den behaupteten Ausstandsgrund tatsächlich erst nach Abschluss des Verfahrens entdeckt, führte eine materielle Prüfung des Revisionsgesuchs zu dessen Abweisung.
Mit Parteikostenbestimmung vom 26. Juli 2012 bezifferte das Handelsgericht die der Gesuchstellerin mit Entscheid vom 11. Juni 2012 grundsätzlich auferlegte Parteientschädigung.
C. Mit Beschwerde in Zivilsachen beantragt die X._ AG dem Bundesgericht, es sei der Entscheid des Handelsgerichts des Kantons Bern vom 11. Juni 2012 aufzuheben, Handelsrichter Beat Schneeberger habe in den Ausstand zu treten und sei durch einen neu zu bestimmenden Handelsrichter zu ersetzen; zudem sei die "gesamte Hauptverhandlung vom 24. Januar 2012 (inklusive die dabei geschlossene Vereinbarung) ... aufzuheben und neu anzusetzen". Eventualiter sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Mit Eingabe vom 7. September 2012 wies die Beschwerdeführerin darauf hin, dass sie die Parteikostenbestimmung vom 26. Juli 2012 ebenfalls anfechte.
Die Beschwerdegegnerin beantragt im Wesentlichen, auf die Beschwerde in Zivilsachen sei nicht einzutreten; eventualiter sei sie abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
1.1 Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 75 Abs. 1 und Abs. 2 lit. b sowie Art. 90 BGG). Dagegen steht die Beschwerde in Zivilsachen offen. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1; 133 II 249 E. 1.4.1; je mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5; 133 III 439 E. 3.2 S. 444).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (Urteile 4A_341/2011 vom 21. März 2012 E. 1.5.1; 4A_614/2011 vom 20. März 2012 E. 1.2; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
1.4 Die Ausführungen der Beschwerdeführerin sind über weite Strecken appellatorisch, indem sie dem Bundesgericht unter Hinweis auf verschiedene Beilagen ihre Ansicht zur angeblichen Begründetheit ihres Ausstandsbegehrens unterbreitet und sich kaum mit den ausführlichen Erwägungen des angefochtenen Entscheids auseinandersetzt. Damit verfehlt sie mehrheitlich die gesetzlichen Begründungsanforderungen (Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG).
2. Die Beschwerdeführerin bringt zunächst vor, die Vorinstanz hätte über ihr Ausstandsbegehren befinden müssen, da im Zeitpunkt der Gesuchseinreichung vom 27. Januar 2012 das Verfahren vor der Vorinstanz noch nicht abgeschlossen gewesen sei.
Abgesehen davon, dass sich die Beschwerdeführerin über die verbindlichen Sachverhaltsfeststellungen der Vorinstanz (Art. 105 Abs. 1 BGG) hinwegsetzt, indem sie vor Bundesgericht bestreitet, dass die Abschreibung des Verfahrens anlässlich der Hauptverhandlung vom 24. Januar 2012 mündlich eröffnet wurde, ohne jedoch eine Sachverhaltsrüge zu erheben, gehen ihre Vorbringen fehl. Gemäss Art. 241 Abs. 2 ZPO hat der von den Parteien abgeschlossene gerichtliche Vergleich die Wirkung eines rechtskräftigen Entscheids. Der Vergleich beendet den Prozess unmittelbar; das Verfahren wird gegenstandslos und der guten Ordnung halber nach Art. 241 Abs. 3 ZPO abgeschrieben (Botschaft zur Schweizerischen Zivilprozessordnung [ZPO] vom 28. Juni 2006, BBl 7345 Ziff. 5.15 zu Art. 237 und 238 E-ZPO). Die Beschwerdeführerin verkennt, dass das Verfahren - nachdem sie anlässlich der Hauptverhandlung den gerichtlichen Vergleich mit der Beschwerdegegnerin unterzeichnet und das Gericht noch in derselben Verhandlung den Abschreibungsbeschluss erlassen hatte - am 24. Januar 2012 abgeschlossen wurde. Die Vorinstanz erwog daher zutreffend, dass ein Ausstandsgesuch nach diesem Zeitpunkt nicht mehr möglich war und grundsätzlich die Bestimmungen über die Revision anwendbar sind (vgl. Art. 51 Abs. 3 ZPO).
Die Vorinstanz ist demnach auf das Gesuch der Beschwerdeführerin, soweit es als Ausstandsgesuch im laufenden Verfahren gestellt wurde, zu Recht nicht eingetreten. Auf die vorinstanzlichen Eventualbegründungen, mit denen sich die Beschwerdeführerin ohnehin nicht hinreichend auseinandersetzt, braucht daher nicht eingegangen zu werden.
3. Hinsichtlich des Entscheids der Vorinstanz, auf das Revisionsgesuch nicht einzutreten, da nicht davon auszugehen sei, dass die Beschwerdeführerin den angeblichen Ausstandsgrund erst nach Abschluss des Verfahrens entdeckt habe (vgl. Art. 51 Abs. 3 ZPO), bringt die Beschwerdeführerin lediglich vor, der Anschein der Befangenheit habe sich erst anlässlich der Hauptverhandlung ergeben. Damit macht sie jedoch weder geltend, sie habe den Ausstandsgrund erst nach Abschluss des Verfahrens entdeckt (Art. 51 Abs. 3 ZPO) noch beruft sie sich darauf, nachträglich eine erhebliche Tatsache erfahren zu haben, die sie im früheren Verfahren nicht hätte beibringen können (Art. 328 Abs. 1 lit. a ZPO). Sie zeigt daher nicht auf, inwiefern die Vorinstanz mit ihrem Nichteintretensentscheid Bundesrecht verletzt hätte.
Die Beschwerdeführerin führt zwar in anderem Zusammenhang ins Feld, sie habe sich beim Vergleichsabschluss in einem Grundlagenirrtum befunden, weshalb die Vereinbarung für sie unverbindlich sei. Damit beruft sie sich an sich auf einen gesetzlichen Revisionsgrund (Art. 328 Abs. 1 lit. c ZPO). Sie lässt es jedoch bei der nicht weiter begründeten Behauptung bewenden, sie habe sich "eindeutig in einem Grundlagenirrtum" befunden, hätte sie den Vergleich doch nie unterzeichnet, wenn sie von der Geschäftsbeziehung zwischen der Beschwerdegegnerin und der ehemaligen Arbeitgeberin von Handelsrichter Schneeberger gewusst hätte. Auf die ausführlichen Erwägungen im angefochtenen Entscheid, weshalb kein rechtlich erheblicher Irrtum gemäss Art. 23 f. OR vorliege, geht die Beschwerdeführerin jedoch mit keinem Wort ein, womit sie die gesetzlichen Begründungsanforderungen (Art. 42 Abs. 2 BGG) verfehlt. Dass sie ein schützenswertes Interesse an einem abweisenden Entscheid anstelle eines Nichteintretensentscheids hätte, macht die Beschwerdeführerin zu Recht nicht geltend.
Auf die im gleichen Zusammenhang erhobenen Rügen der Verletzung des Handelns nach Treu und Glauben nach Art. 5 Abs. 3 und Art. 9 BV, die in der Beschwerde nicht einmal ansatzweise begründet werden (vgl. Art. 106 Abs. 2 BGG), kann ebenfalls nicht eingetreten werden.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Bern schriftlich mitgeteilt.
Lausanne, 1. November 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann