Sachverhalt: A. A.a Die Y._ AG (Gesuchsgegnerin, Beschwerdegegnerin) klagte mit Eingabe vom 9. Mai 2011 beim Handelsgericht des Kantons Bern gegen die X._ AG (Gesuchstellerin, Beschwerdeführerin) auf Zahlung von Fr. 73'722.35 nebst Zins zu 5 % seit dem 11. Dezember 2010 und Fr. 2'711.50 nebst Zins zu 5 % seit dem 13. Juli 2010. Die Parteien schlossen an der Hauptverhandlung vom 24. Januar 2012 vor dem Handelsgericht des Kantons Bern einen Vergleich ab, mit dem sich die X._ AG dazu verpflichtete, der Y._ AG per Saldo aller gegenseitigen Ansprüche innert 30 Tagen einen Betrag von Fr. 40'000.-- zu bezahlen. Das Handelsgericht tagte an der Hauptverhandlung in jener Besetzung, die den Parteien mit Verfügung vom 23. August 2011 (Vorladung zur Hauptverhandlung) bekannt gegeben worden war. Ziffer 5 dieser Verfügung lautete: "Das Gericht tagt voraussichtlich in folgender Besetzung: Oberrichter Greiner (Präsident) Handelsrichter Beat Schneeberger, dipl. Bauingenieur ETH Handelsrichter Peter Flükiger, Architekt / dipl. Immobilientreuhänder" Diese Verfügung wurde der X._ AG am 24. August 2011 zugestellt. Das Handelsgericht erliess noch in der Hauptverhandlung den Abschreibungsbeschluss. Zusätzlich zur mündlichen Eröffnung vor Schluss der Hauptverhandlung eröffnete das Gericht den Abschreibungsbeschluss schriftlich. A.b Am 27. Januar 2012 reichte die X._ AG dem Handelsgericht ein "Ausstandsgesuch, eventuell Revisionsgesuch" mit den folgenden Rechtsbegehren ein: "1. Herr Handelsrichter Beat Schneeberger, dipl. Bauingenieur ETH, sei zu verpflichten, in den Ausstand zu treten und durch einen neu zu bestimmenden Handelsrichter zu ersetzen. 2. Die gesamte Hauptverhandlung vom 24. Januar 2012 (inklusive die dabei geschlossene Vereinbarung) sei aufzuheben. ..." Mit Stellungnahme vom 28. Februar 2012 wies Handelsrichter Schneeberger die Befangenheitsvorwürfe der Gesuchstellerin zurück. Diese äusserte sich dazu mit Eingabe vom 22. März 2012. B. Mit Entscheid vom 11. Juni 2012 trat das Handelsgericht des Kantons Bern (in anderer Besetzung) auf das Gesuch der X._ AG nicht ein. Das Handelsgericht hielt fest, die Gesuchstellerin habe ihr Ausstandsgesuch am 27. Januar 2012 eingereicht, mithin drei Tage nach Abschluss des Vergleichs sowie nach Erlass und mündlicher Eröffnung des Abschreibungsbeschlusses am 24. Januar 2012. Im Zeitpunkt der Gesuchseinreichung sei das Verfahren vor Handelsgericht daher bereits abgeschlossen gewesen, weshalb darauf - soweit es als Ausstandsgesuch im laufenden Verfahren gestellt worden sei - mangels Zuständigkeit des Handelsgerichts nicht einzutreten sei. Selbst wenn das Gesuch jedoch als Ausstandsgesuch im laufenden Verfahren noch behandelt werden könnte, habe die Gesuchstellerin den Ausstandsgrund zu spät geltend gemacht, weshalb sie ihr Recht, sich darauf zu berufen, verwirkt habe; ohnehin lägen gegen den Handelsrichter Schneeberger keine Ausstandsgründe vor, weshalb er auch keine Mitteilungspflicht habe verletzen können. Soweit das Gesuch als Revisionsgesuch eingereicht wurde, trat das Handelsgericht darauf ebenfalls nicht ein; selbst wenn jedoch zugunsten der Gesuchstellerin davon auszugehen sei, sie habe den behaupteten Ausstandsgrund tatsächlich erst nach Abschluss des Verfahrens entdeckt, führte eine materielle Prüfung des Revisionsgesuchs zu dessen Abweisung. Mit Parteikostenbestimmung vom 26. Juli 2012 bezifferte das Handelsgericht die der Gesuchstellerin mit Entscheid vom 11. Juni 2012 grundsätzlich auferlegte Parteientschädigung. C. Mit Beschwerde in Zivilsachen beantragt die X._ AG dem Bundesgericht, es sei der Entscheid des Handelsgerichts des Kantons Bern vom 11. Juni 2012 aufzuheben, Handelsrichter Beat Schneeberger habe in den Ausstand zu treten und sei durch einen neu zu bestimmenden Handelsrichter zu ersetzen; zudem sei die "gesamte Hauptverhandlung vom 24. Januar 2012 (inklusive die dabei geschlossene Vereinbarung) ... aufzuheben und neu anzusetzen". Eventualiter sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Mit Eingabe vom 7. September 2012 wies die Beschwerdeführerin darauf hin, dass sie die Parteikostenbestimmung vom 26. Juli 2012 ebenfalls anfechte. Die Beschwerdegegnerin beantragt im Wesentlichen, auf die Beschwerde in Zivilsachen sei nicht einzutreten; eventualiter sei sie abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.