Sachverhalt:
A. Vor dem Einzelrichter des Kantonsgerichts Schaffhausen, Y._, ist eine Forderungsklage der V._ AG gegen die X._ AG über Fr. 5'186.30 nebst Zins hängig. Nachdem der Einzelrichter unter anderem ein Sistierungsgesuch der X._ AG abgewiesen hatte, stellte diese ein (erstes) Ablehnungsbegehren gegen Y._. Dieses wurde vom Kantonsgericht des Kantons Schaffhausen mit Beschluss vom 13. September 2010 abgewiesen. Hiergegen rekurrierte die X._ AG erfolglos an das Obergericht des Kantons Schaffhausen. Eine gegen dessen Entscheid gerichtete Verfassungsbeschwerde wies das Bundesgericht ab, soweit es darauf eintrat (Urteil 4D_8/2011 vom 27. April 2011).
B. Mit Verfügung vom 15. September 2011 wies der Einzelrichter ein weiteres Sistierungsgesuch der X._ AG ab, wogegen letztere am 30. September 2011 Beschwerde an das Obergericht erhob. Darin stellte sie zudem ein erneutes Ausstandsbegehren gegen Y._.
Am 9. November 2011 wies das Kantonsgericht, dem das Obergericht das Ausstandsbegehren zuständigkeitshalber überwiesen hatte, dieses kostenpflichtig ab, wogegen die X._ AG Beschwerde an das Obergericht führte. Das Obergericht auferlegte der X._ AG am 28. Dezember 2011 einen Kostenvorschuss von Fr. 800.--. Mit Verfügung vom 16. März 2012 stellte es fest, die X._ AG habe den Kostenvorschuss auch innert der gesetzten Nachfrist nicht geleistet, weshalb es auf die Beschwerde nicht eintrat.
C. Die X._ AG (Beschwerdeführerin) beantragt mit "staatsrechtlicher Beschwerde", die Verfügung des Obergerichts sei "wegen Verletzung der Ausstandspflichten des Obergerichts Richters R._ und des Obergerichts Gerichtsschreibers S._" aufzuheben. Sodann beantragt sie, "vorbefasste und mehrfach abgelehnte, ausständige Richter und Personen der Rechtspflege" hätten "bis zum betreffenden Entscheid in den Ausstand zu treten und sich bis zur rechtsgültigen Klärung zu enthalten, ggf. sind zur Erfüllung der Verfassungsrechtlichen gegebenen Garantie des unabhängigen, neutralen Richters ggf. ausserkantonale Ersatzrichter zu berufen [...]".
Die Vorinstanz liess sich zur Beschwerde vernehmen, ohne Anträge zu stellen. Y._ beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
D. Mit Eingabe vom 11. Juni 2012 ersuchte die Beschwerdeführerin unter anderem darum, es sei ihr die vorgesehene Besetzung des Bundesgerichts zur Kenntnis zu bringen und es sei ihr Auskunft darüber zu geben, ob und welche der beteiligten Gerichtspersonen dem "Schaffhauser Juristenverein angehören, angehört haben oder freundschaftliche Beziehungen dort pflegen im Sinne der Einschätzung des Neutralitätsgesichtspunktes". In einem Schreiben datiert vom 12. Juni 2012 beantragte die Beschwerdeführerin schliesslich die Sistierung des bundesgerichtlichen Verfahrens bis zur Entscheidung des Europäischen Gerichtshofs für Menschenrechte über die Beschwerde gegen den Entscheid des Bundesgerichts vom 27. April 2011. Zudem wiederholte sie das Gesuch um Bekanntgabe der beteiligten Gerichtspersonen und stellte weitere Eingaben in Aussicht.

Erwägungen:
1. 1.1 Gemäss <ref-law> in Verbindung mit <ref-law> (SR 273) kann das Bundesgericht das Verfahren aus Gründen der Zweckmässigkeit aussetzen. Der Entscheid steht im Ermessen des Bundesgerichts, wobei dieses von der ihm eingeräumten Möglichkeit der Verfahrensaussetzung zurückhaltenden Gebrauch macht (vgl. Urteile 5A_869/2011 vom 10. Mai 2012 E. 1; 4A_595/2011 vom 17. Februar 2012 E. 1.5). Vorliegend sind keine überwiegenden Gründe ersichtlich, welche die Sistierung des bundesgerichtlichen Verfahrens rechtfertigen würden. Das Sistierungsgesuch ist damit abzuweisen.
1.2 Abzuweisen ist auch das Gesuch der Beschwerdeführerin um vorgängige Bekanntgabe der bundesgerichtlichen Gerichtsbesetzung, weil die Beschwerdeführerin die Namen der Mitglieder der I. zivilrechtlichen Abteilung des Bundesgerichts auf Grund des Staatskalenders hätte ermitteln und auf dieser Grundlage Ausstandsbegehren stellen können.
2. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1; <ref-ruling> E. 1, 470 E. 1).
2.1 Angefochten ist eine Verfügung des Obergerichts, in der über eine gegen die Abweisung des Ausstandsgesuchs durch das Kantonsgericht gerichtete Beschwerde entschieden wurde. Der angefochtene Entscheid bildet somit - unabhängig davon, dass es sich um einen Nichteintretensentscheid handelt - einen selbständig eröffneten Vor- und Zwischenentscheid über ein Ausstandsbegehren. Gegen einen solchen Entscheid ist die Beschwerde zulässig (<ref-law>).
Nach dem Grundsatz der Einheit des Verfahrens sind Vor- und Zwischenentscheide mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten (<ref-ruling> E. 3 S. 144; <ref-ruling> E. 2.2). Da es in der Hauptsache um eine Zivilrechtsstreitigkeit mit einem Streitwert von weniger als Fr. 30'000.-- geht, ist die Beschwerde in Zivilsachen gegen diesen Vor- und Zwischenentscheid nicht zulässig (<ref-law>). Die erhobene "staatsrechtliche Beschwerde" ist als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>).
2.2 Nicht eingetreten werden kann auf das allgemein formulierte Rechtsbegehren, "vorbefasste und mehrfach abgelehnte, ausständige Richter und Personen der Rechtspflege" hätten "bis zum betreffenden Entscheid in den Ausstand zu treten [...]", respektive es seien "ausserkantonale Ersatzrichter zu berufen [...]". Neue Begehren sind vor Bundesgericht unzulässig (Art. 99 Abs. 2 in Verbindung mit <ref-law>). Mit ihrem entsprechenden Ausstandsbegehren zielt die Beschwerdeführerin in unzulässiger Weise über den vorinstanzlich zu beurteilenden - auf das Ablehnungsgesuch gegen Einzelrichter Y._ beschränkten - Streitgegenstand hinaus.
2.3 Da die Verfassungsbeschwerde nur gegen Entscheide letzter kantonaler Instanzen zulässig ist (Art. 113 sowie Art. 114 in Verbindung mit <ref-law>), kann auf Rügen nicht eingetreten werden, die sich direkt gegen den erstinstanzlichen kantonalen Entscheid richten. Vielmehr verlangt die Ausschöpfung des kantonalen Instanzenzugs, dass die Rügen vor der letzten kantonalen Instanz erhoben werden.
3. 3.1 Mit subsidiärer Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 42 Abs. 1 und 2 BGG). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von verfassungsmässigen Rechten liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Standpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 in Verbindung mit <ref-law>; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.2).
3.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie auf einer Rechtsverletzung im Sinne von <ref-law>, mithin auf einer Verletzung von verfassungsmässigen Rechten, beruht (<ref-law>). Der Beschwerdeführer hat das Vorliegen einer Verfassungsverletzung mit einer den vorstehend genannten Anforderungen (Erwägung 3.1) genügenden Begründung geltend zu machen (<ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445). Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_275/2011 vom 20. Oktober 2011 E. 2, nicht publ. in: <ref-ruling>; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>).
4. Die Beschwerdeführerin beanstandet zunächst eine Verletzung des rechtlichen Gehörs (<ref-law>), wobei eine nachvollziehbare Begründung in der Beschwerde indessen weitgehend fehlt:
Sie behauptet unter diesem Titel einerseits, dass die Vorinstanz nicht mit unabhängigen Gerichtspersonen besetzt gewesen sei respektive dass die Vorinstanz wie auch die "beschwerdegegenständlichen Personen" Ausstandsregeln vorsätzlich missachtet hätten. Darauf ist bei der Behandlung der Rüge einer Verletzung von <ref-law> und Art. 6 Ziff. 1 EMRK einzugehen (Erwägung 5).
Andererseits moniert die Beschwerdeführerin eine Verletzung der Pflicht der Behörden, "zu den vorgebrachten Argumenten und Anträgen" Stellung zu nehmen, worin die Rüge einer Verletzung des rechtlichen Gehörs, konkret des Anspruchs auf einen begründeten Entscheid, erblickt werden kann.
4.1 Die Vorinstanz stellte fest, sie habe der Beschwerdeführerin am 28. Dezember 2011 einen Kostenvorschuss von Fr. 800.-- auferlegt. Die Beschwerdeführerin habe mit Eingabe vom 16. Januar 2012 rechtzeitig um eine Fristverlängerung für die Bezahlung des Kostenvorschusses ersucht und Fragen zum Verfahren gestellt, worauf ihr für die Zahlung des Kostenvorschusses eine letzte Frist bis 17. Februar 2012 gesetzt worden sei. Innert der gesetzten Nachfrist habe die Beschwerdeführerin den Kostenvorschuss nicht geleistet, weshalb auf die Beschwerde gemäss <ref-law> (SR 272) nicht einzutreten sei.
Aus der Begründung der angefochtenen Verfügung gehen somit ohne weiteres die Überlegungen hervor, von denen sich die Vorinstanz hat leiten lassen und auf die sich der Nichteintretensentscheid stützt (vgl. <ref-ruling> E. 5.2). Inwiefern die Vorinstanz den Gehörsanspruch der Beschwerdeführerin in dieser Beziehung verletzt haben soll, ist unter diesen Umständen nicht ersichtlich.
4.2 Aber auch die sinngemässe Rüge, die Vorinstanz habe den Anspruch der Beschwerdeführerin auf einen begründeten Entscheid verletzt, indem sie nicht in einem Sachentscheid inhaltlich auf die Beschwerde eingegangen sei, sondern einen Nichteintretensentscheid gefällt habe, entbehrt der Grundlage: Die Beschwerdeführerin trägt keine Umstände vor, die das Nichteintreten der Vorinstanz verfassungswidrig erscheinen lassen und die überdies nicht ohnehin im Rahmen eines Gesuchs um Wiederherstellung der Frist nach <ref-law> hätten vorgebracht werden müssen (vgl. Urteil 2C_345/2010 vom 10. Mai 2010 E. 2.2). Sie äussert sich weder dazu, weshalb die Vorinstanz ihrer Auffassung nach von Verfassungs wegen nicht berechtigt gewesen sein soll, von ihr die Leistung eines Kostenvorschusses zu verlangen, noch rügt sie in zulässiger Weise die vorinstanzliche Feststellung, sie habe den Kostenvorschuss innert Frist nicht geleistet: Alleine mit der - den festgestellten Sachverhalt ergänzenden - Behauptung, sie habe beim Kanton Schaffhausen "entsprechende Guthaben", kann die Beschwerdeführerin die vorinstanzliche Feststellung jedenfalls nicht als willkürlich ausweisen. Es fehlen jegliche Ausführungen dazu, wie die Beschwerdeführerin durch Verrechnung der behaupteten Guthaben die Vorschusspflicht getilgt haben will und inwiefern die Vorinstanz dies in willkürlicher Weise verkannt haben soll.
4.3 Die Gehörsrüge erweist sich damit als unbegründet, soweit darauf eingetreten werden kann.
5. Die Beschwerdeführerin beanstandet weiter eine Verletzung von <ref-law> und Art. 6 Ziff. 1 EMRK. Sie kritisiert, es bestünden Zweifel an der Unparteilichkeit, der Neutralität, der Unbefangenheit und an der Unvoreingenommenheit der "Vorinstanz wie auch der beschwerdegegenständlichen Amtspersonen".
5.1 Soweit mit den "beschwerdegegenständlichen Amtspersonen" auch der für die Forderungsklage der V._ AG zuständige Einzelrichter des Kantonsgerichts, Y._, oder die am Beschluss des Kantonsgerichts vom 9. November 2011 beteiligten Gerichtspersonen gemeint sein sollen, kann auf die Beschwerde von vornherein nicht eingetreten werden: Die Verfassungsbeschwerde ist zulässig gegen Entscheide letzter kantonaler Instanzen (Erwägung 2.3). Letztinstanzlichkeit gemäss diesen Bestimmungen bedeutet, dass der kantonale Instanzenzug für die Rügen, die dem Bundesgericht vorgetragen werden, ausgeschöpft sein muss (<ref-ruling> E. 1.3 S. 527 mit Hinweisen). Dieses Erfordernis ist vorliegend nicht erfüllt: Die Rüge, gegen Y._ oder die am Beschluss des Kantonsgerichts beteiligten Gerichtspersonen liege ein Ausstandsgrund vor, hätte die Beschwerdeführerin dem Obergericht unterbreiten müssen. Dies hätte bedingt, dass sie form- und fristgerecht das dafür zulässige Rechtsmittel erhebt. Der Nichteintretensentscheid des Obergerichts erfolgte, weil die Beschwerdeführerin es versäumt hatte, rechtzeitig den Kostenvorschuss zu bezahlen (Erwägung 4). Damit hat die Beschwerdeführerin den kantonalen Instanzenzug nicht ausgeschöpft, weshalb ihre Rüge insofern bereits am Erfordernis der Letztinstanzlichkeit scheitert.
5.2 Demgegenüber steht der Beschwerdeführerin vor Bundesgericht grundsätzlich die Rüge offen, das Obergericht sei nicht aus unabhängigen, unparteiischen Personen und damit verfassungswidrig zusammengesetzt gewesen.
5.2.1 Nach <ref-law> und Art. 6 Ziff. 1 EMRK, denen in dieser Hinsicht dieselbe Tragweite zukommt, hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Ob diese Garantien verletzt sind, prüft das Bundesgericht frei (<ref-ruling> E. 3.1; <ref-ruling> E. 5.2 S. 3). Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei deren Beurteilung ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken (<ref-ruling> E. 3.2.1; <ref-ruling> E. 3.1).
Die Beschwerde lässt kaum erkennen, in welchem konkreten Verhalten oder welchen äusseren Begebenheiten die Beschwerdeführerin einen Grund für die Befangenheit der am angefochtenen Entscheid beteiligten Gerichtspersonen des Obergerichts, nämlich Vizepräsident R._ und Gerichtsschreiber S._, erblickt. Sie verweist unter anderem auf frühere Verfahren vor dem Kantons- und dem Obergericht sowie der Staatsanwaltschaft des Kantons Schaffhausen "zum Fall Betag Immobilien- und Beteiligungs AG" mit der Anregung, die entsprechenden Akten beizuziehen, und weist darauf hin, das Obergericht handle bei Ausstandsverfahren gegen Staatsanwälte unter der Verantwortung von Oberrichter R._ "vorsätzlich rechtsverzögernd und rechtsverhindernd". Dieser pauschale Vorwurf vermag ebenso wenig einen Ausstandsgrund zu belegen wie die unsubstanziierte Behauptung, in der Schaffhauser Justiz hätten Mitglieder des "privaten Juristenvereins" Probleme damit, "gegen eigene Vereinsfreunde zu deren Nachteil anzuwendendes Recht auszusprechen". Ferner begründet die Beschwerdeführerin auch dadurch, dass sie einzelne Passagen aus Lehre und Rechtsprechung zu <ref-law> und Art. 6 Ziff. 1 EMRK wiedergibt, nicht konkret, inwiefern der angefochtene Entscheid die genannten Bestimmungen verletzen soll.
5.2.2 Ohnehin scheitert die entsprechende Rüge jedoch auch daran, dass sich die Beschwerdeführerin nicht rechtzeitig auf den behaupteten Ausstandsgrund berufen hat: Wer einen Ablehnungsgrund nicht unverzüglich nach dessen Kenntnisnahme geltend macht, verwirkt den Anspruch auf seine spätere Anrufung (<ref-ruling> E. 3.2.2; <ref-ruling> E. 3.4 S. 211). Die Beschwerdeführerin bringt vor, sie habe Oberrichter R._ und Obergerichtsschreiber S._ bereits am 16. Januar 2012 abgelehnt. Indessen ergibt sich aus den Akten, dass die Beschwerdeführerin in ihrer Eingabe vom 16. Januar 2012, mit der sie um Erstreckung der Frist zur Vorschussleistung im vorliegenden Verfahren ersuchte und sich zum Anspruch auf unentgeltliche Prozessführung äusserte, lediglich um Mitteilung der Gerichtsbesetzung bat und sich nach einer Mitgliedschaft der beteiligten Gerichtspersonen beim Juristenverein Schaffhausen erkundigte. Am 20. Januar 2012 teilte der Vizepräsident des Obergerichts der Beschwerdeführerin die Gerichtsbesetzung mit und informierte sie darüber, dass alle erwähnten Personen Mitglieder des Schaffhauser Juristenvereins seien. Dass die Beschwerdeführerin daraufhin umgehend ein Ausstandsgesuch gestellt hat, vermag sie nicht darzutun. Aus den vorinstanzlichen Akten ist vielmehr zu erkennen, dass die Beschwerdeführerin die Verfügung des Obergerichts vom 16. März 2012 abwartete, um den Ausstandsgrund erstmals in ihrer Beschwerde an das Bundesgericht geltend zu machen. Zu diesem Zeitpunkt kannte sie die Gerichtsbesetzung schon seit rund zwei Monaten.
Die Rüge, die am angefochtenen Entscheid des Obergerichts beteiligten Gerichtspersonen seien befangen, hat somit ohnehin als verspätet und verwirkt zu gelten.
6. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Gesuche der Beschwerdeführerin um Sistierung des Verfahrens sowie um vorgängige Bekanntgabe der Gerichtsbesetzung werden abgewiesen.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 2. Oktober 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz