Erwägungen:
1.
1.1. Mit Vertrag vom 28. Februar 2012 verpflichtete sich die Y._ AG (Beschwerdegegnerin) gegenüber der X._ LP (Beschwerdeführerin), zur Lieferung von Ventilatoren. Da die letzte Teilzahlung des Kaufpreises nicht geleistet wurde, leitete die Beschwerdegegnerin Betreibung gegen die Beschwerdeführerin ein (Zahlungsbefehl Nr. xxx des Betreibungsamts Z._ vom 25. März 2013, zugestellt am 26. März 2013). Gegen den Zahlungsbefehl erhob die Beschwerdeführerin keinen Rechtsvorschlag und am 14. Mai 2013 wurde ihr die Konkursandrohung zugestellt.
1.2. Am 29. Mai 2013 verlangte die Beschwerdeführerin vom Kantonsgericht Schaffhausen einerseits die Aufhebung der Betreibung im Betrag von Fr. 356'228.15. Andererseits sei die Betreibung im Umfang von Fr. 146'202.93 vorläufig einzustellen. Ihr sei Frist anzusetzen, um Klage auf Feststellung des Nichtbestands dieser Restforderung bei der Genfer Industrie- und Handelskammer einzureichen. Im Falle der Gutheissung dieser Klage sei die Betreibung auch im Betrag von Fr. 146'202.93 aufzuheben.
Mit Verfügung vom 19. August 2013 hob das Kantonsgericht die Betreibung im Umfang von Fr. 356'228.15 auf. Im Restbetrag (Fr. 146'202.93) stellte es die Betreibung vorläufig ein und setzte der Beschwerdeführerin wie beantragt Klagefrist an.
1.3. Gegen diese Verfügung erhob die Beschwerdegegnerin am 2. September 2013 Berufung an das Obergericht des Kantons Schaffhausen. Sie wandte sich gegen die Einstellung der Betreibung im Restbetrag von Fr. 146'202.93. Mit Entscheid vom 11. April 2014 hob das Obergericht (Besetzung: Oberrichter A._ und Gerichtsschreiber B._) die vorläufige Einstellung der Betreibung im Restbetrag und die entsprechende Fristansetzung auf.
1.4. Am 28. April 2014 hat die Beschwerdeführerin Beschwerde in Zivilsachen an das Bundesgericht erhoben. Sie verlangt die Aufhebung des obergerichtlichen Entscheids und die Anweisung an das Obergericht, die Sache durch die Kammer unter Ausschluss von Oberrichter A._ und Gerichtsschreiber B._ neu zu entscheiden. Sie macht geltend, ihr Anspruch auf den gesetzlichen Richter (Art. 30 Abs. 1 BV) sei verletzt worden, da der angefochtene Entscheid durch einen Einzelrichter gefällt worden sei, obschon sie form- und fristgerecht die Beurteilung durch die Kammer verlangt habe.
Mit Präsidialverfügung vom 13. Mai 2014 hat das Bundesgericht der Beschwerde aufschiebende Wirkung zuerkannt, nachdem sich dem entsprechenden Antrag weder die Beschwerdegegnerin noch das Obergericht widersetzt hatten.
Das Obergericht hat in seiner Beschwerdeantwort vom 10. September 2014 (wie bereits in der Eingabe vom 6. Mai 2014) mitgeteilt, der Antrag der Beschwerdeführerin auf Beurteilung der Berufung durch die Kammer sei aufgrund eines bedauerlichen Fehlers nicht berücksichtigt worden. Die Beschwerdegegnerin hat sich in ihrer Beschwerdeantwort vom 12. September 2014 als am Verfahren desinteressiert gezeigt und auf Stellungnahme verzichtet.
Am 22. Oktober 2014 hat die Beschwerdeführerin darum ersucht, das bundesgerichtliche Verfahren als gegenstandslos abzuschreiben. Der endgültige Schiedsentscheid sei am 29. August 2014 gefällt worden, wobei sie (die Beschwerdeführerin) zu 80 % obsiegt habe. Am 3. Oktober 2014 habe die Beschwerdegegnerin das Konkursbegehren zurückgezogen und am 16. Oktober 2014 habe das Kantonsgericht das Konkursverfahren infolge Rückzugs des Begehrens als erledigt abgeschrieben.
2.
2.1. Gemäss Art. 32 Abs. 2 BGG entscheidet die Instruktionsrichterin als Einzelrichterin über die Abschreibung von Verfahren zufolge Gegenstandslosigkeit, Rückzugs oder Vergleichs. Aufgrund des von der Beschwerdeführerin dargestellten, mit Dokumenten belegten Sachverhalts, dem die Beschwerdegegnerin nicht widersprochen hat, ist die Beschwerde als gegenstandslos abzuschreiben. Nach der definitiven Beurteilung der materiellen Klage und dem Rückzug des Konkursbegehrens ist das Interesse an der Beurteilung der korrekten Zusammensetzung des obergerichtlichen Spruchkörpers im Verfahren auf vorläufige Einstellung der Betreibung (Art. 85a Abs. 2 SchKG) dahingefallen. Die Beschwerdeführerin weist sodann darauf hin, dass der schiedsgerichtliche Kostenentscheid darauf abstellt, dass das Bundesgericht den obergerichtlichen Kostenentscheid nicht abändert. Nachdem die Beschwerde in der Sache gegenstandslos geworden ist und die obergerichtliche Kostenregelung vor Bundesgericht nicht selbständig angefochten war, umfasst die Abschreibung auch diesen Punkt, so dass weder Anlass noch Grundlage besteht, die obergerichtliche Kostenregelung abzuändern.
2.2. Erklärt das Bundesgericht einen Rechtsstreit als erledigt, entscheidet es mit summarischer Begründung über die Prozesskosten aufgrund der Sachlage vor Eintritt des Erledigungsgrundes (Art. 71 BGG i.V.m. Art. 72 BZP [SR 273]). Bei der Beurteilung der Kosten- und Entschädigungsfolgen ist somit in erster Linie auf den mutmasslichen Ausgang des Prozesses abzustellen (BGE 125 V 373 E. 2a S. 374 f.).
2.3. Die Beschwerde der Beschwerdeführerin wäre mutmasslich gutzuheissen gewesen: Nach Art. 41 Abs. 2 des Justizgesetzes des Kantons Schaffhausen vom 9. November 2009 (JG; SHR 173.200) werden Rechtsmittel in summarischen Verfahren von einem Einzelrichter behandelt, wobei jede Partei die Behandlung durch eine Kammer verlangen kann. Das Obergericht anerkennt, dass die Beschwerdeführerin dies form- und fristgerecht verlangt hat, ihr Antrag jedoch aus Versehen nicht berücksichtigt worden sei (vgl. Eingabe der Beschwerdeführerin an das Obergericht vom 18. September 2013). Das Obergericht hat demnach einen Verfahrensantrag übersehen und in der Folge nicht in der gesetzlich vorgeschriebenen Zusammensetzung geurteilt.
2.4. Unter diesen Umständen rechtfertigt es sich, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG). Hingegen hat der Kanton Schaffhausen, in dessen Verantwortungsbereich sich das Versehen ereignet hat, die Beschwerdeführerin angemessen zu entschädigen (Art. 68 Abs. 1 und Abs. 4 i.V.m. Art. 66 Abs. 3 BGG).
Demnach verfügt die Einzelrichterin:
1.
Die Beschwerde wird als gegenstandslos abgeschrieben.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Schaffhausen hat die Beschwerdeführerin mit Fr. 3'000.-- zu entschädigen.
4.
Diese Verfügung wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 29. Oktober 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Einzelrichterin: Escher
Der Gerichtsschreiber: Zingg