Erwägungen:
1.
Mit Verfügung vom 7. Juni 2017 wies das Bezirksgericht Hinwil eine Kollokationsklage nach <ref-law> der Beschwerdeführer gegen die Beschwerdegegnerin ab.
Dagegen erhoben die Beschwerdeführer Beschwerde an das Obergericht des Kantons Zürich. Am 12. Oktober 2017 ersuchten die Beschwerdeführer um Sistierung des Verfahrens und einstweilige Abnahme der Frist zur Leistung des Kostenvorschusses oder (eventualiter) um Fristerstreckung um weitere drei Monate. Mit Verfügung vom 17. Oktober 2017 setzte das Obergericht den Beschwerdeführern eine einmalige Nachfrist von fünf Tagen ab Zustellung dieser Verfügung zur Leistung des Gerichtskostenvorschusses von Fr. 1'000.-- an (unter Androhung des Nichteintretens im Falle der Nichtbezahlung binnen Nachfrist).
Am 27. November 2017 haben die Beschwerdeführer Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben. Sie verlangen die Aufhebung der Verfügung des Obergerichts und die Sistierung des Kollokationsverfahrens bis zur Klärung der Fragen, ob A._ (Beschwerdeführer 1) Gläubiger sei und ob der Konkurs eingestellt werde. Die Aufforderung zur Leistung des Vorschusses sei einstweilen auszusetzen, eventuell sei für die Leistung eines reduzierten Kostenvorschusses eine letzte Nachfrist zu gewähren. Allenfalls sei die Frist zur Leistung eines angemessenen Vorschusses um drei Monate zu verlängern. Zudem ersuchen sie um aufschiebende Wirkung.
2.
Aufgrund des tiefen Streitwerts (Konkursdividende von 0 %; <ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>).
In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (<ref-law>). Diese ist zu begründen (Art. 117 i.V.m. <ref-law>), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399).
Die Verfügung des Obergerichts ist den Beschwerdeführern am 27. Oktober 2017 zugestellt worden. Angesichts des Ausgangs des vorliegenden Verfahrens kann offen bleiben, ob die Gesuche um Abnahme der Zahlungsfrist und um weitere Fristverlängerungen nicht bereits deshalb gegenstandslos sind, weil die fünftägige Nachfrist längst abgelaufen ist.
3.
Vor Obergericht begründeten die Beschwerdeführer ihre Anträge wie folgt: Das Bezirksgericht Hinwil sei mit Verfügung vom 19. September 2017 auf eine Klage des Beschwerdeführers 1 betreffend Eigentumsansprache im Konkursverfahren über die Aktiengesellschaft B._ in Liquidation nicht eingetreten. Deshalb entfiele dessen Gläubigereigenschaft (und damit die Beschwerdelegitimation) für das obergerichtliche Kollokationsverfahren, wenn ein Weiterzug nicht erfolgreich wäre. Unter diesen Umständen rechtfertige es sich nicht, im heutigen Zeitpunkt Vorschüsse von insgesamt Fr. 4'000.-- (recte: Fr. 5'000.--) für alle Kollokationsklagen zu zahlen.
Das Obergericht hat erwogen, mit der Einreichung eines Rechtsmittels gegen den abschlägigen Kollokationsentscheid sicherten sich die Beschwerdeführer die Möglichkeit, den Wegweisungsprozess gegen die Beschwerdegegnerin weiterzuführen. Dies allein rechtfertige die Erhebung eines Vorschusses. Würde das Beschwerdeverfahren entsprechend den Ausführungen der Beschwerdeführer gegenstandslos, würde sich dies bei der Festlegung der Gerichtsgebühr auswirken. Die Höhe des Vorschusses präjudiziere den späteren Entscheid über die Höhe der Gerichtskosten nicht. Eine andere Frage sei diejenige nach der Zweckmässigkeit der Sistierung des Kollokationsverfahrens. Dazu werde der Beschwerdegegnerin nach Eingang des Vorschusses Gelegenheit zur Stellungnahme zu geben sein.
4.
Die Beschwerdeführer sind der Auffassung, es sei nicht korrekt, hohe Vorschüsse bzw. in ordentlicher Höhe einzufordern, obschon noch nicht feststehe, ob der Prozess überhaupt durchgeführt werde. Eine symbolische Einschreibgebühr hätte ausgereicht. Sie werfen dem Obergericht in diesem Zusammenhang Ermessensmissbrauch und eine Verletzung von <ref-law> vor. Die blosse Anrufung solcher Schlagworte stellt jedoch keine genügende Begründung dar. Die Beschwerdeführer stellen einfach ihre Rechtsauffassung derjenigen des Obergerichts gegenüber, ohne detailliert aufzuzeigen, inwieweit das Obergericht das anwendbare Prozess- und Tarifrecht in willkürlicher Weise angewandt haben soll. Namentlich nennen sie nicht einmal einen Betrag, auf den der Vorschuss ihrer Ansicht nach festzusetzen gewesen wäre. Ebenso wenig legen sie dar, inwieweit das Obergericht in Willkür verfallen sein soll, wenn es das Sistierungsgesuch nicht vor Eingang des Kostenvorschusses behandelt hat. Sie verweisen zudem auf die angeblich angespannte finanzielle Situation des Beschwerdeführers 1, die ihm die Bezahlung des Vorschusses verunmögliche und die das Obergericht nicht berücksichtigt habe. Der Beschwerdeführer 1 macht aber nicht geltend, ein Gesuch um unentgeltliche Rechtspflege gestellt zu haben, sondern hält im Gegenteil ein entsprechendes Gesuch für aussichtslos, da er Liegenschaftseigentümer sei, die Liegenschaft aber unverkäuflich sei. Da er kein entsprechendes Gesuch gestellt hat, konnte das Obergericht diese Auffassung nicht beurteilen. Weshalb das Obergericht trotz Fehlens eines Gesuchs um unentgeltliche Rechtspflege gehalten gewesen wäre, seine angebliche finanzielle Situation bei der Bemessung des Kostenvorschusses zu berücksichtigen, legt er nicht dar.
Die Verfassungsbeschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. <ref-law> durch das präsidierende Mitglied der Abteilung nicht einzutreten. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
5.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer 1 aufzuerlegen (<ref-law>). Es kann mithin offen bleiben, ob der Beschwerdeführer 1 die Beschwerdeführerin 2 überhaupt noch wirksam vertreten kann (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Das Gesuch um aufschiebende Wirkung wird als gegenstandslos abgeschrieben.
3.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer 1 auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 1. Dezember 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg