Erwägungen:
1.
Mit Verfügung vom 6. Juni 2017 trat das Bezirksgericht Hinwil auf eine Kollokationsklage nach Art. 250 Abs. 1 SchKG des Beschwerdeführers nicht ein.
Dagegen erhob der Beschwerdeführer Beschwerde an das Obergericht des Kantons Zürich. Am 12. Oktober 2017 ersuchte der Beschwerdeführer um Sistierung des Verfahrens und einstweilige Abnahme der Frist zur Leistung des Kostenvorschusses oder (eventualiter) um Fristerstreckung um weitere drei Monate. Mit Verfügung vom 17. Oktober 2017 setzte das Obergericht dem Beschwerdeführer eine einmalige Nachfrist von fünf Tagen ab Zustellung dieser Verfügung zur Leistung des Gerichtskostenvorschusses von Fr. 1'000.-- an (unter Androhung des Nichteintretens im Falle der Nichtbezahlung binnen Nachfrist).
Am 27. November 2017 hat der Beschwerdeführer Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben. Er verlangt die Aufhebung der Verfügung des Obergerichts und die Sistierung des Kollokationsverfahrens bis zur Klärung der Fragen, ob er Gläubiger sei und ob der Konkurs eingestellt werde. Die Aufforderung zur Leistung des Vorschusses sei einstweilen auszusetzen, eventuell sei für die Leistung eines reduzierten Kostenvorschusses eine letzte Nachfrist zu gewähren. Allenfalls sei die Frist zur Leistung eines angemessenen Vorschusses um drei Monate zu verlängern. Zudem ersucht er um aufschiebende Wirkung.
2.
Aufgrund des tiefen Streitwerts (Konkursdividende von 0 %; Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG).
In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (Art. 116 BGG). Diese ist zu begründen (Art. 117 i.V.m. Art. 106 Abs. 2 BGG), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (BGE 133 II 396 E. 3.1 S. 399).
Die Verfügung des Obergerichts ist dem Beschwerdeführer am 27. Oktober 2017 zugestellt worden. Angesichts des Ausgangs des vorliegenden Verfahrens kann offen bleiben, ob die Gesuche um Abnahme der Zahlungsfrist und um weitere Fristverlängerungen nicht bereits deshalb gegenstandslos sind, weil die fünftägige Nachfrist längst abgelaufen ist.
3.
Vor Obergericht begründete der Beschwerdeführer seine Anträge wie folgt: Das Bezirksgericht Hinwil sei mit Verfügung vom 19. September 2017 auf seine Klage betreffend Eigentumsansprache im Konkursverfahren über die Aktiengesellschaft B._ in Liquidation nicht eingetreten. Deshalb entfiele seine Gläubigereigenschaft (und damit die Beschwerdelegitimation) für das obergerichtliche Kollokationsverfahren, wenn ein Weiterzug nicht erfolgreich wäre. Unter diesen Umständen rechtfertige es sich nicht, im heutigen Zeitpunkt Vorschüsse von insgesamt Fr. 4'000.-- (recte: Fr. 5'000.--) für alle Kollokationsklagen zu zahlen.
Das Obergericht hat erwogen, mit der Einreichung eines Rechtsmittels gegen den abschlägigen Kollokationsentscheid sichere sich der Beschwerdeführer die Möglichkeit, dass seine Forderung von rund Fr. 6 Mio. doch noch kolloziert werde und die Abweisung seiner Anmeldung einstweilen nicht endgültig werde. Dies rechtfertige die Erhebung eines Vorschusses. Würde das Beschwerdeverfahren entsprechend den Ausführungen des Beschwerdeführers gegenstandslos, würde sich dies bei der Festlegung der Gerichtsgebühr auswirken. Die Höhe des Vorschusses präjudiziere den späteren Entscheid über die Höhe der Gerichtskosten nicht. Eine andere Frage sei diejenige nach der Zweckmässigkeit der Sistierung des Kollokationsverfahrens. Dazu werde der Beschwerdegegnerin nach Eingang des Vorschusses Gelegenheit zur Stellungnahme zu geben sein.
4.
Der Beschwerdeführer ist der Auffassung, es sei nicht korrekt, hohe Vorschüsse bzw. in ordentlicher Höhe einzufordern, obschon noch nicht feststehe, ob der Prozess überhaupt durchgeführt werde. Eine symbolische Einschreibgebühr hätte ausgereicht. Er wirft dem Obergericht in diesem Zusammenhang Ermessensmissbrauch und eine Verletzung von Art. 9 BV vor. Die blosse Anrufung solcher Schlagworte stellt jedoch keine genügende Begründung dar. Der Beschwerdeführer stellt einfach seine Rechtsauffassung derjenigen des Obergerichts gegenüber, ohne detailliert aufzuzeigen, inwieweit das Obergericht das anwendbare Prozess- und Tarifrecht in willkürlicher Weise angewandt haben soll. Namentlich nennt er nicht einmal einen Betrag, auf den der Vorschuss seiner Ansicht nach festzusetzen gewesen wäre. Ebenso wenig legt er dar, inwieweit das Obergericht in Willkür verfallen sein soll, wenn es das Sistierungsgesuch nicht vor Eingang des Kostenvorschusses behandelt hat. Er verweist zudem auf seine angeblich angespannte finanzielle Situation, die ihm die Bezahlung des Vorschusses verunmögliche und die das Obergericht nicht berücksichtigt habe. Er macht aber nicht geltend, ein Gesuch um unentgeltliche Rechtspflege gestellt zu haben, sondern hält im Gegenteil ein entsprechendes Gesuch für aussichtslos, da er Liegenschaftseigentümer sei, die Liegenschaft aber unverkäuflich sei. Da er kein entsprechendes Gesuch gestellt hat, konnte das Obergericht diese Auffassung nicht beurteilen. Weshalb das Obergericht trotz Fehlens eines Gesuchs um unentgeltliche Rechtspflege gehalten gewesen wäre, seine angebliche finanzielle Situation bei der Bemessung des Kostenvorschusses zu berücksichtigen, legt er nicht dar.
Die Verfassungsbeschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Das Gesuch um aufschiebende Wirkung wird als gegenstandslos abgeschrieben.
3.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 1. Dezember 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg