Sachverhalt:
A.
Mit Klage vom 6. April 2006 an das Bezirksgericht Affoltern (Einzelrichter) verlangte die C._ AG (nach Parteiwechsel infolge Vermögensübertragung nunmehr B._ AG; nachfolgend Beschwerdegegnerin), das Konkursamt Affoltern am Albis anzuweisen, die Forderung der D._ AG (heute A._ AG; nachfolgend Beschwerdeführerin) im Betrag von Fr. 95'000.-- aus dem Kollokationsplan im Konkurs der E._ AG in Liquidation zu weisen. Eventualiter sei das Konkursamt anzuweisen, die grundpfandgesicherte Forderung der Beschwerdeführerin im Betrag von Fr. 95'000.-- im jetzt kollozierten Rang aus dem Lastenverzeichnis/Kollokationsplan zu weisen und als Forderung der dritten Klasse aufzunehmen.
Das Bezirksgericht sistierte das Verfahren wegen eines Aberkennungsverfahrens auf Antrag der Beschwerdegegnerin hin während Jahren (2006 bis 2013). Nach Aufhebung der Sistierung hiess das Bezirksgericht die Klage mit U rteil vom 27. Januar 2016 gut und wies die Forderung der Beschwerdeführerin aus dem Kollokationsplan.
B.
Gegen dieses Urteil erklärte die Beschwerdeführerin am 6. Februar 2016 beim Bezirksgericht ohne Begründung Berufung. Das Bezirksgericht überwies die Berufungserklärung an das Obergericht des Kantons Zürich. Das Obergericht wies die Beschwerdeführerin darauf hin, dass sie binnen der Berufungsfrist ihre Berufung mit Anträgen versehen und begründen könne, anderenfalls darauf nicht eingetreten werde. Am 1. März 2016 reichte die nunmehr anwaltlich vertretene Beschwerdeführerin die begründete Berufung ein. Ihr Antrag lautete wie folgt:
"Das Urteil vom 27. Januar 2016 sei aufzuheben. Die Sache sei an die erste Instanz zurückzuweisen mit der Anweisung, eine mündliche Replik/Duplik - Verhandlung durchzuführen. Mit Kosten und Entschädigungsfolgen zu Lasten der Berufungsbeklagten."
Mit Beschluss vom 24. Mai 2016 trat das Obergericht auf die Berufung nicht ein.
C.
Gegen dieses Urteil hat die Beschwerdeführerin Beschwerde in Zivilsachen an das Bundesgericht erhoben. Sie verlangt, den Beschluss des Obergerichts aufzuheben und dieses anzuweisen, die Sache zur Durchführung eines Zivilverfahrens an das Bezirksgericht zurückzuweisen. Eventuell sei das Obergericht anzuweisen, die Parteien im Rahmen einer mündlichen Verhandlung zu Replik und Duplik mit anschliessendem Haupt- und Beweisverfahren vorzuladen und danach neu zu entscheiden. Zudem ersucht sie um Wiederherstellung der Beschwerdefrist und darum, die am 28. Juni 2016 der Post übergebene Beschwerde als rechtzeitig eingereicht zu qualifizieren.
Das Obergericht hat auf Vernehmlassung verzichtet. Die Beschwerdegegnerin ersucht um Abweisung der Beschwerde, soweit auf sie einzutreten sei.
Erwägungen:
1.
1.1. Gegenstand des Verfahrens ist die Bestreitung der Kollokation eines Anspruchs der Beschwerdeführerin (Art. 250 Abs. 2 SchKG), der auf Bundeszivilrecht beruht. Die Angelegenheit unterliegt mithin der Beschwerde in Zivilsachen (Art. 72 Abs. 1 BGG; BGE 135 III 545 E. 1 S. 547). Der erforderliche Streitwert ist erreicht (Art. 74 Abs. 1 lit. b BGG), der angefochtene Endentscheid wurde von einer auf Rechtsmittel hin urteilenden oberen kantonalen Instanz gefällt (Art. 75, Art. 90 BGG) und die Beschwerdeführerin ist zur Beschwerde berechtigt (Art. 76 Abs. 1 BGG).
1.2.
1.2.1. Die Beschwerde gegen einen Entscheid ist innert 30 Tagen nach der Eröffnung der vollständigen Ausfertigung beim Bundesgericht einzureichen (Art. 100 Abs. 1 BGG). Die Eingabe muss spätestens am letzten Tag der Frist beim Bundesgericht oder zu dessen Handen u.a. der Schweizerischen Post übergeben werden (Art. 48 Abs. 1 BGG). Die Beweislast für die Rechtzeitigkeit der Beschwerdeerhebung, die mit Gewissheit feststehen und nicht bloss überwiegend wahrscheinlich sein muss, trägt der oder die Rechtsuchende (Urteil 9C_564/2012 vom 12. September 2012 E. 2 mit Hinweisen).
1.2.2. Die dreissigtägige Beschwerdefrist ist vorliegend am 27. Juni 2016 abgelaufen (Art. 100 Abs. 1 i.V.m. Art. 45 BGG). Laut der Frankatur ist die Beschwerde jedoch am 28. Juni 2016 der Post übergeben worden. Die Beschwerdeführerin macht in ihrem Fristwiederherstellungsgesuch geltend, die Angestellte des Anwaltsbüros habe die Sendung am 27. Juni 2016, vor 18:00 Uhr, am Postschalter abgegeben und die Poststelle habe den Brief entgegengenommen. Am Morgen des 28. Juni 2016 habe sie jedoch den Brief in ihrem Postfach zusammen mit dem Quittungsbüchlein vorgefunden. Auf dem Quittungsbüchlein habe sich ein Merkzettel ohne Namensnennung mit der Mitteilung "Bitte Frankieren, Danke" befunden. Im Quittungsbüchlein, Nr. 218, sei beim Adressaten Schweizerisches Bundesgericht "ohne frankiert" vermerkt gewesen. Die Beschwerdeführerin habe danach das ins Postfach gelegte verschlossene Schreiben zusammen mit einer neu datierten Beschwerde und einem Fristwiederherstellungsgesuch dem Bundesgericht übermittelt. Die Beschwerdeführerin belegt ihre Darstellung mit Kopien des Quittungsbüchleins mit den genannten Vermerken und einem Schreiben des Poststellengebietsleiters vom 28. Juni 2016, wonach die Post am 27. Juni 2016 zwei unfrankierte Briefe (unter anderem an das Bundesgericht) am Geschäftskundenschalter entgegengenommen, danach aber irrtümlicherweise ins Postfach des Absenders gelegt habe.
1.2.3. Die Post nimmt auch ungenügend frankierte Sendungen entgegen. Bei ungenügender Frankierung behält sie sich bloss vor, die Differenz zum geschuldeten Betrag sowie einen Bearbeitungszuschlag vom Absender einzufordern. Ist dieser nicht bekannt, wird der fehlende Betrag beim Empfänger erfragt (Allgemeine Geschäftsbedingungen «Postdienstleistungen» für Geschäftskunden, Ausgabe Januar 2016, Ziff. 2.4.4). Der Mangel ungenügender oder fehlender Frankierung ist insoweit verbesserlich. Demgemäss ist für die Frage der Fristwahrung auf den Zeitpunkt der ursprünglichen Übergabe an die Post abzustellen (Urteil 4A_374/2014 vom 26. Februar 2015 E. 3.2).
Aufgrund der von der Beschwerdeführerin eingereichten Unterlagen ist davon auszugehen, dass sich die Ereignisse auf der Post so zugetragen haben wie von ihr im Fristwiederherstellungsgesuch geschildert. Es stellt sich jedoch die Frage, ob das der Post am 27. Juni 2016 übergebene und danach von der Beschwerdeführerin über ihr Postfach wieder zugestellte Couvert tatsächlich die dem Bundesgericht eingereichte Beschwerde enthielt. Die Beschwerdeführerin hat dem Bundesgericht in einem grossen Umschlag ein verschlossenes, kleineres Couvert übermittelt, das die auf den 27. Juni 2016 datierte Beschwerdeschrift enthielt. Das grössere Couvert (Poststempel 28. Juni 2016) enthielt daneben das Fristwiederherstellungsgesuch und eine auf den 28. Juni 2016 datierte Beschwerde. Die Beschwerdegegnerin wendet ein, es sei nicht mit hinreichender Sicherheit nachgewiesen, dass tatsächlich dieses unverschlossene Couvert am 27. Juni 2016 der Post übergeben worden sei. Wenn die Post allerdings das ungenügend frankierte Couvert nicht abgestempelt oder sonstwie markiert hat, wie von der Beschwerdegegnerin als Beweis gefordert, sondern ins Postfach zurückgelegt hat, so kann ein solcher Beweis gar nicht erbracht werden. Letztlich dürfte die Beschwerdeführerin ihr Postfach - wenigstens ohne Zeugen - nicht mehr öffnen, damit alle Manipulationen oder Vertauschungen ausgeschlossen werden können. Weiss die Beschwerdeführerin aber nicht, dass die Post die Sendung in das Postfach zurückgelegt hat, wären solche Vorsichtsmassnahmen unüblich und unnatürlich. Von den Bedenken, wie sie die Beschwerdegegnerin vorträgt, ist demnach vorliegend abzusehen. Vielmehr genügen die genannten Indizien, um das Bundesgericht zur vollen Überzeugung zu führen, dass es sich beim kleineren Couvert um dasjenige Couvert handelt, das die Beschwerdeführerin am 27. Juni 2016 mit einer auf diesen Tag datierten Beschwerde der Post übergeben hat. Somit ist die rechtzeitige Übergabe der Beschwerde an die Post nachgewiesen (vgl. Urteile 9C_564/2012 vom 12. September 2012 E. 2; 4A_374/2014 vom 26. Februar 2015 E. 3.2).
Ist die Beschwerde damit rechtzeitig erfolgt, erweist sich das Fristwiederherstellungsgesuch (Art. 50 BGG) als gegenstandslos.
2.
2.1. Das Obergericht hat zunächst die von der Beschwerdeführerin in ihrer Berufung erhobenen Rügen (Verletzungen des Anspruchs auf ein öffentliches und mündliches Verfahren, des rechtlichen Gehörs und der richterlichen Fragepflicht) eingehend geprüft und diese im Wesentlichen für begründet befunden.
Das Obergericht hat erwogen, gemäss § 119 Ziff. 1 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (ZPO/ZH; vormals LS 271) sei das Verfahren vor dem Einzelrichter mündlich; gemäss § 124 Abs. 1 ZPO/ZH habe ausnahmsweise das schriftliche Verfahren angeordnet werden können. Angesichts von Art. 6 Ziff. 1 EMRK und dem ausdrücklichen Antrag der Beschwerdeführerin auf öffentliche bzw. mündliche Verhandlung wäre zumindest einer der beiden Vorträge im Sinne von § 121 ZPO/ZH mündlich durchzuführen gewesen. Das Bezirksgericht habe insoweit den Grundsatz der Öffentlichkeit verletzt.
Das Obergericht hat weiter erwogen, vor Bezirksgericht habe die damals anwaltlich nicht vertretene Beschwerdeführerin ihre Forderung nicht substantiiert. Sie habe offensichtlich das System der Kollokationsklage nach Art. 250 Abs. 2 SchKG nicht verstanden, das von ihr als Beklagter den vollen Beweis für ihre Forderung verlange. Ihre Argumente beruhten im Wesentlichen darauf, dass das Konkursamt ihre Forderung im Kollokationsplan zugelassen und das Steueramt Bilanz und Erfolgsrechnung akzeptiert habe. Dass das Konkursamt die eingegebenen Forderungen nur summarisch prüfe und seine Einschätzung den Richter nicht binde, könne einem Laien unbekannt und für ihn verwirrlich sein, da das Konkursamt in anderen Bereichen verbindlich entscheide. Es gehöre auch nicht zum Allgemeinwissen, dass unrevidierte Jahresabschlüsse zivilprozessual lediglich Parteibehauptungen seien, auch wenn sie von den Steuerbehörden, die zudemeinen anderen Fokus hätten, akzeptiert worden seien. Sei eine Partei aus Rechtsunkenntnis überzeugt, dass sie nicht mehr tun müsse und tue sie deshalb auch nicht mehr, müsse der Richter laienverständlich erklären, weshalb ihre Annahme nicht zutreffe, gefolgt von allenfalls sachdienlichen Fragen (richterliche Fragepflicht). Das Bezirksgericht habe nur einen allgemein gehaltenen, standardisierten Hinweis angebracht. Dies genüge dann nicht, wenn offensichtlich sei, dass die Laienpartei daraus nicht die richtigen Schlüsse ziehen könne. Die Beschwerdegegnerin habe zwar auf die unzureichende Substantiierung hingewiesen. Der Beschwerdeführerin sei es jedoch nicht zu verdenken, wenn sie der anwaltlich vertretenen Beschwerdegegnerin nicht traue und davon ausgehe, die Beschwerdegegnerin verfolge ihreeigenen Interessen und sie (die Beschwerdeführerin) könnte über den Tisch gezogen werden. Somit habe das Bezirksgericht die richterliche Fragepflicht nach § 55 ZPO/ZH verletzt und damit zugleich das rechtliche Gehör verweigert.
Das Obergericht hat schliesslich erwogen, dass die Verletzung des Anspruchs auf eine öffentliche Verhandlung in der Regel geheilt werde, wenn die Verhandlung vor der zweiten, mit voller Kognition ausgestatteten Instanz nachgeholt werde. Auch eine Verletzung des rechtlichen Gehörs könne vor einer mit vollen Kognition ausgestatteten Rechtsmittelinstanz geheilt werden. Zu berücksichtigen sei auch das Interesse an einer beförderlichen Behandlung. Im Rahmen von Art. 318 ZPO werde das Interesse an einem prozessökonomischen Verfahren höher gewichtet als der Anspruch auf eine "double instance". Das zeitliche Element habe vorliegend ein erhebliches Gewicht, da der Prozess seit 2006 rechtshängig sei und einen Konkurs betreffe, der 1999 eröffnet worden sei.
2.2. Das Obergericht hat aus diesen Erwägungen jedoch keine Konsequenzen gezogen, da es in einer nachfolgenden Erwägung auf die Berufung gar nicht erst eingetreten ist. Insbesondere hat es nicht festgehalten, die festgestellten Mängel seien im obergerichtlichen Verfahren tatsächlich geheilt worden und es hat auch keine Schritte unternommen, um dies zu tun. Die Unzulässigkeit der Berufung hat es damit begründet, dass die Beschwerdeführerin einzig einen Rückweisungsantrag gestellt habe. Es fehle ein Berufungsantrag in der Sache und auch der Begründung lasse sich nicht entnehmen, was in der Sache verlangt werde. Da das Obergericht in der Sache selber entscheiden könne, reiche ein solcher Rückweisungsantrag jedoch nicht aus.
2.3. Vor Bundesgericht ist nicht strittig, dass das Bezirksgericht sowohl das rechtliche Gehör der Beschwerdeführerin wie auch ihren Anspruch auf ein öffentliches Verfahren verletzt hat. Die Verletzung des rechtlichen Gehörs steht dabei im Vordergrund.
Angesichts der Rechtsnatur der Gehörsrüge ist das Obergericht voreilig auf die Berufung nicht eingetreten. Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung des Rechtsmittels und zur Aufhebung des angefochtenen Entscheides (BGE 137 I 195 E. 2.2 S. 197). Eine Heilung der Verletzung vor der Rechtsmittelinstanz kommt nur ausnahmsweise in Betracht (dazu im Einzelnen BGE 137 I 195 E. 2.3.2 S. 197 f. mit Hinweisen; Urteil 5A_663/2015 vom 7. März 2016 E. 3.2). Stellt die Rechtsmittelinstanz eine Verletzung des rechtlichen Gehörs fest, so ist ihr Urteil in der Regel kassatorischer Natur, d.h. das angefochtene Urteil wird aufgehoben und die Angelegenheit an die Vorinstanz zur Gewährung des rechtlichen Gehörs zurückgewiesen. Nur bei Heilung der Verletzung kann die Rechtsmittelinstanz reformatorisch entscheiden. Daran ändert nichts, dass die vorliegend in Frage stehende Berufung ein reformatorisches Rechtsmittel ist (Art. 318 Abs. 1 lit. b ZPO; Urteil 5A_663/2015 vom 7. März 2016 E. 3.2).
Daraus ist abzuleiten, dass für die blosse Feststellung einer Gehörsverletzung, die daraus folgende Aufhebung des angefochtenen Urteils und die Rückweisung der Sache an die Vorinstanz kein reformatorischer Antrag erforderlich ist. Ein reformatorisches Urteil, das einen reformatorischen Antrag erfordert, wird in diesem Fall gerade nicht gefällt. Vielmehr genügt ein Aufhebungs- und Rückweisungsantrag, denn diesem wird mit einem Rückweisungsurteil vollumfänglich entsprochen. Ausserdem besteht insoweit weder für das Gericht noch für die Gegenpartei ein Zweifel, was die das Rechtsmittel erhebende, die Verletzung des rechtlichen Gehörs rügende und den Rückweisungsantrag stellende Partei anstrebt. Die Frage, ob ein reformatorisches Begehren vorliegt, stellt sich für die Rechtsmittelinstanz erst dann, wenn sie eine Heilung der Gehörsverletzung in Betracht zieht, d.h. wenn sie selber reformatorisch entscheiden möchte.
Das Obergericht hat zwar abstrakt einige Ausführungen zu den Möglichkeiten der Heilung gemacht (oben E. 2.1 am Ende). Es hat sich aber nicht dazu geäussert, als wie schwer es die geschehene Gehörsverletzung erachtet, und es hat auch nicht konkret festgehalten, dass es tatsächlich zu einer Heilung schreiten würde, wenn ein genügender Antrag vorläge. Entsprechendes gilt für die vom Obergericht festgestellte Verletzung des Anspruchs auf eine öffentliche Verhandlung. Es steht mithin noch gar nicht fest, ob die Berufung der Beschwerdeführerin eines reformatorischen Antrags bedurft hätte.
Die Beschwerde ist demnach teilweise gutzuheissen. Der angefochtene Beschluss ist aufzuheben und die Angelegenheit an das Obergericht zurückzuweisen, damit es sich dazu äussert, ob die von ihm festgestellten Verfahrensmängel geheilt werden könnten. Demgemäss braucht derzeit nicht geprüft zu werden, ob das Obergericht zu Recht vom Fehlen eines reformatorischen Antrags ausgegangen ist oder ob die Beschwerdeführerin in ihrer Berufung zumindest sinngemäss einen reformatorischen Antrag gestellt hat.
3.
Bei diesem Ausgang des Verfahrens trägt die Beschwerdegegnerin die Gerichtskosten (Art. 66 Abs. 1 BGG). Zudem hat sie die Beschwerdeführerin angemessen zu entschädigen (Art. 68 Abs. 1 BGG).
Die kantonalen Prozesskosten sind durch das Obergericht neu zu verteilen.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Beschluss des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 24. Mai 2016 aufgehoben. Die Angelegenheit wird an das Obergericht zur weiteren Behandlung im Sinne der Erwägungen zurückgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführerin mit Fr. 5'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. Dezember 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg