Sachverhalt:
A.
A.a. Am 23. November 2010 eröffnete das Bezirksgericht Zürich den Konkurs über B.C._. Das Obergericht des Kantons Zürich wies die dagegen erhobene Beschwerde ab und setzte infolge Gewährung der aufschiebenden Wirkung den Konkurstermin neu auf den 14. März 2011 fest. Zuständig für das Konkursverfahren ist das Konkursamt Hottingen-Zürich.
A.b. Am 10. November 2011 erstellte das Konkursamt den Kollokationsplan. Es liess in der 3. Klasse eine Forderung von A.C._ von Fr. 420'000.-- (Nr. 9), eine Forderung von A.C._ von Fr. 1'500.-- (Nr. 13) sowie ein Forderung der D._ AG von Fr. 532'314.35 (Nr. 11) zu.
A.c. Am 29. November 2011 erhob A.C._ beim Bezirksgericht Zürich eine negative Kollokationsklage gegen die D._ AG. Sie beantragte, die in der 3. Klasse aufgenommene Forderung nur im Betrag von Fr. 59'826.55 zuzulassen. Anlässlich der Verhandlung vom 9. November 2012 bestritt A.C._ neu die gesamte Forderung der D._ AG.
A.d. Mit Urteil (FV110275) vom 27. Januar 2017 hiess das Bezirksgericht die negative Kollokationsklage von A.C._ gut, soweit es darauf eintrat (Dispositiv-Ziff. 1). Mit Verfügung vom selben Tag trat es auf die negative Kollokationsklage von A.C._ im Umfang von Fr. 59'826.55 nicht ein (Dispositiv-Ziff. 1).
B.
B.a. Daraufhin gelangten sowohl A.C._ als auch die D._ AG an das Obergericht des Kantons Zürich. Mit Berufung vom 20. Februar 2017 beantragte A.C._ unter anderem, die Forderung von Fr. 59'826.55 aus dem Kollokationsplan zu streichen. Die D._ AG beantragte mit Beschwerde vom 1. März 2017 die vollumfängliche Abweisung der negativen Kollokationsklage von A.C._, allenfalls die Rückweisung der Streitsache an das Bezirksgericht zur Ergänzung des Sachverhaltes und zur erneuten Beurteilung der Klage. Das Obergericht nahm die Eingaben beider Parteien als Berufung entgegen und wies sie in ein je gesondertes Verfahren (PP170005 und NP170008).
B.b. Mit Urteil vom 24. August 2017 wies das Obergericht die Berufung der D._ AG ab, soweit es darauf eintrat, und bestätigte das bezirksgerichtliche Urteil im angefochtenen Umfang (Dispositiv-Ziff. 1).
B.c. Mit Urteil vom 24. August 2017 wies das Obergericht die Berufung von A.C._ ebenfalls ab und bestätigte das bezirksgerichtliche Urteil im angefochtenen Umfang (Dispositiv-Ziff.1).
C.
C.a. Am 28. September 2017 ist die D._ AG an das Bundesgericht gelangt. Die Beschwerdeführerin beantragt die Aufhebung des obergerichtlichen Urteils und die Feststellung, dass A.C._ im Konkurs über B.C._ nicht aktivlegitimiert sei.
Es sind die kantonalen Akten, indes keine Vernehmlassung eingeholt worden.
C.b. Über die von A.C._ am 20. September 2017 erhobene Beschwerde wird in einem separaten Verfahren (5D_171/2017) entschieden.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid über eine Kollokationsklage, konkret eine Wegweisungsklage nach <ref-law> betreffend eine Forderung nach Bundeszivilrecht, die der Beschwerde in Zivilsachen zugänglich ist (Urteil 5A_859/2015 vom 18. November 2015 E. 1.1). Die gesetzliche Streitwertgrenze (vgl. zum Streitwert im Kollokationsprozess: <ref-ruling> E. 3.1) wird bei einer mutmasslichen Konkursdividende von vorliegend 3% für die (vor der Vorinstanz strittig gebliebene) Forderung von Fr. 532'314.35 nicht erreicht (<ref-law>). Eine Rechtsfrage von grundsätzlicher Bedeutung wird nicht geltend gemacht und ist auch nicht ersichtlich (<ref-law>). Die Beschwerde in Zivilsachen ist somit nicht gegeben. Die Eingabe der Beschwerdeführerin wird als subsidiäre Verfassungsbeschwerde entgegen genommen (<ref-law>).
1.2. Mit Beschwerde nach <ref-law> kann einzig die Verletzung verfassungsmässiger Rechte geltend gemacht werden (<ref-law>). Ob eine solche gegeben ist, prüft das Bundesgericht nur soweit, als eine entsprechende Rüge vorgebracht und ausreichend begründet worden ist (<ref-ruling> E. 1.2.2).
1.3. Das Bundesgericht legt seinem Urteil den vorinstanzlich festgestellten Sachverhalt zugrunde (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 i.V.m. <ref-law>).
2.
Anlass der Beschwerde bildet die Frage der Legitimation zur Erhebung einer Kollokationsklage.
2.1. Zur Kollokationsklage sind alle Gläubiger zugelassen, welche im Kollokationsverfahren eine Forderung gegen den Konkursiten angemeldet haben. Ob einem Kläger diese formelle Gläubigerstellung zukommt, ist als Prozessvoraussetzung von Amtes wegen zu prüfen. Der Kollokationsrichter ist indes nicht befugt, die Kollokationsverfügung auf ihre Richtigkeit zu überprüfen und abzuändern; diese Kompetenz steht ausschliesslich der Aufsichtsbehörde zu. Die Kollokationsverfügung legt die Klageberechtigung gestützt auf die formelle Gläubigereigenschaft des Kollokationsklägers fest (HIERHOLZER, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 21 zu Art. 250; JAQUES, in: Commentaire romand, Poursuite et faillite, 2005, N. 39 zu Art. 250). Davon wird die Aktiv- und Passivlegitimation der Prozessparteien unterschieden, d.h. das Recht des Klägers, das eingeklagte Recht gegenüber dem ins Recht gefassten Beklagten geltend zu machen. Hierbei handelt es sich um die Anwendung materiellen Rechts, die zu einem Sachurteil führt (HIERHOLZER, a.a.O., N. 22 zu Art. 250).
2.2. Im vorliegenden Fall war A.C._ berechtigt, im Konkurs von B.C._ eine Kollokationsklage einzureichen, da sie beim Konkursamt zwei Forderungen angemeldet hatte. Diese waren im Kollokationsplan in der dritten Klasse aufgenommen worden (Fr. 1'500.-- in Nr. 13 und Fr. 420'000.-- in Nr. 9). Mit ihrer Klage gegen die D._ AG strebte A.C._ vorerst die teilweise und im Verlaufe des Verfahrens die vollumfängliche Wegweisung der in der dritten Klasse aufgenommenen Forderung (Fr. 532'314.35 in Nr. 11) an. Die Klage wurde mit Urteil (FV110275) vom 27. Januar 2017 vom Bezirksgericht gutgeheissen, soweit der Antrag nicht verwirkt und daher darauf nicht einzutreten war. Dagegen gelangten A.C._ und die Beschwerdeführerin an das Obergericht.
2.3. Im Rahmen der Berufung der Beschwerdeführerin gegen das bezirksgerichtliche Urteil stellte die Vorinstanz fest, dass die Forderung von A.C._ von Fr. 1'500.-- (Nr. 13) zwischenzeitlich aus dem Kollokationsplan gelöscht worden war und verneinte daher insoweit deren Klageberechtigung. Indes finde sich im Kollokationsplan immer noch die Forderung von A.C._ über Fr. 420'000.-- (Nr. 9). Daraus schloss die Vorinstanz, dass A.C._ nach wie vor zur Kollokationsklage berechtigt sei.
2.4. Die Beschwerdeführerin wehrt sich gegen diese tatbeständliche Feststellung betreffend die Forderung über Fr. 420'000.--. Sie weist auf das Urteil des Bezirksgerichts vom 13. Dezember 2012 hin, welches die Klage der Beschwerdeführerin gutgeheissen und angeordnet hat, die genannte Forderung im Kollokationsplan zu streichen (Nr. 9). Das Obergericht ist - gemäss Hinweis der Beschwerdeführerin - mit Beschluss vom 11. September 2013 auf die Berufung von A.C._ gegen das bezirksgerichtliche Urteil nicht eingetreten. Im erstinstanzlichen Verfahren hat die Beschwerdeführerin in Zusammenhang mit dem Gesuch um eine Sicherheitsleistung auf diese Entscheide hingewiesen. In der Berufung an das Obergericht vom 1. März 2017 werden diese Entscheide dann nicht mehr erwähnt.
2.4.1. Die Beschwerdeführerin wirft der Vorinstanz in diesem Zusammenhang vor, den Sachverhalt nicht rechtsgenüglich abgeklärt zu haben. Wohl ist die Vorinstanz verpflichtet, die Klageberechtigung von Amtes wegen zu prüfen (E. 2.1). Aus der Pflicht zur Prüfung der Prozessvoraussetzungen von Amtes wegen ist nicht zu schliessen, das Gericht müsse in Verfahren, die der Verhandlungsmaxime folgen, von sich aus nach den Tatsachen forschen, welche die Zulässigkeit der Klage berühren (<ref-ruling> E. 4.3). Der Vorwurf der ungenügenden Sachverhaltsabklärung geht insoweit fehl. Soweit die Beschwerdeführerin die Verletzung ihres rechtlichen Gehörs geltend macht, da ihre wiederholten Hinweise auf das bezirksgerichtliche Urteil vom 13. Dezember 2012 nicht beachtet worden seien, führt sie eine Reihe von Aktenstellen aus dem erstinstanzlichen Verfahren an. Es wäre ihr zuzumuten gewesen, diese im Rahmen der Berufung gegenüber der Vorinstanz konkret anzuführen, was sie nicht getan hat. Auf alle Fälle kann der Vorinstanz keine Gehörsverletzung vorgeworfen werden.
2.4.2. Fraglich ist, ob ein Gericht den in einem vorangegangenen Verfahren festgestellten Sachverhalt ohne Weiteres berücksichtigen muss, da dessen Kenntnis gerichtsnotorisch sei, wie die Beschwerdeführerin mit Hinweis auf die Prozessvoraussetzung meint. Nach Lehre und Rechtsprechung ist eine amtswegige Tatsachenermittlung geboten, wenn nach den Parteivorträgen, aber auch aufgrund von notorischen Tatsachen oder sonst nach Wahrnehmung des Gerichts Anhaltspunkte dafür bestehen, dass eine Prozessvoraussetzung fehlen könnte (Urteil 4A_100/2016 vom 13. Juli 2016 E. 2.2, nicht publ. in <ref-ruling>; Urteil 4A_229/2017 vom 7. Dezember 2017 E. 3.4.2; TREZZINI, in: Commentario pratico al CPC, 2. Aufl. 2017, N. 2 zu Art. 60). Darüber, ob die erwähnten, in den Akten liegenden Urteile der Vor- und Erstinstanz hinreichenden Anlass zur amtswegigen Prüfung der Gläubigerstellung der Beschwerdegegnerin als Prozessvoraussetzung gegeben haben, ist vorliegend nicht zu befinden, da dieser Aspekt nach den folgenden Erwägungen auf den Ausgang des vorliegenden Verfahrens keinen Einfluss hat.
2.5. Nach den Sachverhaltsfeststellungen ist die Forderung von Fr. 1'500.-- (Nr. 13) mit Verfügung des Konkursamtes vom 9. November 2012 gestrichen worden. Grund dafür war - wie aus dem angefochtenen und erstinstanzlichen Urteil hervorgeht - die "Barhinterlegung durch einen Unbekannten".
2.5.1. Die Vorinstanz hat erwogen, dass die Beschwerdegegnerin durch die Streichung - unabhängig davon, ob sie vom Konkursamt "zu Recht oder Unrecht" vorgenommen worden sei - die (formelle) Gläubigerstellung verloren habe. Vorliegend wurde die Streichung der Forderung nach "Barhinterlegung durch einen Unbekannten" am 9. November 2012 vorgenommen, d.h. nachdem die Beschwerdegegnerin am 29. November 2011 negative Kollokationsklage gegen die Beschwerdeführerin erhoben hatte. Ob unter diesen Umständen ein Verlust der formellen Gläubigerstellung für das Kollokationsgericht (vgl. <ref-ruling> E. 4b) verbindlich ist, ist näher zu betrachten.
2.5.2. Nach Rechtsprechung und Lehre ist es der Konkursverwaltung untersagt, eine Zahlung eines Ansprechers entgegenzunehmen, um die Konkursforderung eines anderen Gläubigers gegen dessen Willen zu begleichen und bei hängigem (negativen) Kollokationsprozess aus dem Kollokationsplan zu streichen (Urteil 5A_769/2013 vom 13. März 2014 E. 3; MILANI/WOHLGEMUTH, in: KOV Kommentar, 2016, N. 16 zu Art. 65 KOV). Dass die Beschwerdegegnerin mit der Begleichung nicht einverstanden war, geht aus dem von der Vorinstanz zitierten Entscheid PS130026 der oberen kantonalen Aufsichtsbehörde vom 13. Juni 2013 vor. Ob ein auf Wegweisung klagender Konkursgläubiger ein genügendes Interesse an der Kollokationsklage aufweist, hat einzig der Kollokationsrichter zu entscheiden (zit. Urteil 5A_769/2013, a.a.O.). In Frage steht damit nicht bloss eine fehlerhafte Verfügung des Konkursamtes, sondern - mangels Zuständigkeit - die Nichtigkeit der Streichung. In der vorliegenden Beschwerde nach <ref-law> wird nicht dargelegt (E. 1.2), dass der angefochtene Entscheid, mit welchem letzlich die Gläubigerstellung der Beschwerdegegnerin - und damit ihre Klageberechtigung - bejaht worden ist, zu einem geradezu stossenden und unhaltbaren Ergebnis führt (vgl. zum Willkürbegriff gemäss <ref-law>: <ref-ruling> E. 4.1).
3.
Der Beschwerde ist kein Erfolg beschieden. Ausgangsgemäss trägt die Beschwerdeführerin die Verfahrenskosten (<ref-law>). Die Beschwerdegegnerin ist nicht zur Vernehmlassung eingeladen worden, weshalb ihr kein entschädigungspflichtiger Aufwand entstanden ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'500.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 24. April 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Levante