Sachverhalt:
A. A.a Mit Entscheid vom 10. Juli 2003 des Einzelrichters Schuldbetreibung und Konkurs des Kantons Nidwalden wurde über die Y._ AG, mit Sitz in Hergiswil, der Konkurs eröffnet. Im Rahmen des summarisch durchgeführten Konkursverfahrens legte das Konkursamt Nidwalden vom 6. bis 26. Februar 2004 den Kollokationsplan auf; aufgrund einer nachträglich zugelassenen Forderung wurde der Kollokationsplan vom 24. August bis 13. September 2005 erneut aufgelegt. Gegen die Kollokationspläne gingen weder Beschwerden noch Klagen ein.
A.b Mit Entscheid vom 20. Januar 2011 erlaubte der Einzelrichter Schuldbetreibung und Konkurs dem Konkursamt, das Konkursverfahren über die Y._ AG (in Anwendung von Art. 95 KOV) sofort zu schliessen, d.h. ohne auf die durchgeführte Geltendmachung der nach Art. 260 SchKG abgetretenen Ansprüche zu warten. Mit Entscheid vom 22. Februar 2011 wurde das Konkursverfahren als geschlossen erklärt.
B. B.a Am 11. März 2011 ersuchte X._ das Konkursamt, eine Forderung von Fr. 1'602'427.67 in den Kollokationsplan aufzunehmen. Gleichzeitig erhob er Beschwerde nach Art. 17 SchKG und verlangte, den Kollokationsplan aufzuheben bzw. im Rahmen einer Neuauflage oder Ergänzung über die Abweisung oder Zulassung der eingegebenen Forderung zu entscheiden.
B.b Am gleichen Tag erhob X._ Beschwerde (nach ZPO) beim Obergericht Nidwalden und beantragte, den Entscheid des Konkursrichters vom 22. Februar 2011 über die Schliessung des Konkursverfahrens aufzuheben. Am 9. Juni 2011 gewährte das Obergericht der Beschwerde die aufschiebende Wirkung und sistierte das Verfahren bis zur rechtskräftigen Erledigung des Beschwerdeverfahrens nach Art. 17 SchKG.
B.c Mit Entscheid vom 28. Oktober 2011 trat das Kantonsgericht (Zivilgericht/Einzelgericht SchKG) als kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen auf die betreibungsrechtliche Beschwerde von X._ nicht ein.
C. X._ ist mit Beschwerde in Zivilsachen vom 4. November 2011 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt, der Entscheid der kantonalen Aufsichtsbehörde vom 28. Oktober 2011 sei aufzuheben. In der Sache sei der Kollokationsplan aufzuheben und das Konkursamt anzuweisen, die angemeldete Forderung zu beurteilen bzw. durch Neuauflage oder Ergänzung des Kollokationsplanes über Abweisung oder Zulassung zu entscheiden. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die kantonale Aufsichtsbehörde hat unter Hinweis auf den angefochtenen Entscheid auf eine Stellungnahme verzichtet.
Das Konkursamt hat sich nicht vernehmen lassen.
Erwägungen:
1. 1.1 Angefochten ist ein Entscheid der kantonalen Aufsichtsbehörde, welche die Beurteilung einer Konkurseingabe zum Gegenstand hat. Entscheide kantonaler Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG i.V.m. Art. 19 SchKG).
1.2 Die vorliegende Beschwerde ist unabhängig von einer gesetzlichen Streitwertgrenze gegeben (Art. 74 Abs. 2 lit. c BGG). Der Beschwerdeführer, dessen Forderungseingabe nach dem angefochtenen Entscheid ohne Erwahrung bleibt, ist zur Beschwerde in Zivilsachen grundsätzlich legitimiert (Art. 76 Abs. 1 lit. b BGG). Die Beschwerde gegen den letztinstanzlichen Entscheid ist fristgemäss erhoben worden (Art. 75 Abs. 1, Art. 100 Abs. 2 lit. a BGG) und grundsätzlich zulässig.
1.3 Mit vorliegender Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von verfassungsmässigen Rechten ist in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2 BGG), wobei das Rügeprinzip gilt (BGE 133 III 589 E. 2 S. 591).
2. Die Aufsichtsbehörde hat festgehalten, dass der Beschwerdeführer die Forderung bereits früher (vor dem 11. März 2011) eingegeben hatte, diese jedoch vom Konkursamt "offenbar schlichtweg vergessen ging", zumal weder über die Anerkennung noch Abweisung der Eingabe entschieden worden sei. Aus folgenden Gründen sei nicht möglich, die Konkurseingabe noch zu berücksichtigen:
2.1.1 Im Zeitpunkt, als der Beschwerdeführer sich an das Konkursamt bzw. die Aufsichtsbehörde gewendet habe, sei das Konkursverfahren vollständig durchgeführt worden. Versehentlich übergangene Eingaben könnten nach den Regeln über die verspäteten Eingaben bzw. nach Art. 251 Abs. 1 SchKG wohl berücksichtigt werden. Nach der Verteilung bzw. wenn alles verteilt worden sei, könne auf eine Konkurseingabe jedoch nicht mehr eingetreten werden.
2.1.2 Im Übrigen verneinte die Aufsichtsbehörde ein schutzwürdiges Interesse an der betreibungsrechtlichen Beschwerde, da die "materielle Prüfung der Forderung nicht mehr möglich" sei. Ein Vollstreckungsverfahren sei nicht mehr am Laufen, "trotz der aufschiebenden Wirkung", welche das Obergericht dem Rechtsmittel gegen den Entscheid über den Konkursschluss des Konkursrichters zuerkannt habe. Schliesslich seien die Voraussetzungen zu Wiedereröffnung des Konkurses nicht gegeben, weshalb die Änderung des Kollokationsplanes "ebenfalls nicht möglich" sei. Zudem sei die Schuldnerin im Handelsregister gestützt auf den Entscheid des Konkursrichters über den Konkursschluss am 25. Februar 2011 im Handelsregister gelöscht worden.
3. Der Beschwerdeführer macht neben einer Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) im Wesentlichen geltend, dass er ein legitimes Interesse habe, seine vor Schluss des Konkursverfahrens angemeldete bzw. nicht behandelte Forderungseingabe prüfen zu lassen. Es sei denkbar, dass aus Abtretungsprozessen nach Art. 260 SchKG noch ein Erlös folge. Die massgebende Bestimmung (Art. 251 Abs. 1 SchKG) schliesse die Forderungseingaben nach der Verteilung nicht aus, zumal im konkreten Fall der Schluss des Konkursverfahrens nicht rechtskräftig bzw. das Vollstreckungsverfahren noch hängig sei.
4. Anlass zur vorliegenden Beschwerde gibt die Behandlung einer Forderungseingabe im Konkurs. Es ist unbestritten, dass der Beschwerdeführer die Forderung jedenfalls vor dem 11. März 2011 (nach Vorbringen des Beschwerdeführers am 18. Mai 2005) beim Konkursamt angemeldet hat und der Kollokationsplan (Auflagen vom 6. bis 26. Februar 2004 und vom 24. August bis 13. September 2005) in Rechtskraft erwachsen ist. Fest steht weiter, dass die Forderungseingabe weder im Kollokationsplan aufgenommen wurde, noch eine abweisende Verfügung (Art. 249 Abs. 3 SchKG) getroffen wurde, sondern "schlichtweg vergessen" ging. Streitfrage ist, ob die Aufsichtsbehörde die Behandlung der Konkurseingabe als nicht mehr zulässig erachten darf.
4.1 Zu Recht hat die Aufsichtsbehörde angenommen, dass die Beschwerde nach Art. 17 SchKG offen steht, wenn es um allfällige Verfahrensfehler bei der Erstellung des Kollokationsplanes geht (AMONN/ WALTHER, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl. 2008, § 46 Rz. 42). Die Rechtsprechung lässt ausnahmsweise zu, dass auf einen rechtskräftigen Kollokationsplan zurückgekommen werden darf, wenn sich herausstellt, dass eine Forderung gar nicht kolloziert worden ist (vgl. BGE 96 III 74 E. 3 S. 78 ff.; 111 II 81 E. 3a S. 84). Weiter hat die Aufsichtsbehörde zu Recht festgehalten, dass versehentlich bei der Kollokation übergangene Ansprachen, sobald das Versehen entdeckt wird, in analoger Anwendung von Art. 251 SchKG wie verspätete Eingaben zu berücksichtigen sind (BGE 68 III 141 E. 1 S. 143 ff.).
4.2 Gemäss Art. 251 Abs. 1 SchKG können verspätete Konkurseingaben bis zum Schluss des Konkursverfahrens angebracht werden. Die Vorinstanz ist der Auffassung, dass unter "Schluss des Konkursverfahrens" im Sinne dieser Bestimmung "bis zur Verteilung" gemeint ist. Nach ihren Feststellungen waren am 11. März 2011 die Verlustscheine im Konkurs, in dem alle Gläubiger vollumfänglich zu Verlust gekommen sind, bereits ausgestellt und verteilt worden. Zu prüfen ist, was "Schluss des Konkursverfahrens" bedeutet, bzw. ob die am 11. März 2011 vom Beschwerdeführer als übergangen gemeldete Forderung noch als Eingabe nach Art. 251 Abs. 1 SchKG berücksichtigt werden kann, oder - wie die Vorinstanz im Ergebnis gefolgert hat - nunmehr als im Konkurs nicht eingegebene Forderung gelten muss.
4.2.1 Das Bundesgericht hat mit BGE 51 III 198 (E. 2 S. 201) entschieden, dass Kollokationseingaben (und Kollokationsklagen) auch nach erfolgter Verteilung noch möglich sind (vgl. bereits BGE 34 II 334 E. 14 S. 357). Im Rahmen der SchKG-Revision von 1991/1997 wurde betreffend Art. 251 Abs. 1 SchKG weder eine Systemwidrigkeit noch ein Bedarf zur Anpassung an eine anderslautende Gerichtspraxis erkannt, sondern der bisherige Wortlaut "bis zum Schluss des Konkursverfahrens" ("jusqu'à la clôture de la faillite", "fino alla fine della chiusura del fallimento") bestätigt (vgl. Botschaft, BBl. 1991 III 1, Ziff. 207.42 S. 151, vgl. Ziff. 113 S. 8). In der Literatur wird die Praxis gemäss BGE 51 III 198 ff. durchgehend als massgebend bezeichnet und angenommen, dass - wie zuletzt im Urteil 4C.105/2004 vom 31. August 2004 E. 5.1 - mit "Schluss des Konkursverfahrens" die Verfügung des Konkursrichters nach Art. 268 Abs. 1 SchKG gemeint ist (HIERHOLZER, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 15, 18 am Ende zu Art. 251 SchKG; JAQUES, in: Commentaire romand, Poursuite et faillite, 2005, N. 1 zu Art. 251 SchKG; AMACKER/KÜNG, in: Kurzkommentar SchKG, 2009, N. 20 zu Art. 251 SchKG; JAEGER/WALDER/KULL/KOTTMANN, Bundesgesetz über Schuldbetreibung und Konkurs, 4. Aufl., Bd. II, 1997/1999, N. 3 zu Art. 251 SchKG; so bereits JAEGER, Schuldbetreibung und Konkurs, 1911, N. 2 zu Art. 251 SchKG, und BLUMENSTEIN, Handbuch des Schweizerischen Schuldbetreibungsrechts, 1911, S. 822 oben).
4.2.2 Einzig nach der Auffassung von GILLIÉRON sollen nachträgliche Konkurseingaben nur solange zulässig sein, als die definitive Verteilungsliste noch nicht in Rechtskraft erwachsen ist (Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Bd. III, 2001, N. 9 zu Art. 251 SchKG). Der vom Kommentator angeführte BGE 30 I 432 ff. bietet für diese Interpretation keine hinreichende Grundlage. Nach diesem Urteil "bleibt die Möglichkeit der Kollokation, der Feststellung [Erwahrung] verspätet angemeldeter Konkursforderungen, bis zum Schluss des Konkursverfahrens die gleiche [d.h. wie für rechtzeitig angemeldete], und fällt bei der Verteilung in Betracht, dass die Bedingungen für die Gleichstellung des Nachzüglers sich wesentlich anders gestalten [...]" (BGE 30 I 432 S. 433). Zutreffend leitet die weitere Lehre aus diesem Urteil mit Blick auf Abs. 3 von Art. 251 SchKG einzig ab, dass die verspätete Eingabe vor Auszahlung der Konkursdividende geschehen muss, um einen praktischen (Dividenden-) Erfolg zu haben (u.a. JAQUES, a.a.O., N. 13 zu Art. 251 SchKG; HIERHOLZER, a.a.O., N. 18 zu Art. 251 SchKG; vgl. bereits BLUMENSTEIN, a.a.O., S. 755 Fn. 12). Der von der Vorinstanz zitierte HIERHOLZER (a.a.O., N. 19 zu Art. 251 SchKG) sagt nicht, dass auf eine Konkurseingabe nach der Verteilung nicht mehr einzutreten sei, sondern hält (zu Recht) fest, dass der Nachzügler nichts erhält, wenn alles verteilt wurde. Nichts anderes kann die Aufsichtsbehörde aus dem von ihr angeführten BGE 38 I 643 (E. 2 S. 647) ableiten. Mit diesem Urteil wird vielmehr präzisiert, dass der verspätete Gläubiger sogar dann keinen Anspruch auf Abschlagszahlungen hat, die vor der Anmeldung stattgefunden haben, selbst wenn er die Verspätung der Konkurseingabe nicht verschuldet hat. Der Schluss der Vorinstanz, dass im Fall, in dem es nichts zu verteilen gibt, nachträgliche Konkurseingaben nicht mehr zulässig seien, überzeugt insoweit nicht.
4.2.3 Die Vorinstanz übergeht im Wesentlichen, dass der aufgrund einer verspäteten Konkurseingabe zugelassene Gläubiger ab diesem Zeitpunkt am Konkursverfahren teilnimmt (u.a. JAQUES, a.a.O, N. 13 zu Art. 251 SchKG), und dass im Fall, in dem keine Verteilung stattgefunden hat, den Nachzügler insoweit keinen Nachteil trifft (DE GUMOËNS, De la procédure de collocation, 1913, S. 156). Selbst nach vollständiger Verteilung aller Aktiva kann ein Gläubiger jedoch noch Interesse an der Eingabe und Kollokation haben, um die Rechte nach Art. 265 SchKG (Verlustschein) sowie Art. 269 SchKG (nachträglich entdeckte Vermögenswerte) wahren zu können (JAEGER/WALDER/KULL/ KOTTMANN, a.a.O., N. 3 zu Art. 251 SchKG). Spätere bzw. nachträgliche Verteilungen, d.h. Verteilungen nach Schluss des Konkursverfahrens (und damit verbundener Löschung im Handelsregister) sind nicht nur im Fall des Nachkonkurses möglich, sondern z.B. auch bei nachträglichen Einkünften für die Masse aus Prozessen, welche die Gläubiger nach Art. 260 SchKG führen (M. STAEHELIN, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 5, 8 zu Art. 268, N. 19 zu Art. 269 SchKG). Darauf hat die Aufsichtsbehörde selber hingewiesen. Ob es zu nachträglichen Verteilungen kommt (bzw. kommen könnte), ist für die Frage, ob die Konkurseingabe zu behandeln ist, entgegen der Auffassung der Vorinstanz nicht zu erörtern. Ausschlaggebend ist, dass so lange, als der Konkurs nicht geschlossen ist, ein Gläubiger die Erwahrung einer Forderung verlangen kann, nicht jedoch nach Schluss des Konkursverfahrens (BLUMENSTEIN, a.a.O., S. 822, S. 823/824). Es bleibt dabei, dass entgegen der Auffassung der Vorinstanz eine Kollokationsverfügung auch nach der Verteilung bzw. bis zum gerichtlichen Konkursschluss möglich bleibt.
4.3 Die Vorinstanz hat angenommen, dass die Eingabe vom 11. März 2011 unzulässig sei, weil das Konkursverfahren ohnehin geschlossen sei bzw. der Konkursrichter den Schluss verfügt habe. Diese Auffassung ist nicht haltbar.
4.3.1 Entgegen der Darstellung der Aufsichtsbehörde ist das Konkursverfahren durch den Entscheid des Konkursrichters vom 20. Januar 2011 nicht geschlossen worden. Mit diesem Entscheid erteilte der Konkursrichter (nach Art. 95 KOV) dem Konkursamt erst die Bewilligung, den Konkurs sofort schliessen zu dürfen, was das Konkursamt in der Folge tat. Erst mit Entscheid vom 22. Februar 2011 schloss der Konkursrichter das Konkursverfahren. Dieser Entscheid ist jedoch nach den Sachverhaltsfeststellungen nicht rechtskräftig, sondern das Rechtsmittelverfahren (Beschwerde nach ZPO) ist nach Gewährung der aufschiebenden Wirkung sistiert worden. Darauf weist der Beschwerdeführer zu Recht hin. Dem Konkursamt steht nichts entgegen, um über die Erwahrung der angemeldeten Forderung zu entscheiden.
4.3.2 Im Weiteren besteht für die kantonale Aufsichtsbehörde weder ein Anlass noch eine hinreichende Zuständigkeit, um "vorfrageweise" zu überprüfen, ob das Konkursgericht die Regeln über den Konkursschluss nach Art. 268 SchKG verletzt hat. Sie lässt ausser Acht, dass das Obergericht das Rechtsmittel gegen den Entscheid über den Konkursschluss gerade deshalb sistiert hat, um den Ausgang der Beschwerde nach Art. 17 SchKG abzuwarten, denn die Erledigung der betreibungsrechtlichen Beschwerden gehört zur vollständigen Durchführung des Konkurses (vgl. M. STAEHELIN, a.a.O., N. 5 zu Art. 268 SchKG). Daran vermag (entgegen der Auffassung der Aufsichtsbehörde) die mit dem Konkursschluss verbundene Löschung der Schuldnerin im Handelsregister nichts zu ändern, zumal - infolge Gewährung der aufschiebenden Wirkung - ein vollstreckbarer Entscheid über den Konkursschluss nicht vorliegt.
4.4 Nach dem Dargelegten ist mit Bundesrecht nicht vereinbar, wenn die Aufsichtsbehörde eine Kollokationsverfügung gestützt auf die Eingabe des Beschwerdeführers vom 11. März 2011 verweigert hat. Das Konkursamt hat einen Entscheid über die Erwahrung bzw. Zulassung oder Abweisung der angemeldeten Forderung zu treffen. Hingegen ist der Antrag des Beschwerdeführers auf Abänderung oder Neuauflage des Kollokationsplanes unzulässig; diese Frage stellt sich erst, falls das Konkursamt die verspätete bzw. versehentlich übergangene Forderungseingabe für begründet hält (vgl. Art. 251 Abs. 4 SchKG, Art. 69 KOV; HIERHOLZER, a.a.O., N. 20 zu Art. 251 SchKG; JAQUES, a.a.O., N. 15 zu Art. 251 SchKG). Über die Rüge einer Verletzung des rechtlichen Gehörs ist beim vorliegenden Ergebnis nicht zu entscheiden.
5. Aus diesen Gründen ist die Beschwerde in Zivilsachen, soweit darauf eingetreten werden kann, gutzuheissen und der angefochtene Entscheid ist aufzuheben. In der Sache ist das Konkursamt anzuweisen, über die Erwahrung der eingegebenen Forderung zu entscheiden.
Für das bundesgerichtliche Verfahren werden keine Kosten erhoben (Art. 66 Abs. 4 BGG). Hingegen wird der Kanton Nidwalden, dessen Aufsichtsbehörde die Entscheidungen des Konkursamtes beurteilt, für das bundesgerichtliche Verfahren entschädigungspflichtig (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde in Zivilsachen wird, soweit darauf einzutreten ist, gutgeheissen, und der Entscheid des Kantonsgerichts des Kantons Nidwalden, Zivilabteilung/Einzelgericht SchKG als Aufsichtsbehörde über Schuldbetreibung und Konkurs, vom 28. Oktober 2011 wird aufgehoben.
1.2 Das Konkursamt Nidwalden wird angewiesen, die Konkurseingabe des Beschwerdeführers im Konkurs über die Y._ AG, mit Sitz in Hergiswil, zu behandeln.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Nidwalden hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht des Kantons Nidwalden, Zivilabteilung/Einzelgericht SchKG als Aufsichtsbehörde über Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 30. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Levante