Sachverhalt:
A. A.a Mit Entscheid vom 23. November 2010 ordnete der Einzelrichter am Kantonsgericht von Appenzell A.Rh. die Auflösung der Y._ AG (nachfolgend: Y._) mit Sitz in A._ wegen Mängeln in der gesetzlich vorgeschriebenen Organisation (Art. 731b OR) und die Liquidation nach den Vorschriften über den Konkurs an. Der Konkurs wird nach richterlicher Anordnung vom 4. März 2011 im summarischen Verfahren vom Konkursamt des Kantons Appenzell A.Rh., Zweigstelle B._, durchgeführt.
A.b Am 1. September 2011 ermächtigte das Konkursamt Z._, die der Schuldnerin gegen die Firma X._ GmbH (vormals W._ GmbH)
"zustehenden Auskunfts- und Schadenersatzansprüche wegen der erfolgten und nach vor wie erfolgenden Benutzung der Bezeichnung 'V._' und/oder des Logos 'V._', wie es Gegenstand von zum Beispiel der deutschen Marke DE xxxx ist, für den Betrieb von Restaurants in Deutschland, im Rahmen einer Erweiterung bzw. Erhöhung der beim Landgericht Hamburg zur Geschäftsnummer yyyy anhängigen Klage in eigenem Namen und auf eigenes Risiko bzw. auf eigene Kosten geltend zu machen und für die Y._ einzuziehen".
Am 4. Oktober 2011 erteilte das Konkursamt Z._ zusätzlich die Befugnis zur Geltendmachung von der Schuldnerin zustehenden Unterlassungsansprüchen.
B. Hiergegen erhob die X._ GmbH betreibungsrechtliche Beschwerde beim Obergericht Appenzell A.Rh. als Aufsichtsbehörde für Schuldbetreibung und Konkurs und verlangte im Wesentlichen, es sei die Nichtigkeit der Verfügungen vom 1. September/4. Oktober 2011 festzustellen. Mit Entscheid vom 3. Juli 2012 hiess die Aufsichtsbehörde die Beschwerde gut und stellte die Nichtigkeit der beiden konkursamtlichen Verfügungen fest.
C. Das Konkursamt hat am 18. September 2012 Beschwerde in Zivilsachen erhoben und beantragt, der Entscheid der Aufsichtsbehörde vom 3. Juli 2012 sei aufzuheben und die Vorinstanz sei anzuweisen, auf die betreibungsrechtliche Beschwerde nicht einzutreten; eventuell sei die Sache an die Vorinstanz zur Feststellung von rechtserheblichen Tatsachen und zur Neubeurteilung zurückzuweisen.
Es sind keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. 1.1 Angefochten ist ein Entscheid der kantonalen Aufsichtsbehörde, welche das Vorgehen des Konkursamtes zum Gegenstand hat. Entscheide kantonaler Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG i.V.m. Art. 19 SchKG). Sie ist unabhängig von einer gesetzlichen Streitwertgrenze gegeben (Art. 74 Abs. 2 lit. c BGG). Die Beschwerde gegen den letztinstanzlichen Entscheid ist fristgemäss erhoben worden (Art. 75 Abs. 1, Art. 100 Abs. 2 lit. a BGG).
1.2 Die Zwangsvollstreckungsorgane sind in begrenztem Umfang zur betreibungsrechtlichen Beschwerde legitimiert. Die Praxis zu Art. 78 OG bzw. aArt. 19 SchKG gilt auch nach Einführung des BGG (BGE 134 III 136 E. 1. 3 S. 138 f., mit Hinweisen). Ob das Konkursamt zur Beschwerde in Zivilsachen berechtigt ist (Art. 76 Abs. 1 lit. b BGG), wird - im Folgenden - von Amtes wegen und mit freier Kognition geprüft (BGE 136 II 101 E. 1 S. 103).
2. Auch im Schuldbetreibungs- und Konkursrecht gilt der Grundsatz, dass eine Behörde ihren Standpunkt nicht auf dem Rechtsmittelweg durchzusetzen versuchen soll (BGE 116 III 32 E. 1 S. 34). Nach ständiger Rechtsprechung ist die Konkursverwaltung zur Beschwerde an die kantonalen Aufsichtsbehörden bzw. das Bundesgericht grundsätzlich nur dann legitimiert, wenn sie Interessen der Konkursmasse und damit der Gesamtheit der Gläubiger geltend macht (BGE 116 III 32 E. 1 S. 34; 100 III 64 E. 1 S. 65; GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, Bd. I, 1999, N. 37 ff. zu Art. 18, N. 66 zu Art. 19; HÄNZI, Die Konkursverwaltung nach schweizerischem Recht, 1979, S. 112 ff.). Ferner wird den Zwangsvollstreckungsorganen ungeachtet eines fehlenden rechtlich geschützten Interesses das Recht zur Weiterziehung zugestanden, um fiskalische bzw. gebührenrechtliche Interessen wahrzunehmen (BGE 134 III 136 E. 1.3 S. 138; vgl. Art. 2 GebV SchKG).
2.1 Ob sich eine Konkursverwaltung auf die Interessen der Gesamtheit der Gläubiger berufen kann, hat verschiedentlich Anlass zur Rechtsprechung gegeben. Die Konkursverwaltung macht die Interessen der Gläubigergesamtheit geltend, wenn sich der Streit vor der Aufsichtsbehörde z.B. um die Frage dreht, ob die Konkursverwaltung verpflichtet werden kann, für einen Konkursgläubiger bei der Depositenanstalt eine Dividende zu hinterlegen (BGE 40 III 441 E. 1 S. 443), oder wenn die Aufsichtsbehörde einen Steigerungszuschlag (BGE 97 III 89 E. 1 S. 96), eine Sicherungsmassnahme betreffend das Konkursvermögen (BGE 116 III 32 E. 1 S. 34) oder einen Gläubigerbeschluss aufgehoben hat (BGE 103 III 79 E. 1 S. 81). Die Berufung auf Interessen der Gläubigergesamtheit genügt hingegen nicht, wenn sich die Konkursverwaltung gegen die von der Aufsichtsbehörde auferlegte Verpflichtung wehrt, den Abschluss eines Vergleichs den Gläubigern vorzuschlagen (Urteil 7B.116/2002 vom 10. September 2002 E. 2; vgl. HUNKELER, Beschwerdebefugnis der Konkursverwaltung, in: jusletter 14. Oktober 2002), oder wenn sie mit einem Beschluss der ihr übergeordneten Gläubigerversammlung nicht einverstanden ist (vgl. JAEGER, Schuldbetreibung und Konkurs, Bd. I, 1911, N. 2 zu Art. 17, S. 30).
2.2 Vor der Aufsichtsbehörde war umstritten, ob die vom Konkursamt erteilten "Ermächtigungen zur Prozessführung" vom 1. September/ 4. Oktober 2011 zu jenen Handlungen gehört, welche die Zustimmung der Gläubigerversammlung erfordert.
2.2.1 Es ging darum, ob Z._, der selber eine Konkursforderung eingegeben hatte, ermächtigt werden kann, die strittigen Ansprüche gegenüber der Beschwerdegegnerin (die ebenfalls Gläubigerin ist) in eigenem Namen auf eigenes Risiko zur Einziehung an die Masse geltend zu machen, ohne dass die anderen Gläubiger darüber beschlossen haben. Das Konkursamt hält fest, dass es bei den Ermächtigungen bzw. bei der gewillkürten Prozessstandschaft funktional um die gerichtliche Geltendmachung von Ansprüchen handelte.
2.2.2 Nach den Erwägungen der Aufsichtsbehörde kann die Konkursverwaltung gemäss Art. 240 Abs. 1 SchKG die Masse wohl nach aussen selbständig vertreten; allerdings könne sie nicht über die Aufhebung oder Weiterführung von Prozessen entscheiden (mit Hinw. auf BGE 116 III 96 E. 4b S. 102; BÜRGI, in: Kurzkommentar SchKG, 2009, N. 8 zu Art. 240). Weiter hat die Vorinstanz festgehalten, dass der Entscheid über die Geltendmachung bzw. Prozessführung von strittigen Ansprüchen nicht in den Anwendungsbereich von Art. 243 Abs. 1 SchKG falle, sondern über das Vorgehen ein Gläubigerbeschluss herbeizuführen sei (vgl. SCHOBER, in: Kurzkommentar SchKG, 2009, N. 12 zu Art. 231); die Gläubiger hätten darüber zu entscheiden, ob der Prozessweg beschritten oder das Guthaben den Gläubigern zur Abtretung angeboten werden soll (mit Hinw. auf BÜRGI, a.a.O., N. 1 zu Art. 260, N. 1 zu Art. 243 und BGE 108 III 21 E. 1 S. 22). Da die Entscheidung über die Geltendmachung der strittigen, im Inventar aufgenommenen Ansprüche einzig von der Konkursverwaltung getroffen worden sei, zeitliche Dringlichkeit nicht vorgelegen habe und die Gläubiger über das Vorgehen nicht angehört worden seien, könnten die Ermächtigungen keine Wirkung haben (mit Hinw. auf u.a. BERTI, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 20 ff. zu Art. 260).
2.3 Das Konkursamt macht geltend, mit den Ermächtigungen vom 1. September/4. Oktober 2011 die Interessen der Gläubigergesamtheit wahrzunehmen, ebenso, wenn es nun die Aufhebung der von der Aufsichtsbehörde festgestellten Nichtigkeit der beiden Ermächtigungen verlange. Diese Auffassung geht fehl. Wenn die Aufsichtsbehörde auf Beschwerde einer Gläubigerin hin entschieden hat, die umstrittenen Ermächtigungen an Z._ bzw. einen anderen Gläubiger seien mangels Gläubigerbeschluss bzw. Mitwirkung aller Gläubiger ohne Wirkung, hat sie eine Verfügung im Streit zwischen Gläubigern getroffen. Damit ist der Konkursverwaltung die Weiterziehung versagt, denn der Entscheid der Aufsichtsbehörde verletzt bzw. gefährdet die rechtlichen Interessen der Gläubigergesamtheit nicht (vgl. HÄNZI, a.a.O., S. 114; JAEGER/DAENIKER, Schuldbetreibungs- und Konkurs-Praxis der Jahre 1911-1945, Bd. I, 1947, N. 2 zu Art. 17, S. 16). Die Aufsichtsbehörde hat das konkrete Vorgehen zur gerichtlichen Geltendmachung der strittigen Ansprüche jenem Handlungsbereich des Konkursamtes zugeordnet, welcher die Mitwirkung der Gläubiger verlangt. Wenn das beschwerdeführende Konkursamt sich nach wie vor auf seine freie Befugnis zu Erteilung der umstrittenen Ermächtigungen beruft, läuft dies darauf hinaus, dass es die von der vorgesetzten Behörde vorgeschriebene Amtsführung nicht anerkennen will, was zur Beschwerdeführung nicht berechtigt (vgl. BGE 48 III 182 S. 183; Urteil 7B.116/2002 vom 10. September 2002 E. 2; ESCHER, Zum Rechtsschutz in Zwangsvollstreckungssachen nach dem Bundesgesetz über das Bundesgericht, AJP 2006 S. 1250).
2.4 Im Übrigen genügt das Beschwerdeinteresse des Konkursamtes nicht, soweit es im Verfahren gegen den Entscheid der Aufsichtsbehörde darum gehen sollte, das Fehlen der Haftungsvoraussetzungen nach Art. 5 SchKG (wie Rechtmässigkeit des Verhaltens, Nichteintritt eines Schadens) für Verantwortlichkeitsansprüche zu beurteilen (vgl. BGE 97 III 89 E. 1 S. 96; 99 III 58 E. 2 S. 60). Aus dem (positiven) Urteil des Landgerichts Hamburg vom 24. Mai 2012, auf welches sich das Konkursamt beruft und wonach in Anwendung der umstrittenen Erklärungen die Beklagte (Beschwerdegegnerin) verpflichtet werde, "allen Schaden zu ersetzen (...)" und "sämtliche Zahlungen (...) an das Konkursamt zugunsten der Konkursmasse zu leisten", lässt sich nichts für die Beschwerdelegitimation ableiten.
2.5 Mangels eines hinreichenden Beschwerderechts kann auf die Beschwerde in Zivilsachen nicht eingetreten werden. Ob ein Gläubigerbeschluss über die Geltendmachung (Prozessführung) betreffend die strittigen Ansprüche der Masse für den Fall, in welchem sie nicht Gegenstand eines Gläubigerbeschlusses wurden, nachgeholt werden kann (vgl. BGE 77 III 79 E. 2 S. 83 f.; HÄNZI, a.a.O., S. 179), ist hier nicht zu erörtern.
3. Der Beschwerde in Zivilsachen ist kein Erfolg beschieden. Das Konkursamt hat das Bundesgericht in Anspruch genommen, ohne dass es sich um Vermögensinteressen (wie fiskalische oder gebührenrechtliche Interessen) handelt, weshalb keine Verfahrenskosten auferlegt werden (Art. 66 Abs. 4 BGG). Über eine Parteientschädigung ist nicht zu befinden, da keine Vernehmlassung eingeholt worden ist.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht von Appenzell A.Rh., Aufsichtsbehörde für Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 29. April 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Levante