Sachverhalt:
A. Das Betreibungsamt Appenzeller Hinterland stellte Z._ in der von der X._ AG angehobenen Betreibung Nr. ... am 24. Juni 2011 den Zahlungsbefehl für die Forderung von Fr. 50'000.-- nebst Zins zu 5% seit 1. Januar 2011 zu. Gleichentags liess das Betreibungsamt der X._ AG eine Gebührenrechnung im Betrag von Fr. 117.-- zukommen.
B. Gegen die Gebührenrechnung wandte sich die X._ AG an das Obergericht Appenzell Ausserrhoden als Aufsichtsbehörde für Schuldbetreibung und Konkurs. Im Wesentlichen stellte sie das Begehren, die Gebühr für die Zustellung des Zahlungsbefehls auf Fr. 95.-- herabzusetzen. Mit Entscheid vom 30. August 2011 wurde die Beschwerde abgewiesen.
C. Mit Eingabe vom 26. September 2011 (Postaufgabe) gelangt die X._ AG an das Bundesgericht. Die Beschwerdeführerin beantragt im Wesentlichen die Aufhebung des obergerichtlichen Entscheides und die Neufestsetzung der Gebührenrechnung auf Fr. 95.--.
Die Aufsichtsbehörde hat auf eine Beschwerdeantwort verzichtet. Das Betreibungsamt und Z._ haben sich nicht vernehmen lassen.
Erwägungen:
1. 1.1 Entscheide kantonaler Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen unterliegen unabhängig eines Streitwertes der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c BGG). Die Beschwerdeführerin als Gläubigerin ist mit Bezug auf die betreibungsamtliche Kostenrechnung beschwerdelegitimiert (Art. 76 Abs. 1 lit. b BGG; Urteil 5A_732/2009 vom 4. Februar 2010 E. 1.2, nicht publ. in BGE 136 III 155).
1.2 In der Beschwerdeschrift ist in gedrängter Form dazulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Mit der Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG).
2. Die kantonale Aufsichtsbehörde hat festgestellt, dass der Zahlungsbefehl nicht durch die Post habe zugestellt werden können, da der Betriebene eine Umleitungsadresse hinterlegt habe. Die Post habe den Zahlungsbefehl retourniert, worauf das Betreibungsamt dem Betriebenen eine schriftliche Abholungseinladung zugesandt habe. In der Folge habe dieser den Zahlungsbefehl auf dem Betreibungsamt abgeholt und umgehend Rechtsvorschlag erhoben.
2.1 Gemäss Art. 72 Abs. 1 SchKG geschieht die Zustellung des Zahlungsbefehls durch den Betreibungsbeamten, einen Angestellten des Amtes oder durch die Post (vgl. sodann Art. 64 Abs. 2, Art. 66 Abs. 3 und 4 SchKG). Entgegen der Ansicht der Beschwerdeführerin besteht kein Anspruch des Betriebenen auf Erhalt einer vorgängigen Abholungseinladung für einen Zahlungsbefehl, auch wenn sich diese Praxis immer mehr durchzusetzen scheint (Urteil 5A_231/2011 vom 20. April 2011 E. 2). Der Betriebene darf hingegen aufgefordert werden, den für ihn bestimmten Zahlungsbefehl auf dem Betreibungsamt abzuholen. Dabei handelt es sich lediglich um eine Mitteilung, dass die entsprechende Betreibungsurkunde für ihn bereit liege. Eine Pflicht des Betriebenen zur Entgegennahme auf dem Betreibungsamt besteht nicht (BGE 136 III 155 E. 3.1 S. 156). Der Versuch des Betreibungsamtes, den Zahlungsbefehl vorab postalisch zuzustellen, ist bundesrechtlich nicht zu beanstanden.
2.2 Gemäss Art. 16 Abs. 1 GebV SchKG erhebt das Betreibungsamt eine betragsmässig abgestufte Gebühr für den Erlass, die doppelte Ausfertigung, die Eintragung und die Zustellung des Zahlungsbefehls. In der Rechnung vom 24. Juni 2011 wurde für den Zahlungsbefehl Fr. 90.-- eingesetzt, was bei einer Betreibungssumme von Fr. 50'000.-- dem Gebührenrahmen entspricht. Diese Position wird von der Beschwerdeführerin daher zu Recht nicht in Frage gestellt. Hingegen ist sie der Ansicht, dass in diesem Betrag auch alle Zustellkosten enthalten sind, sofern der Betriebene der Abholungseinladung Folge leistet. Mit dieser Sichtweise blendet sie die in Art. 13 Abs. 1 GebV SchKG enthaltene Regelung aus. Demnach hat das Betreibungsamt alle Auslagen, die sich unter anderem durch die Zustellung des Zahlungsbefehls ergeben, in Rechnung zu stellen. Dieser Auslagenersatz wird insoweit begrenzt, als dass bei einer Amtshandlung überhaupt Auslagen entstehen können. Dies ist beispielsweise bei der Zustellung des Zahlungsbefehls auf dem Amt nicht der Fall, da keine Leistungen an Dritte zu entgelten sind (BGE 136 III 155 E. 3.3.3 S. 158). Wird hingegen per Post die Zustellung oder ein entsprechender Versuch hierzu veranlasst, so stellen die dadurch angefallenen Kosten entschädigungspflichtige Auslagen im Sinne von Art. 13 Abs. 1 GebV SchKG dar.
2.2.1 Im vorliegenden Fall sind daher die Auslagen für den erfolglosen Versuch der Zustellung des Zahlungsbefehls durch die Post in Rechnung zu stellen. Das Betreibungsamt kann Fr. 5.-- als Ersatz für Auslagen der Posttaxen für die eingeschriebene Sendung gemäss Art. 13 Abs. 1 GebV SchKG verlangen (BOESCH, in: Kommentar GebV SchKG, 2008, N. 16 zu Art. 16). Der Auslagenersatz kann Fr. 8.-- betragen, wenn die neue postalische Dienstleistung "Betreibungsurkunde" in Anspruch genommen wurde (vgl. Information Nr. 8 des Bundesamtes für Justiz, Dienststelle Oberaufsicht für Schuldbetreibung und Konkurs, vom 11. März 2011 an die kantonalen Aufsichtsbehörden). Gemäss vorinstanzlicher Feststellung hat das Betreibungsamt eine "Posttaxe Fr. 8.--" in Rechnung gestellt. Da dieser Punkt von der Beschwerdeführerin nicht in Frage gestellt wird, ist darauf nicht weiter einzugehen.
2.2.2 Nach den Angaben des Betreibungsamtes in der Vernehmlassung (vom 11./22. Juli 2011) an die Aufsichtsbehörde hat die Post die Sendung retourniert und die Umleitungsadresse des Schuldners in Wattwil vermerkt. Gemäss den (unter www.post.ch veröffentlichten) Konditionen der Post für Betreibungsurkunden (BU) erfolgt eine Nachsendung ausserhalb des Betreibungskreises nur auf ausdrücklichen Wunsch des Betreibungsamtes. In der Tat obliegt der Entscheid dem Amt, ob es die Rechtshilfe eines anderen Betreibungsamtes mittels Post ersetzen will (vgl. BGE 73 III 118 E. 1 S. 121). Nach einer postalischen Rückleitung des Zahlungsbefehls muss das Betreibungsamt jedoch erneut tätig werden und fällt die Gebühr von Fr. 7.-- für den Zustellversuch nach Art. 16 Abs. 3 GebV SchKG an (BOESCH, a.a.O.). Vorliegend hat das Betreibungsamt keine Gebühr für den Zustellversuch erhoben. Die Aufsichtsbehörde hat allerdings entschieden, dass die Gebühr vom Betreibungsamt hätte verlangt werden können. Darauf geht die Beschwerdeführerin nicht näher ein, so dass die Kostenrechnung in diesem Umfang Bestand hat.
2.2.3 Alsdann hat das Betreibungsamt keine weitere postalische Zustellung (an die Adresse in Wattwil) vorgenommen, sondern dem Schuldner eine Abholungseinladung zugesandt und hierfür Fr. 14.-- in Rechnung gestellt. Nach der Aufsichtsbehörde beinhaltet der Betrag den "Aufwand für das Schreiben von Fr. 8.--, das Porto von Fr. 1.-- sowie die Protokollierung von Fr. 5.--". Bei der Abholungseinladung des Betreibungsamtes handelt es sich um eine zur gesetzlichen Durchführung der Zwangsvollstreckung nicht vorgeschriebene Amtshandlung, weshalb die Gebührenpflicht vom Bundesgericht bereits als fraglich bezeichnet worden ist (BGE 136 III 155 E. 3.3.4 S. 159; vgl. BGE 37 I 580 E. 3 S. 585). Zu Recht schliesst die Lehre die Kostenüberwälzung von gesetzlich nicht vorgesehenen Vorkehren grundsätzlich aus (EMMEL, in: Basler Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 20 zu Art. 68). Im Gegensatz zu anderen Anzeigen (vgl. Art. 120, Art. 139 SchKG) ist im Gesetz nicht vorgesehen, dass das Betreibungsamt den Schuldner über das Vorliegen eines ausgefertigten, zustellbereiten Zahlungsbefehls benachrichtigt. Weiter ist zu bedenken, dass das Betreibungsamt mit einer Fristansetzung zur Abholung entscheidet, während einer bestimmten Zeit keine der Vorkehren nach Art. 72 Abs. 1 SchKG zu treffen, um den Zahlungsbefehl zuzustellen; dies kann die Rechtsstellung des betreibenden Gläubigers beeinträchtigen (Urteil 5A_268/2007 vom 16. August 2007 E. 3, in: BlSchK 2008 S. 131). Allein der Umstand, dass sich in der Praxis die Zustellung einer Abholungseinladung einzubürgern scheint, rechtfertigt indessen noch nicht, die betreffenden Auslagen nach Art. 13 Abs. 1 GebV SchKG zu behandeln oder weitere Gebühren für Schriftstücke zu erheben (vgl. Art. 9 GebV SchKG). Insoweit besteht keine gesetzliche Grundlage, für eine Abholung des Zahlungsbefehls auf dem Betreibungsamt zusätzliche Kosten zu überwälzen.
2.3 Für die Rücksendung des Zahlungsbefehlsdoppels an die Gläubigerin wurde schliesslich zu Recht die Posttaxe von Fr. 5.-- verlangt (BGE 130 III 387 E. 4 S. 391). Dies führt zum Ergebnis, dass die Gebührenrechnung des Betreibungsamtes Nr. ... vom 24. Juni 2011 um den Betrag von Fr. 7.-- herabzusetzen ist und statt Fr. 117.-- nunmehr Fr. 110.-- beträgt. Hingegen fällt der bereits im kantonalen Verfahren gestellte Antrag, die in anderen Fällen erhobenen Gebühren "einzuziehen und einem Hilfswerk zu überweisen", ausser Betracht. Ein sachlicher Zusammenhang mit der vorliegenden Verfügung ist nicht erkennbar.
3. Nach dem Gesagten ist der Beschwerde teilweise Erfolg beschieden. Ausgangsgemäss werden die Gerichtskosten der Beschwerdegegnerin und dem in seinen Vermögensinteressen berührten Kanton Appenzell Ausserrhoden auferlegt, da als Gemeinwesen im Sinne von Art. 64 Abs. 4 BGG der Kanton gilt, dessen Aufsichtsbehörde geurteilt hat (Urteil 5A_732/2009 vom 4. Februar 2010 E. 4, nicht publ. in BGE 136 III 155). Eine Parteientschädigung ist der nicht anwaltlich vertretenen Beschwerdeführerin nicht zuzusprechen (vgl. Art. 68 Abs. 1 BGG; Art. 1 des Reglementes über die Parteientschädigung; SR 173.110.210.3).
Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde wird teilweise gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Obergerichts Appenzell Ausserrhoden, Aufsichtsbehörde für Schuldbetreibung und Konkurs, vom 30. August 2011 (Ziffer 1) wird aufgehoben.
1.2 Die Gebührenrechnung Nr. ... des Betreibungsamtes Appenzeller Hinterland vom 24. Juni 2011 wird auf Fr. 110.-- festgesetzt.
2. Die Gerichtskosten von Fr. 300.-- wird je zur Hälfte der Beschwerdeführerin und dem Kanton Appenzell Ausserrhoden auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht Appenzell Ausserrhoden, Aufsichtsbehörde für Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 9. Dezember 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante