Sachverhalt:
A. Am 21. Juni 2008 stellte A.Z._ (geb. 1927) das Gesuch um Adoption von E.H._ (geb. 1953). Gleichzeitig ersuchte E.H._ um Bewilligung, nach der Adoption ihren bisherigen Familiennamen weiterführen zu dürfen. Mit Beschluss des Regierungsrates des Kantons Appenzell Ausserrhoden vom 20. Januar 2009 wurde die Erwachsenenadoption gemäss Art. 266 ZGB ausgesprochen und erhielt E.H._ den Familiennamen Z._. Das Gesuch von E.Z._ um Änderung ihres Namens gemäss Art. 30 Abs. 1 ZGB in "H._" wurde mit Verfügung des Departementes für Inneres und Kultur des Kantons Appenzell Ausserrhoden vom 6. Februar 2009 abgewiesen.
B. E.Z._ gelangte betreffend die Verweigerung der Namensänderung an den Regierungsrat Appenzell Ausserrhoden, welcher die Beschwerde am 7. Juli 2009 abwies. Hiergegen erhob E.Z._ Beschwerde an das Verwaltungsgericht Appenzell Ausserrhoden, welche mit Urteil vom 24. Februar 2010 abgewiesen wurde.
C. Mit Eingabe vom 28. Juni 2010 führt E.Z._ Beschwerde in Zivilsachen. Die Beschwerdeführerin beantragt dem Bundesgericht, das Urteil des Verwaltungsgerichts Appenzell Ausserrhoden vom 24. Februar 2010 aufzuheben und die Änderung ihres Namens von "Z._" in "H._" zu bewilligen.
Das Verwaltungsgericht schliesst ohne Gegenbemerkungen auf Abweisung der Beschwerde.
Über die vorliegende Beschwerde wurde an der öffentlichen Beratung vom 27. Januar 2011 entschieden.

Erwägungen:
1. 1.1 Angefochten ist ein Entscheid über die (verweigerte) Bewilligung der Namensänderung, welcher der Beschwerde in Zivilsachen unterliegt (Art. 72 Abs. 2 lit. b Ziff. 3 BGG). Die Beschwerde gegen den letztinstanzlichen kantonalen und verfahrensabschliessenden Rechtsmittelentscheid (Art. 75, Art. 90 BGG) in einer nicht vermögensrechtlichen Angelegenheit ist grundsätzlich zulässig. Die Beschwerdeführerin hat ein (im Rahmen von Art. 30 Abs. 1 ZGB) rechtlich geschütztes Interesse an der Aufhebung bzw. Änderung des angefochtenen Entscheides (Art. 76 Abs. 1 lit. b BGG).
1.2 Mit vorliegender Beschwerde kann die Verletzung von u.a. Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von verfassungsmässigen Rechten ist in der Beschwerdeschrift vorzubringen und zu begründen (Art. 106 Abs. 2 BGG; <ref-ruling> E. 2 S. 591, Rügeprinzip). Unbeachtlich sind blosse Verweisungen der Beschwerdeführerin auf die Eingaben an Vorinstanzen; inwiefern das angefochtene Urteil Bundesrecht bzw. verfassungsmässige Rechte verletzt, ist in der Beschwerdeschrift selber darzulegen (vgl. <ref-ruling> E. 1d; <ref-ruling> E. 3.1 S. 399). An den vorinstanzlich festgestellten Sachverhalt ist das Bundesgericht gebunden (Art. 105 Abs. 1 BGG).
2. Das Verwaltungsgericht hat im Wesentlichen erwogen, der Umstand, dass die Beschwerdeführerin während ihres ganzen Lebens (bzw. 56 Jahre lang) den Namen "H._" getragen habe, stelle für sich allein keinen wichtigen Grund dar, um den durch die Adoption erworbenen Namen zu ändern. Das Gleiche gelte für die damit einhergehenden, üblichen Unannehmlichkeiten (wie Änderung von Dokumenten, Erklärungsbedarf etc.) oder den Wunsch, die Adoption diskret oder geheim behandeln zu wollen, zumal sie im Adoptionsverfahren ausgeführt habe, auch in der Öffentlichkeit als Mutter und Tochter wahrgenommen zu werden. Weder ihre Eigenschaft als Stiftungsrätin in der vom verstorbenen Ehemann der Adoptivmutter errichteten Stiftung noch andere Argumente (wie der befürchtete Eindruck eines intimen Verhältnisses zwischen der Adoptivmutter und dem leiblichen Vater der Beschwerdeführerin) vermöchten hinreichend konkrete, objektive Gründe darzustellen, um nach Art. 30 Abs. 1 ZGB die Namensänderung zu bewilligen.
3. Anlass zur vorliegenden Beschwerde gibt das Gesuch der (mittlerweile) 57-jährigen Beschwerdeführerin, welche den durch die Adoption erworbenen Namen "Z._" in ihren früheren Namen "H._" ändern will, welchen sie zeitlebens getragen hat. Sie macht geltend, die Verweigerung der Bewilligung zur Führung ihres früheren Namens verletze die massgebenden Bestimmungen des ZGB sowie ihre u.a. durch die EMRK geschützte Persönlichkeit, zumal aus der Beibehaltung ihres früheren Namens trotz Adoption die Rechtssicherheit bzw. das öffentliche Interesse nicht beeinträchtigt werde.
3.1 Die Beschwerdeführerin wurde von A.Z._ im Alter von 56 Jahren nach Art. 266 ZGB adoptiert. Nach Art. 267 Abs. 1 ZGB erhält das Adoptivkind die Rechtsstellung eines Kindes der Adoptiveltern bzw. des Einzeladoptierenden. Die Adoption hatte demnach von Gesetzes wegen zur Folge, dass die Beschwerdeführerin den Namen ihrer Adoptivmutter erwarb (Art. 270 Abs. 2 ZGB). Der gesetzliche Namenswechsel kann nur durch eine Namensänderung nach Art. 30 Abs. 1 ZGB rückgängig gemacht werden. Nach dieser Bestimmung kann die Regierung des Wohnsitzkantons einer Person die Änderung des Namens bewilligen, wenn wichtige Gründe vorliegen. Ob im einzelnen Fall ein Grund für eine Namensänderung vorliegt, ist eine Ermessensfrage, die von der zuständigen Behörde nach Recht und Billigkeit zu beantworten ist (Art. 4 ZGB; <ref-ruling> E. 3.1 S. 162).
3.2 Die Namensänderung bei einem adoptierten Erwachsenen hat nach der Rechtsprechung den Zweck, ernstliche Nachteile zu beseitigen, die mit dem durch die Adoption erworbenen Namen verbunden sind, wobei vor allem moralische, geistige und seelische, aber auch wirtschaftliche oder administrative Interessen im Spiel stehen können (<ref-ruling> E. 5a S. 4; allgemein betreffend Art. 30 Abs. 1 ZGB: <ref-ruling> E. 3.1.1 S. 163). Dies ist nach der Rechtsprechung z.B. der Fall, wenn der bisherige Name für seinen Träger eine religiöse Bedeutung hat (<ref-ruling> E. 5b S. 5: Beibehaltung des Namens "Lévy" bei Adoption durch eine nichtjüdische Person), nicht aber im Falle blosser Unannehmlichkeiten, welche durch die Erwachsenenadoption entstehen (<ref-ruling> E. 3 S. 67).
3.3 Die Beschwerdeführerin beruft sich auf die zeitlebens bzw. 57 Jahre dauernde Namensführung und die Beeinträchtigung, welche durch den Namenswechsel in der sozialen und psychischen Sphäre ihrer Persönlichkeit verursacht werde.
3.3.1 Der Name gehört zur Persönlichkeit (<ref-ruling> E. 3c S. 2), und der Namenswechsel durch eine Statusänderung berührt das Persönlichkeitsrecht des Betroffenen um so mehr, je länger dieser den bisherigen Namen getragen hat (vgl. HEGNAUER, Berner Kommentar, 1997, N. 43 zu Art. 270 ZGB). Die Beschwerdeführerin hält an sich richtig (unter Hinweis auf einen kantonalen Entscheid aus dem Jahre 2007; vgl. FamPra.ch 2008 S. 364 ff.) fest, dass mit Blick auf die Dauer der Namensführung auch eine 33-jährige Person sich nach einer Erwachsenenadoption wünschen könnte, den bisherigen Namen weiterführen zu wollen. In der Tat kann eine Abgrenzung nach der Anzahl Jahre der Namensführung sachlich nicht begründet werden. Das Argument der Dauer für den Wunsch, den bisherigen Namen weiterzuführen, läuft vielmehr auf die allgemeine Forderung hinaus, den durch die Erwachsenenadoption erworbenen Namen ablehnen zu dürfen.
3.3.2 Zu dieser Frage hat das Bundesgericht in <ref-ruling> ff. Stellung bezogen. Der Gesetzgeber habe mit der Revision des Adoptionsrechts das Adoptivverhältnis dem ehelichen Kindesverhältnis gleichstellen wollen. Mit diesem Zweck sei es nicht vereinbar, wenn das Adoptivkind seinen bisherigen Namen beibehielte. Dabei sei dem Gesetzgeber die Problematik der Adoption Erwachsener durchaus bewusst gewesen. Dennoch sei bezüglich der Übernahme des Namens der Adoptiveltern keine Wahlfreiheit oder sonstwie Erleichterung vorgesehen worden. Die Rechtsprechung schloss daraus, dass eine Person, welche sich adoptieren lassen will, auch die gesetzlichen Folgen der Adoption auf sich nehmen müsse (<ref-ruling> E. 3 S. 67; bestätigt in <ref-ruling> E. 3 S. 3).
3.3.3 Die geltende Rechtslage wird in der Lehre als unbefriedigend bezeichnet (HEGNAUER, a.a.O., N. 45 zu Art. 270 ZGB, mit Hinweis de lege ferenda). In ihren Vorbringen übernimmt die Beschwerdeführerin die Kritik, dass ein hinreichendes öffentliches Interesse an der Namenseinheit von Eltern und mündigen Kindern fehle (vgl. HEGNAUER, a.a.O., N. 65 zu Art. 270 ZGB). Die Beschwerdeführerin stützt sich einzig auf das Argument der Zeitspanne der Namensführung und den persönlichen Wunsch, den bisherigen Familiennamen nach der Adoption führen zu wollen. Sie beruft sich nicht auf weitere insbesondere moralische, geistige oder seelische Interessen, welche von der Vorinstanz übergangen worden seien. Anhaltspunkte, welche den Schluss zulassen würden, dass die Beschwerdeführerin durch den Namenswechsel besonders belastet wäre, gehen aus dem angefochtenen Urteil nicht hervor. Sie ist nach dem angefochtenen Urteil nicht etwa Künstlerin, Politikerin, Schriftstellerin, Inhaberin eines unter ihrem Namen geführten Geschäfts oder dergleichen. Nach der erwähnten Rechtsprechung gilt sie daher - anders als diese Personen - nicht in besonderem Masse an der Beibehaltung des Namens, unter dem sie bekannt ist, interessiert (<ref-ruling> E. 4 S. 69).
3.4 Zu prüfen ist, ob an der dargelegten und vom Verwaltungsgericht als massgeblich erachteten Praxis zu Art. 30 Abs. 1 ZGB festgehalten werden kann.
3.4.1 Der Europäische Gerichtshof für Menschenrechte hat mit Urteil Nr. 664/06 vom 9. November 2010 i.S. Losonci Rose und Rose gegen Schweiz, nach welchem die gesetzliche Verpflichtung der Ehegatten zu einem gemeinsamen Familiennamen diskriminierend ist, mit Bezug auf Art. 8 EMRK die Bedeutung des eigenen Namens als zentrales Element der Individualisierung und Identität der Person betont (Ziff. 51; Urteil Nr. 44378/05 i.S. Daróczy gegen Ungarn vom 1. Juli 2008, Ziff. 32). Ob der angefochtene Entscheid (wie die Beschwerdeführerin meint) gegen Art. 8 EMRK verstösst, braucht - wie sich aus dem Folgenden ergibt - nicht näher erörtert zu werden.
3.4.2 Die beiden angerufenen Bundesgerichtsentscheide sind in den Jahren 1979 und 1982 ergangen und stützen sich auf die Revision des Adoptionsrechts durch das Bundesgesetz vom 30. Juni 1972 (AS 1972 II 2819). Das Bundesgericht hat dabei der Entstehungsgeschichte entscheidendes Gewicht zukommen lassen (vgl. E. 3.3.2), weil es sich damals um nicht vor langer Zeit erlassene Vorschriften handelte. Seither hat die Funktion des Familiennamens zur Kennzeichnung der Familienzugehörigkeit (<ref-ruling> E. 3a S. 3; <ref-ruling> E. 2 S. 308) an Bedeutung eingebüsst. Durch die spätere Revision von Bestimmungen des ZGB sind die gesetzlichen Wirkungen von Statusänderungen auf den Namen von Erwachsenen begrenzt worden, indem der individuellen Namenswahl mehr Gewicht eingeräumt wird (vgl. Art. 30 Abs. 2 ZGB: Wahl des Familiennamens der Ehefrau als Familiennamen; Art. 119 Abs. 1 ZGB: Wiederannahme des früheren Namens durch den geschiedenen Ehegatten; Art. 160 Abs. 2 ZGB: Voranstellung des bisherigen Namens eines der Brautleute vor den ehelichen Familiennamen). Diese Wandlung der gesetzlichen Namensregeln sind heute bei der Beurteilung der wichtigen Gründe nach Art. 30 Abs. 1 ZGB zu berücksichtigen. Im Weiteren hat das Bundesgericht in der neueren Rechtsprechung zur kindesrechtlichen Namensänderung den Grundsatz der Namenseinheit relativiert. So stellt der allgemeine Hinweis des Kindes, es diene seinem Wohl, in Namenseinheit mit Mutter und Stiefvater zu leben, mit Blick auf die veränderten gesellschaftlichen Verhältnisse keinen wichtigen Grund für die Änderung des Familiennamens dar (<ref-ruling> E. 2b/bb S. 403; <ref-ruling> E. 2c S. 148).
3.4.3 Vorliegend hat die Beschwerdeführerin in unmittelbarem zeitlichen Zusammenhang (bzw. gleichzeitig) mit der Erwachsenenadoption die Beibehaltung des Familiennamens verlangt. Im Licht der dargelegten Entwicklung in Gesetzgebung und Rechtsprechung kann an der bisherigen Praxis (<ref-ruling> ff.) nicht länger festgehalten werden, soweit damit weitere Gründe zur Ablehnung des mit der Adoption erworbenen Namens verlangt werden. Es ist kein hinreichendes öffentliches Interesse ersichtlich, dass die Beschwerdeführerin den Namen der Adoptivmutter erhält; sie weist zu Recht auf die lange Zeitspanne der bisherigen Namensführung hin. Allein der Wunsch, den bisherigen Familiennamen nach der Adoption weiterführen zu wollen, bringt die enge Verbindung zwischen dem Namen und der Persönlichkeit der Beschwerdeführerin zum Ausdruck. Dies genügt als wichtiger Grund im Sinne von Art. 30 Abs. 1 ZGB, um die Namensänderung zu bewilligen.
3.5 Die Rüge der Beschwerdeführerin, der Entscheid des Verwaltungsgerichts sei mit Bundesrecht nicht vereinbar, ist demnach begründet und die Beschwerde in Zivilsachen ist gutzuheissen.
4. Der weitere Antrag der Beschwerdeführerin, es seien dem Zivilstandsamt die notwendigen Anweisungen betreffend die Namensänderung zu geben, ist überflüssig. Das vorliegende Urteil ist der kantonalen Aufsichtsbehörde mitzuteilen (Art. 40 lit. e, Art. 43 Abs. 2 ZStV), welche für die Beurkundung der mitgeteilten Personenstandsdaten verantwortlich ist (Art. 22 Abs. 3 ZStV).
5. Nach dem Dargelegten ist in Gutheissung der Beschwerde in Zivilsachen das Urteil des Verwaltungsgerichts von Appenzell Ausserrhoden, 2. Abteilung, vom 24. Februar 2010 aufzuheben und das Gesuch der Beschwerdeführerin um Änderung ihres Familiennamens von "Z._" in "H._" zu bewilligen.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 3 BGG); der Kanton Appenzell Ausserrhoden hat die Beschwerdeführerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 68 Abs. 1 BGG).
Zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens ist die Sache an das Verwaltungsgericht zurückzuweisen (Art. 67 BGG).

Demnach erkennt das Bundesgericht:
1. 1.1 Die Beschwerde in Zivilsachen wird gutgeheissen und das Urteil des Verwaltungsgerichts von Appenzell Ausserrhoden, 2. Abteilung, vom 24. Februar 2010 wird aufgehoben.
1.2 Das Gesuch der Beschwerdeführerin um Änderung ihres Familiennamens von Z._ in H._ wird bewilligt.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Appenzell Ausserrhoden hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht zurückgewiesen.
5. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht von Appenzell Ausserrhoden, 2. Abteilung, sowie der kantonalen Aufsichtsbehörde im Zivilstandswesen schriftlich mitgeteilt.
Lausanne, 27. Januar 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Levante