Namensänderung), hat sich ergeben:
A.- Gegen einen ablehnenden Rekursentscheid des Regierungsrates des Kantons Appenzell A.Rh. betreffend Namensänderung erhoben S.E._ und A.E._, vertreten durch Rechtsanwalt Tim Walker, Beschwerde beim Verwaltungsgericht des Kantons Appenzell A.Rh. und ersuchten um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Mit Entscheid vom 2. Oktober 2000 lehnte der Gerichtspräsident das Gesuch wegen Aussichtslosigkeit ab, die er damit begründete, dass die Beschwerdeführer die Frist verpasst hätten:
Bei Zustellung eines Entscheides während der Gerichtsferien stünden gesetzliche und richterliche Fristen von weniger als drei Monaten still und beginne der Fristenlauf nach Ablauf der Ferien. Der letzte Gerichtsferientag sei auf den 15. August 2000 gefallen. Mithin habe die 30tägige Frist am 16. August 2000 zu laufen begonnen und habe am 14. September 2000 geendigt, weshalb die am 15. September 2000 aufgegebene Beschwerde verspätet sei.
B.- Dagegen erheben S.E._ und A.E._ staatsrechtliche Beschwerde beim Bundesgericht mit dem Antrag auf Aufhebung des Entscheides des Verwaltungsgerichtspräsidenten vom 2. Oktober 2000 und ersuchen um Gewährung unentgeltlicher Rechtspflege. Sie werfen dem Gerichtspräsidenten Willkür und überspitzten Formalismus vor. Der Verwaltungsgerichtspräsident beantragt die Abweisung der staatsrechtlichen Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Das Recht zur Beschwerdeführung steht u.a. Bürgern (Privaten) zu (Art. 88 OG). Diese müssen partei- und prozessfähig sein. Prozessfähig ist, wer handlungsfähig im Sinne von <ref-law> ist. Handlungsfähigkeit kommt grundsätzlich nur derjenigen Person zu, die volljährig, urteilsfähig und nicht entmündigt ist, wobei die Prozessfähigkeit im Zeitpunkt der Einreichung der Beschwerde gegeben sein muss. Unmündige Personen sind daher in der Regel nicht prozessfähig, sondern müssen staatsrechtliche Beschwerde durch den Inhaber der elterlichen Gewalt als gesetzlichen Vertreter erheben. Eine Ausnahme von dieser Regel wird u.a. gemacht, wenn die urteilsfähige, aber noch unmündige Person Verstösse gegen Rechte rügt, welche ihr um ihrer Persönlichkeit willen zustehen (<ref-law>). Fragen des Namensrechtes, insbesondere Gesuche um Änderung des Namens bedeuten Ausübung eines höchstpersönlichen Rechtes (<ref-ruling> E. 1b; Eugen Bucher, Berner Kommentar, N. 234 f. zu <ref-law>).
Nach den Feststellungen des Regierungsrates im Rekursentscheid vom 11. Juli 2000 erfüllte A.E._ im betreffenden Jahr das 16. und S.E._ das 14. Altersjahr.
Angesichts des Alters von S.E._ dürfte es sich nach der Auffassung des Regierungsrates hinsichtlich der Urteilsfähigkeit eher um einen Grenzfall handeln, doch habe sich an der Befragung gezeigt, dass S.E._ durchaus in der Lage sei abzuschätzen, welche Bedeutung die Namensänderung für ihr weiteres Leben haben werde. Daher sei auch bei S.E._ hinsichtlich des Namensänderungsgesuchs Urteilsfähigkeit anzunehmen. Der angefochtene Entscheid äussert sich dazu nicht. Es besteht kein Grund, von der regierungsrätlichen, auf persönlicher Anhörung beruhender Einschätzung der Urteilsfähigkeit der beiden Gesuchsteller abzuweichen, so dass unter diesem Gesichtspunkt den Beschwerden nichts entgegensteht.
2.- Der von den Beschwerdeführern angerufene <ref-law> verschafft einer bedürftigen Partei Anspruch auf unentgeltliche Rechtspflege und, falls zur gehörigen Wahrung ihrer Interessen erforderlich, auf Ernennung eines unentgeltlichen Rechtsbeistandes, sofern das Verfahren nicht aussichtslos ist (<ref-ruling> E. 2a S. 2 und 304 E. 2a S. 306).
Ob dieser Anspruch missachtet worden ist, prüft das Bundesgericht in rechtlicher Hinsicht frei; die tatsächlichen Feststellungen werden dagegen nur auf Willkür hin überprüft (<ref-ruling> E. 2c S. 306 f.). Dasselbe gilt, soweit es um die Anwendung kantonalen (Prozess-)Rechts geht.
Als aussichtslos sind Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen könnte. Wer einen Prozess auf eigene Rechnung nicht führen würde, soll ihn nicht deshalb führen können, weil er ihn nichts kostet (<ref-ruling> E. 2c S. 306).
3.- Nach Auffassung des Verwaltungsgerichtspräsidenten des Kantons Appenzell A.Rh. ist der Prozess deshalb chancenlos, weil die Beschwerdeführer die Beschwerdefrist um einen Tag verpassten. Nach Auffassung der Beschwerdeführer beruht diese Einschätzung auf einer willkürlichen Auslegung und Handhabung des kantonalen Rechts.
a) Gemäss <ref-law>/AR (bGS 231. 1) stehen gesetzlich oder richterlich bestimmte Fristen von weniger als drei Monaten still. Erfolgen Zustellungen während der Gerichtsferien, beginnt die Frist erst nach Ablauf der Ferien zu laufen. Umstritten ist, ob der erste Tag nach den Ferien mitzuzählen ist. Nach <ref-law>/AR sind für die Berechnung der Fristen unter Vorbehalt abweichender Vorschriften des Bundesrechts die Bestimmungen des kantonalen Gesetzes über den Fristenlauf massgebend. Gemäss Art. 2 Abs. 2 dieses Gesetzes (b.GS 143. 4) beginnen sämtliche Fristen mit dem auf die Zustellung des schriftlichen Entscheides folgenden Tag.
Es fragt sich, wie diese Bestimmung bei Zustellungen während der Gerichtsferien zu handhaben ist. Hat die Zustellung während der Gerichtsferien als erfolgt zu gelten, ist der auf die Zustellung folgende Tag der erste Tag nach Ablauf der Gerichtsferien. Wird dagegen die Zustellung in solchen Fällen auf den ersten Tag nach Ablauf der Ferien fingiert, beginnt der Fristenlauf am nächstfolgenden Tag.
b) Der Verwaltungsgerichtspräsident spricht von einer seit Jahren bestehenden und bisher unangefochtenen Praxis, nennt aber weder veröffentlichte noch unveröffentlichte Entscheidungen, beruft sich aber auf die Erläuterung der Zivilprozessordnung durch Max Ehrenzeller (Zivilprozessordnung des Kantons Appenzell A.Rh., Speicher 1988), wonach bei Zustellungen während der Gerichtsferien die Frist still steht und "erst nach Ablauf der Ferien zu laufen" beginnt (a.a.O., N. 4 zu Art 76). Zur Frage, ob der Fristenlauf am ersten Tag nach Ablauf der Gerichtsferien zu laufen beginnt oder ob dieser Tag noch nicht zählt, äussert sich der Autor nicht. Die Praxis des Bundesgerichts und des EVG zur Frage, ob der erste Tag nach dem Ablauf der Gerichtsferien mitzählt, ist nicht einheitlich. Gemäss der Rechtsprechung des EVG zählt der erste Tag nach dem Stillstand nicht (<ref-ruling>). Gemäss der veröffentlichten Rechtsprechung des Bundesgerichtes beginnt der Fristenlauf in solchen Fällen am ersten Tag nach den Gerichtsferien (<ref-ruling> E. 1; <ref-ruling> E. 2; <ref-ruling> E. 1). Es gibt allerdings neuere, unveröffentlichte Entscheidungen, wo unter Hinweis auf die Praxis des EVG der erste Tag nach den Ferien nicht mitgezählt wird (BGE vom 14. November 2000 [1P. 597/2000], E. 1a). Auch in der Literatur wird die Frage kontrovers diskutiert (Poudret/Sandoz-Monod, Kommentar zum OG, Bern 1990, N. 3.2 zu Art. 34 mit Hinweisen; ThomasGeiser, in: Prozessieren vor Bundesgericht [Geiser/ Münch, Hsrg. ], Basel und Frankfurt a.M., N. 1.60).
Herrscht aber zur umstrittenen Frage gesamtschweizerisch keine einheitliche Praxis und sind auch in der Lehre die Meinungen geteilt, so kann der vom Verwaltungsgerichtspräsidenten vertretene Standpunkt jedenfalls nicht willkürlich sein.
4.- Die Beschwerdeführer machen sodann geltend, dass gemäss ausdrücklicher Gesetzesvorschrift die Zustellung von Rechtsschriften, Vorladungen und Mitteilungen sowie Vermittlungsvorständen auch während der Gerichtsferien zulässig seien (<ref-law>/AR), und folgern daraus (mit Umkehrschluss), dass die nicht erwähnte Zustellung von Entscheidungen während der Ferien unzulässig sei, und führen dies als weiteres Argument für den Beginn des Fristenlaufs erst am zweiten Tag nach dem Ende der Gerichtsferien ins Feld. Dazu macht der Verwaltungsgerichtspräsident zum einen geltend, dass die Zustellung auch begründeter Entscheidungen während der Gerichtsferien unangefochtener Praxis entspreche, und zum andern, dass im vorliegenden Fall die Gerichtsferien für die Berechnung der Beschwerdefrist zwar beachtlich gewesen seien, dass aber <ref-law> - namentlich dessen Abs. 3 - für die Tätigkeit des Regierungsrates als Rekursinstanz nicht anwendbar sei. Dazu erübrigen sich weitere Äusserungen, legen doch die Beschwerdeführer nicht dar, weshalb die von ihnen beanstandete Praxis willkürlich sei. Mit blosser Behauptung ist Willkür nicht darzutun (<ref-ruling> E. 5 S. 250; <ref-ruling> E. 4b S. 40). Dasselbe gilt für die nicht näher begründete Rüge des überspitzten Formalismus. Darauf ist nicht einzutreten (Art. 90 Abs. 1 lit. b OG).
Bei dieser Sachlage muss aber der Standpunkt der Beschwerdeführer, die Frist eingehalten zu haben, als von vornherein aussichtslos gelten.
5.- Die staatsrechtliche Beschwerde ist daher abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang werden die Beschwerdeführer kostenpflichtig (Art. 156 OG). Ihr Gesuch um unentgeltliche Rechtspflege im Verfahren vor Bundesgericht ist wegen Aussichtslosigkeit abzuweisen.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird den Beschwerdeführern auferlegt.
4.- Dieses Urteil wird den Beschwerdeführern und dem Verwaltungsgerichtspräsidenten von Appenzell A.Rh. schriftlich mitgeteilt.
_
Lausanne, 6. März 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: