(unentgeltliche Verbeiständung), hat sich ergeben:
A.- Mit Urteil vom 27. Juni 2001 hiess das Zivilgericht Basel-Stadt die Scheidungsklage von Y._ gegen Z._ gestützt auf <ref-law> gut. Im Wesentlichen hielt es dafür, dass Z._ vom Strafgericht Basel-Stadt zu einer Zuchthausstrafe von 3 1/2 Jahren verurteilt und für 12 Jahre des Landes verwiesen worden sei, weil er vom Sommer 1999 bis Frühjahr 2000 mit rund 3 Kilo Kokain gehandelt habe.
Das Strafverfahren habe die Ehefrau schwer belastet, weshalb für sie ein weiteres Festhalten an der rechtlichen Bindung zum Ehemann unerträglich sei. Dass für den Ehemann, der gegen die Verurteilung appelliert habe, die Unschuldsvermutung gelte, ändere daran nichts. Für das Scheidungsverfahren wurde der Klägerin der teilweise und dem Beklagten der vollständige Kostenerlass gewährt.
B.- Z._ appellierte gegen das Scheidungsurteil beim Appellationsgericht Basel-Stadt. Er stellte innert Frist weder Anträge noch reichte er eine Begründung ein. Mit Verfügung vom 19. Oktober 2001 wurde ihm eine erste Frist zur Leistung des Kostenvorschusses angesetzt, mit dem Hinweis auf die Säumnisfolgen. Am 25. Oktober 2001 stellte Z._ ein Gesuch um Kostenerlass. Das Appellationsgericht Basel-Stadt trat darauf mit Verfügung vom 26. Oktober 2001 nicht ein.
C.- Z._ beantragt mit staatsrechtlicher Beschwerde, die Verfügung vom 26. Oktober 2001 aufzuheben und das Appellationsgericht anzuweisen, auf das Kostenerlassgesuch einzutreten.
Das Appellationsgericht Basel-Stadt stellt in seiner Vernehmlassung keinen formellen Antrag.
Mit Präsidialverfügung vom 10. Dezember 2001 ist der staatsrechtlichen Beschwerde aufschiebende Wirkung zuerkannt worden.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob und inwieweit auf eine Beschwerde einzutreten ist (<ref-ruling> E. 1).
a) Beim angefochtenen Entscheid handelt es sich um einen Zwischenentscheid, der das kantonale Appellationsverfahren weiterbringt, aber nicht abschliesst. Er ist kantonal letztinstanzlich (Art. 86 Abs. 1 OG). Es steht weder eine Frage der Zuständigkeit noch des Ausstandes der entscheidenden Behörde zur Diskussion (Art. 87 Abs. 1 OG), womit die staatsrechtliche Beschwerde nur gegeben ist, wenn ein nicht wiedergutzumachender Nachteil droht (Art. 87 Abs. 2 OG). Dies ist in aller Regel durch die Verweigerung der unentgeltlichen Rechtspflege und Verbeiständung der Fall (<ref-ruling> E. 2a).
b) Aufgrund der kassatorischen Natur der staatsrechtlichen Beschwerde ist auf den Antrag des Beschwerdeführers, dem Appellationsgericht eine Anweisung zu erteilen, nicht einzutreten (<ref-ruling> E. 8c S. 395; <ref-ruling> E. 1b S. 107).
2.- Der Beschwerdeführer wirft vorerst die Frage auf, ob die kantonale Regelung, wonach bei Unterbleiben der schriftlichen Begründung der Appellation die vor erster Instanz gestellten Anträge gelten, auch das Gesuch um Kostenerlass umfasse. Von dieser Auslegung des <ref-law> gehe auch das Appellationsgericht aus.
Ein solches Vorbringen genügt den Anforderungen des Art. 90 Abs. 1 lit. b OG nicht, wonach die Beschwerdeschrift die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten muss, welche verfassungsmässigen Rechte beziehungsweise welche Rechtssätze und inwiefern sie durch den angefochtenen Entscheid verletzt worden sind. Das Bundesgericht prüft im staatsrechtlichen Beschwerdeverfahren nur klar und einlässlich erhobene Rügen (<ref-ruling> E. 1c).
3.- Alsdann rügt der Beschwerdeführer, dass das Appellationsgericht durch die wortgetreue Anwendung des <ref-law> seinen Anspruch auf unentgeltliche Rechtspflege gemäss <ref-law> verletze. Nach der gestützt auf Art. 4 aBV entwickelten Praxis des Bundesgerichts zur Frage der unentgeltlichen Prozessführung und Verbeiständung könne unabhängig von der kantonalen Regelung während des Verfahrens jederzeit ein Kostenerlassgesuch gestellt werden. Demzufolge hätte das Appellationsgericht auf sein Gesuch eintreten müssen.
a) Der Anspruch einer Prozesspartei auf unentgeltliche Rechtspflege beurteilt sich in erster Linie nach den Regeln des kantonalen Rechts, dessen Anwendung im staatsrechtlichen Beschwerdeverfahren nur auf Willkür überprüft wird. Dass das Kostenerlassgesuch nach der Zivilprozessordnung für Basel-Stadt verspätet erfolgt ist, wird vom Beschwerdeführer nicht in Frage gestellt. Hingegen beruft er sich auf den in <ref-law> garantierten Anspruch auf unentgeltliche Rechtspflege, insoweit dem Bundesgericht freie Kognition zusteht (<ref-ruling> E. 2).
b) Im vorliegenden Fall ist der Kostenvorschuss zwischenzeitlich geleistet worden, welcher Umstand praxisgemäss die Beschwerde nicht gegenstandslos werden lässt (unveröffentlichtes Urteil vom 11. Februar 1993 i.S. N. [2P. 328/1991]).
Im Ergebnis strebt der Beschwerdeführer nunmehr statt den Kostenerlass die Kostenrückerstattung an, für welche die gleichen Grundsätze gelten.
c) Es trifft zu, dass das Bundesgericht bereits aus Art. 4 aBV ableitete, dass ein Gesuch um unentgeltliche Prozessführung jederzeit während des Verfahrens gestellt werden kann (<ref-ruling> E. 3e). Diese Rechtsprechung gilt zweifelsohne auch für den nunmehr geltenden <ref-law>.
Sie bedeutet indes nicht, dass gestützt auf Bundesverfassungsrecht ein derartiges Gesuch ohne Wahrung von Fristen und Formen den kantonalen Behörden nach Belieben vorgelegt werden kann. Eine solche Auslegung würde einer geordneten Prozessführung entgegen stehen. Soweit das Appellationsgericht wegen Verspätung auf das Kostenerlassgesuch nicht eingetreten ist, ist die angefochtene Verfügung somit nicht zu beanstanden. Es bleibt jedem Rechtsuchenden nach der angeführten Rechtsprechung aber unbenommen, überhaupt erst in einem späteren Zeitpunkt, z.B. weil er zur Leistung eines weitern Vorschusses aufgefordert wird, oder nach einer neuen Beurteilung der Prozessaussichten oder der wirtschaftlichen Situation ein erstes oder erneutes Gesuch zu stellen. Dann erst wird sich zudem die Frage stellen, ab welchem Zeitpunkt die Gewährung der unentgeltlichen Rechtspflege wirksam wird. Für den Beschwerdeführer bedeutet dies, dass er wiederum ein Kostenerlassgesuch einreichen kann, die bisher aufgelaufenen Kosten aber nur zeitlich begrenzt erfasst werden (vgl. dazu <ref-ruling> E. 3e/f S. 16 ff.).
d) Ungeachtet seines Nichteintretensentscheides nimmt das Appellationsgericht eine summarische Prüfung der Prozessaussichten vor. Es kommt unter Hinweis auf das erstinstanzliche Urteil zum Schluss, dass die Erwägungen zu <ref-law> überzeugen. Damit stellten sich die Gewinnaussichten des Appellanten deutlich geringer als das Verlustrisiko dar.
Was der Beschwerdeführer dagegen vorbringt, erschöpft sich vorerst in der Bestreitung des Beweisergebnisses.
Alsdann erachtet er den Vorwurf, im Drogenhandel tätig gewesen zu sein, als ungenügend, um die Fortsetzung der Ehe für seine Ehefrau als unzumutbar im Sinne von <ref-law> erscheinen zu lassen. Diese Vorbringen lassen die negative Beurteilung der Gewinnchancen noch nicht als unhaltbar erscheinen (<ref-ruling> E. 2a), soweit sie den Anforderungen von Art. 90 Abs. 1 lit. b OG überhaupt genügen (E. 2 hievor).
4.- Nach dem Gesagten ist die staatsrechtliche Beschwerde abzuweisen. Soweit darauf einzutreten ist, stellten sich die Anträge und Vorbringen zum Vornherein als aussichtslos dar. Damit ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (Art. 152 Abs. 1 OG). Der Beschwerdeführer wird kostenpflichtig. Seiner wirtschaftlichen Situation kann bei der Bemessung der Gebühren Rechnung getragen werden (Art. 156 Abs. 1 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 800.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
_
Lausanne, 11. Januar 2002
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: