(unentgeltliche Verbeiständung), hat sich ergeben: A.- Mit Urteil vom 27. Juni 2001 hiess das Zivilgericht Basel-Stadt die Scheidungsklage von Y._ gegen Z._ gestützt auf Art. 115 ZGB gut. Im Wesentlichen hielt es dafür, dass Z._ vom Strafgericht Basel-Stadt zu einer Zuchthausstrafe von 3 1/2 Jahren verurteilt und für 12 Jahre des Landes verwiesen worden sei, weil er vom Sommer 1999 bis Frühjahr 2000 mit rund 3 Kilo Kokain gehandelt habe. Das Strafverfahren habe die Ehefrau schwer belastet, weshalb für sie ein weiteres Festhalten an der rechtlichen Bindung zum Ehemann unerträglich sei. Dass für den Ehemann, der gegen die Verurteilung appelliert habe, die Unschuldsvermutung gelte, ändere daran nichts. Für das Scheidungsverfahren wurde der Klägerin der teilweise und dem Beklagten der vollständige Kostenerlass gewährt. B.- Z._ appellierte gegen das Scheidungsurteil beim Appellationsgericht Basel-Stadt. Er stellte innert Frist weder Anträge noch reichte er eine Begründung ein. Mit Verfügung vom 19. Oktober 2001 wurde ihm eine erste Frist zur Leistung des Kostenvorschusses angesetzt, mit dem Hinweis auf die Säumnisfolgen. Am 25. Oktober 2001 stellte Z._ ein Gesuch um Kostenerlass. Das Appellationsgericht Basel-Stadt trat darauf mit Verfügung vom 26. Oktober 2001 nicht ein. C.- Z._ beantragt mit staatsrechtlicher Beschwerde, die Verfügung vom 26. Oktober 2001 aufzuheben und das Appellationsgericht anzuweisen, auf das Kostenerlassgesuch einzutreten. Das Appellationsgericht Basel-Stadt stellt in seiner Vernehmlassung keinen formellen Antrag. Mit Präsidialverfügung vom 10. Dezember 2001 ist der staatsrechtlichen Beschwerde aufschiebende Wirkung zuerkannt worden.