<ref-law> (unentgeltliche Rechtspflege), hat sich ergeben:
A.- Gemäss der Verfügung des Ehegerichtspräsidiums am Zivilgericht Basel-Stadt vom 12. Februar 1999 hat Z._ für die von ihm getrennt lebende Ehefrau und das gemeinsame Kind einen Unterhaltsbeitrag von monatlich insgesamt Fr. 1'250.-- zu bezahlen. Am 21. Dezember 1999 ersuchte er um Ansetzung einer Eheschutzverhandlung mit der Begründung, er habe seine bisherige Stelle verloren und sei per Ende September 1999 zu seiner Mutter nach Frankreich gezogen. Von der Arbeitslosenversicherung in Frankreich erhalte er noch rund Fr. 1'850.--, weshalb er die festgelegten Unterhaltsbeiträge nicht mehr zu bezahlen vermöge.
Mit Verfügung vom 26. Januar 2000 wurde das Herabsetzungsbegehren von Z._ durch die Ehegerichtspräsidentin abgewiesen.
B.- Hiegegen rekurrierte Z._ an die Kammer des Zivilgerichts, wobei er für das Rekursverfahren den Kostenerlass beantragte. Nach Eingang der Vernehmlassung der Ehegerichtspräsidentin setzte der Instruktionsrichter am 20. Juni 2000 Z._ Frist zur Leistung eines Kostenvorschusses von Fr. 500.-- an mit dem Bemerken, der Rekurs erscheine als aussichtslos.
Eine Beschwerde gegen diese Verfügung wies das Appellationsgericht (Ausschuss) des Kantons Basel-Stadt am 21. August 2000 ab.
C.- Z._ hat hiegegen am 10. November 2000 staatsrechtliche Beschwerde eingereicht mit dem Rechtsbegehren, das Urteil vom 21. August 2000 aufzuheben. Ausserdem ersucht er auch für das bundesgerichtliche Verfahren um Gewährung der unentgeltlichen Rechtspflege samt Verbeiständung.
In seiner Vernehmlassung vom 5. Dezember 2000 schliesst das Appellationsgericht auf Abweisung der Beschwerde.
D.- Der Präsident der erkennenden Abteilung hat der Beschwerde mit Verfügung vom 1. Dezember 2000 die aufschiebende Wirkung beigelegt.

Das Bundesgericht zieht in Erwägung:
1.- Jede Person, die nicht über die erforderlichen Mittel verfügt, hat nach <ref-law> Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Als aussichtslos sind nach der bundesgerichtlichen Praxis Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese.
Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde: Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 2c S. 306 mit Hinweisen).
2.- Der Beschwerdeführer macht zunächst geltend, das Appellationsgericht habe sich mit diesen Voraussetzungen der Gewährung der unentgeltlichen Rechtspflege nicht auseinandergesetzt.
Es habe retrospektiv entschieden und die Verfügung des zivilgerichtlichen Instruktionsrichters als zutreffend bezeichnet, dabei aber nicht abgeklärt, welche Aussichten das Begehren ursprünglich gehabt habe.
Die Rüge ist unbegründet: Der Rekurs, für den der Instruktionsrichter die Gewährung der unentgeltlichen Rechtspflege verweigert hat, ist materiell gar noch nicht beurteilt.
Sowohl der Instruktionsrichter des Zivilgerichts selbst (der denn für die Behandlung des Rekurses einen Kostenvorschuss einverlangte) wie auch das Appellationsgericht haben einzig geprüft, ob der Rekurs Aussicht auf Erfolg habe.
Beide Instanzen haben dies verneint. Von einer retrospektiven Beurteilung kann mithin nicht die Rede sein.
3.- a) Die Verfügung des Ehegerichtspräsidiums vom 12. Februar 1999, wonach der Beschwerdeführer für Ehefrau und Kind einen Unterhaltsbeitrag von insgesamt Fr. 1'250.-- im Monat zu bezahlen hat, beruht, wie dem damaligen Protokoll zu entnehmen ist, auf einem monatlichen Einkommen des Beschwerdeführers von Fr. 4'119. 25 (einschliesslich 13. Monatslohn und Kinderzulage) und einem solchen der Ehefrau von monatlich Fr. 2'625.-- (einschliesslich 13. Monatslohn). In der Eheaudienz vom 16. Februar 1999 deponierte die Ehefrau, dass sie netto Fr. 2'290. 45 (zuzüglich 13. Monatslohn) verdiene.
Dem Beschwerdeführer wurde im Juli 1999 die Arbeitsstelle gekündigt, ob aus eigenem Verschulden oder nicht, ist umstritten. Ende September 1999 kehrte er nach Frankreich zurück, wo er aufgewachsen ist. Er bezieht dort Arbeitslosenunterstützung in Höhe von Fr. 1'850.--. Zuvor war er während zehn Jahren in der Schweiz erwerbstätig, zunächst als Grenzgänger und seit Mitte 1996, nach der Heirat, mit Wohnsitz in Basel. Die Ehegerichtspräsidentin hat sein Begehren um Reduktion der Unterhaltsbeiträge abgewiesen, weil ihm ein hypothetisches Einkommen von jedenfalls Fr. 3'200.-- anzurechnen sei, das er aus der Arbeitslosenversicherung hätte erhalten können, wenn er in der Schweiz geblieben wäre. Zudem gebe es keine Belege, dass der Beschwerdeführer sich um Arbeit in der Schweiz bemüht hätte.
b) <ref-law> bestimmt, dass jeder Ehegatte nach seinen Kräften an den gebührenden Unterhalt der Familie beizutragen hat. Daraus ergibt sich, dass nicht in jedem Fall nur auf den tatsächlich erzielten Erwerb abgestellt werden kann, sondern gegebenenfalls ein hypothetisches höheres Einkommen zu berücksichtigen ist. Das rechtfertigt sich insbesondere dann, wenn eine Partei ihr Einkommen freiwillig vermindert hat. Nach <ref-law> verständigen sich die Ehegatten über ihre Beiträge an den Unterhalt. Eine Änderung der eigenen Lebensführung ohne das Einverständnis des Partners ist deshalb grundsätzlich unzulässig, wenn diesem dadurch ein höherer Beitrag an die Familie zugemutet wird. Indessen können die Interessen eines Ehegatten auch diesfalls eine Änderung rechtfertigen. Die Sanktion einer unzulässigen einseitigen Abänderung der eigenen Lebensführung besteht insbesondere darin, dass bei der Unterhaltsregelung der Änderung nicht Rechnung getragen wird und von der bisherigen höheren Leistungskraft ausgegangen wird, sofern diese auch wieder erreicht werden kann (<ref-ruling> E. 4a S. 316 f. mit Hinweisen).
aa) Ob der Beschwerdeführer aus eigenem Verschulden entlassen wurde oder nicht, kann dahingestellt bleiben. Er hat seine Leistungskraft auf jeden Fall dadurch erheblich vermindert, dass er seinen Wohnsitz von Basel nach Frankreich verlegt hat, wiewohl er in der Schweiz bedeutend höhere Arbeitslosengelder hätte beziehen können. Nach zehnjähriger Erwerbstätigkeit in der Schweiz kann sein Standpunkt, es dürfe ihm nicht verwehrt werden, in seine Heimat zurückzukehren, aus der Sicht des geltend gemachten Anspruchs auf unentgeltliche Rechtspflege kaum als aussichtsreich erscheinen. Mit seinem Entschluss mutet der Beschwerdeführer seiner Ehefrau hohe Lasten zu, die sich durch seinen Wunsch, in Frankreich Wohnsitz zu begründen, um so weniger rechtfertigen lassen, als er angesichts der kurzen Distanzen in keiner Weise von dem dort allenfalls vorhandenen Beziehungsnetz abgeschnitten wäre, wenn er, für die Dauer der Arbeitslosigkeit, den Wohnsitz in Basel beibehalten hätte. Hinzu kommt, dass der Beschwerdeführer auch wieder in der Schweiz hätte Arbeit suchen können. Er macht zwar geltend, dass er wegen Rückenproblemen, für die er ein Arztzeugnis vorlegt, die von ihm als schwer bezeichnete bisherige Tätigkeit als Chauffeur nicht mehr ausüben könne; er sei ursprünglich als Hilfsbuchhalter ausgebildet worden und könne in diesem Bereich - aus sprachlichen Gründen - nur in Frankreich eine Stelle finden. Sollte dies tatsächlich zutreffen, hätte er indessen auch unter Beibehaltung des Wohnsitzes in der Schweiz Arbeit in Frankreich suchen können.
bb) Eine Reduktion des Unterhaltsbeitrags ist nach Ansicht des Beschwerdeführers auch dann angezeigt, wenn mit der Ehegerichtspräsidentin von einem hypothetischen Einkommen aus Arbeitslosenversicherung von Fr. 3'200.-- ausgegangen wird:
Falls er einen Unterhaltsbeitrag von weiterhin Fr. 1'250.-- zahlen müsse, vermöge er bei einem Einkommen in der genannten Höhe nicht einmal mehr sein Existenzminimum zu decken. Der Beschwerdeführer übersieht, dass bei sehr knappen Verhältnissen nach der Rechtsprechung die Steuerlast des Rentenschuldners für die Notbedarfsberechnung unberücksichtigt zu bleiben hat (<ref-ruling> E. 1a/aa S. 356). Ohne Steuern beträgt das Existenzminimum des Beschwerdeführers nach seinen eigenen Angaben (siehe Protokoll des Eheverhörs vom 26. Januar 2000) Fr. 1'777.-- (Grundbetrag: Fr. 1'010.--, Miete: Fr. 600.--, Krankenkasse: Fr. 108.--, U-Abo: Fr. 59.--). Damit ergibt sich, dass er durchaus in der Lage wäre, einen Unterhaltsbeitrag von Fr. 1'250.-- zu tragen. Auch aus der Sicht der grundsätzlichen Unzulässigkeit eines Eingriffs in das Existenzminimum des Rentenschuldners durfte dem Rekurs die Aussicht auf Erfolg deshalb abgesprochen werden. Im Übrigen wäre dem Beschwerdeführer zuzumuten gewesen, zur Verbesserung seiner Einkommenssituation wenigstens einen Zwischenverdienst zu erzielen.
4.- Die staatsrechtliche Beschwerde ist nach dem Gesagten unbegründet und deshalb abzuweisen. Ebenfalls abzuweisen ist das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege und Ernennung eines unentgeltlichen Rechtsbeistandes, weil die Beschwerde unter den dargelegten Umständen von vornherein keine Aussicht auf Erfolg haben konnte (vgl. Art. 152 Abs. 1 OG). Angesichts der schwierigen finanziellen Verhältnisse des Beschwerdeführers ist von der Erhebung einer Gerichtsgebühr indessen abzusehen (Art. 153a Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.- Es wird keine Gerichtsgebühr erhoben.
4.- Dieses Urteil wird dem Beschwerdeführer und dem Appellationsgericht (Ausschuss) des Kantons Basel-Stadt schriftlich mitgeteilt.
_
Lausanne, 22. Dezember 2000
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: