Art. 29 BV (unentgeltliche Rechtspflege), hat sich ergeben: A.- Gemäss der Verfügung des Ehegerichtspräsidiums am Zivilgericht Basel-Stadt vom 12. Februar 1999 hat Z._ für die von ihm getrennt lebende Ehefrau und das gemeinsame Kind einen Unterhaltsbeitrag von monatlich insgesamt Fr. 1'250.-- zu bezahlen. Am 21. Dezember 1999 ersuchte er um Ansetzung einer Eheschutzverhandlung mit der Begründung, er habe seine bisherige Stelle verloren und sei per Ende September 1999 zu seiner Mutter nach Frankreich gezogen. Von der Arbeitslosenversicherung in Frankreich erhalte er noch rund Fr. 1'850.--, weshalb er die festgelegten Unterhaltsbeiträge nicht mehr zu bezahlen vermöge. Mit Verfügung vom 26. Januar 2000 wurde das Herabsetzungsbegehren von Z._ durch die Ehegerichtspräsidentin abgewiesen. B.- Hiegegen rekurrierte Z._ an die Kammer des Zivilgerichts, wobei er für das Rekursverfahren den Kostenerlass beantragte. Nach Eingang der Vernehmlassung der Ehegerichtspräsidentin setzte der Instruktionsrichter am 20. Juni 2000 Z._ Frist zur Leistung eines Kostenvorschusses von Fr. 500.-- an mit dem Bemerken, der Rekurs erscheine als aussichtslos. Eine Beschwerde gegen diese Verfügung wies das Appellationsgericht (Ausschuss) des Kantons Basel-Stadt am 21. August 2000 ab. C.- Z._ hat hiegegen am 10. November 2000 staatsrechtliche Beschwerde eingereicht mit dem Rechtsbegehren, das Urteil vom 21. August 2000 aufzuheben. Ausserdem ersucht er auch für das bundesgerichtliche Verfahren um Gewährung der unentgeltlichen Rechtspflege samt Verbeiständung. In seiner Vernehmlassung vom 5. Dezember 2000 schliesst das Appellationsgericht auf Abweisung der Beschwerde. D.- Der Präsident der erkennenden Abteilung hat der Beschwerde mit Verfügung vom 1. Dezember 2000 die aufschiebende Wirkung beigelegt.