im Scheidungsprozess), hat sich ergeben: A.- Die Parteien heirateten 1985. Aus der Ehe sind vier Kinder (geb. zwischen 1986 und 1991) hervorgegangen. Am 18. November 1998 reichte F.B._ die Ehescheidungsklage ein, und am 20. November 1998 stellte sie beim Bezirksgerichtspräsidenten Unterlandquart ein Gesuch um Erlass vorsorglicher Massnahmen, welchem mit Verfügung vom 3. Februar 2000 entsprochen wurde. Die Kinder wurden unter die Obhut von F.B._ gestellt und G.B._ wurde verpflichtet, für die Kinder ab 1. Februar 2000 je Fr. 500.-- pro Monat als Unterhaltsbeitrag zu bezahlen. Mit Beiurteil vom 3. Mai 2000 wies der Bezirksgerichtsausschuss Unterlandquart eine diesbezügliche Beschwerde von G.B._ ab. Dieser erhob dagegen staatsrechtliche Beschwerde, welche von der II. Zivilabteilung des Bundesgerichts mit Urteil vom 19. Oktober 2000 wegen Verletzung von Art. 144 in Verbindung mit Art. 137 ZGB (Anhörungsrecht der Kinder auch im Verfahren betreffend vorsorgliche Massnahmen) gutgeheissen wurde (BGE 126 III 497 ff.). B.- In der Folge führte der Bezirksgerichtspräsident Landquart die Anhörung der vier Kinder durch. Mit Urteil vom 11. Juli/17. August 2001 des Bezirksgerichtsausschusses Landquart bestätigte dieser den Entscheid des Bezirksgerichtspräsidenten vom 3. Februar 2000 vollumfänglich. C.- Gegen das Urteil des Bezirksgerichtsausschusses Landquart vom 17. August 2001 hat G.B._ staatsrechtliche Beschwerde eingereicht, mit welcher gestützt auf Art. 9 BV die Aufhebung des angefochtenen Urteils beantragt wird. D.- F.B._ beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Gleichzeitig stellt sie ein Gesuch um Gewährung der unentgeltlichen Rechtspflege.