im Scheidungsprozess), hat sich ergeben:
A.- Die Parteien heirateten 1985. Aus der Ehe sind vier Kinder (geb. zwischen 1986 und 1991) hervorgegangen. Am 18. November 1998 reichte F.B._ die Ehescheidungsklage ein, und am 20. November 1998 stellte sie beim Bezirksgerichtspräsidenten Unterlandquart ein Gesuch um Erlass vorsorglicher Massnahmen, welchem mit Verfügung vom 3. Februar 2000 entsprochen wurde. Die Kinder wurden unter die Obhut von F.B._ gestellt und G.B._ wurde verpflichtet, für die Kinder ab 1. Februar 2000 je Fr. 500.-- pro Monat als Unterhaltsbeitrag zu bezahlen. Mit Beiurteil vom 3. Mai 2000 wies der Bezirksgerichtsausschuss Unterlandquart eine diesbezügliche Beschwerde von G.B._ ab.
Dieser erhob dagegen staatsrechtliche Beschwerde, welche von der II. Zivilabteilung des Bundesgerichts mit Urteil vom 19. Oktober 2000 wegen Verletzung von Art. 144 in Verbindung mit <ref-law> (Anhörungsrecht der Kinder auch im Verfahren betreffend vorsorgliche Massnahmen) gutgeheissen wurde (<ref-ruling> ff.).
B.- In der Folge führte der Bezirksgerichtspräsident Landquart die Anhörung der vier Kinder durch. Mit Urteil vom 11. Juli/17. August 2001 des Bezirksgerichtsausschusses Landquart bestätigte dieser den Entscheid des Bezirksgerichtspräsidenten vom 3. Februar 2000 vollumfänglich.
C.- Gegen das Urteil des Bezirksgerichtsausschusses Landquart vom 17. August 2001 hat G.B._ staatsrechtliche Beschwerde eingereicht, mit welcher gestützt auf <ref-law> die Aufhebung des angefochtenen Urteils beantragt wird.
D.- F.B._ beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Gleichzeitig stellt sie ein Gesuch um Gewährung der unentgeltlichen Rechtspflege.

Das Bundesgericht zieht in Erwägung:
1.- Entscheide über vorsorgliche Massnahmen im Scheidungsverfahren sind mit staatsrechtlicher Beschwerde beim Bundesgericht anfechtbar (<ref-ruling> I E. 1). Da gegen den angefochtenen Entscheid kein kantonales Rechtsmittel zulässig ist, ist auf die Beschwerde einzutreten (Art. 86 Abs. 1 OG).
2.- Der Beschwerdeführer weist vorab daraufhin, dass sich seine zweite staatsrechtliche Beschwerde nicht mehr gegen eine Unterstellung der Kinder unter die Obhut der Beschwerdegegnerin richte; er nehme das Ergebnis der Befragung der Kinder zur Kenntnis und respektiere es.
3.- a) Indessen rügt der Beschwerdeführer die Festsetzung der Unterhaltsbeiträge für seine Kinder ab 1. Februar 2000 als willkürlich, und zwar insbesondere deswegen, weil nicht vom tatsächlich erzielten Einkommen der Parteien (Fr. 2'171.-- pro Monat beim Beschwerdeführer, Fr. 4'100.-- pro Monat bei der Beschwerdegegnerin) bzw. von ihrer seinerzeit vorgenommenen Rollenverteilung (Betreiben der Landwirtschaft sowie Kinderbetreuung durch den Beschwerdeführer, auswärtige volle Erwerbstätigkeit der Beschwerdegegnerin) ausgegangen worden sei. Auf ein hypothetisches Einkommen abzustellen, wie das im angefochtenen Urteil getan werde, sei nur gerechtfertigt, wenn eine Partei ihr Erwerbseinkommen freiwillig vermindert habe. Erst die 2 1/2 Jahre nach erfolgter Trennung der Parteien durchgeführte Kinderbefragung habe nun ergeben, dass die Zuteilung der Kinder eine andere sein werde als erwähnt, weshalb der Beschwerdeführer auf die Zuteilung der Kinder an sich selbst verzichtet habe und gewillt sei, seine Landwirtschaft aufzugeben und sich nach einer 100%igen Erwerbsmöglichkeit umzusehen; das könne er frühestens per Anfang Dezember 2001 tun, weil er andernfalls der Direktzahlungen für das Jahr 2001 verlustig ginge.
b) Im angefochtenen Urteil verweist der Bezirksgerichtsausschuss in vorliegendem Zusammenhang auf das Beiurteil vom 3. Mai 2000. Da sich aufgrund der inzwischen erfolgten Anhörung der Kinder nichts an der Obhutszuteilung derselben geändert habe, könne auch die seinerzeitige Begründung in Bezug auf die Unterhaltsregelung übernommen werden. Insbesondere sei daran festzuhalten, dass der Beschwerdeführer ohne weiteres in der Lage wäre, allermindestens ein Gesamteinkommen von Fr. 4'662.-- zu erzielen.
Gemäss <ref-law> hat jeder Ehegatte nach seinen Kräften an den gebührenden Unterhalt der Familie beizutragen.
Daraus ergibt sich gemäss bundesgerichtlicher Praxis, dass nicht in jedem Fall auf den tatsächlich erzielten Erwerb abgestellt werden kann, sondern gegebenenfalls ein hypothetisches höheres Einkommen zu berücksichtigen ist.
Voraussetzung ist allerdings, dass eine entsprechende Einkommenssteigerung möglich und zumutbar ist; wo die reale Möglichkeit einer Einkommenssteigerung fehlt, muss eine solche jedoch ausser Betracht fallen (<ref-ruling> E. 4; zur Publikation bestimmtes Urteil der II. Zivilabteilung vom 14. Dezember 2001 [5P. 347/2001] E. 3 und 4, mit Hinweisen).
Im Lichte dieser Praxis ist der Entscheid des Bezirksgerichtsausschusses willkürlich, rückwirkend von einem höheren hypothetischen Einkommen des Beschwerdeführers auszugehen, denn offensichtlich fehlt es an einer realen Möglichkeit der rückwirkenden Einkommenssteigerung seitens des Beschwerdeführers.
Die Beschwerdegegnerin äussert sich zur Frage der Rückwirkung in ihrer Beschwerdeantwort nicht. Ob allenfalls bei unredlichem Verhalten die Verpflichtung zu einer Nachzahlung infrage käme, kann vorliegend offen bleiben, weil ein solches Verhalten nicht indiziert ist; bis zur Anhörung der Kinder durfte der Beschwerdeführer tatsächlich mit der Möglichkeit einer Unterstellung unter seine Obhut rechnen, in welchem Falle er keine Unterhaltsbeiträge für sie zu entrichten gehabt hätte.
c) Mithin ist das Urteil des Bezirksgerichtsausschusses aufzuheben. Dieser hat die während der Dauer des Scheidungsprozesses vom Beschwerdeführer für seine Kinder zu bezahlenden Unterhaltsbeiträge zeitlich (Beginn) und quantitativ so festzulegen, dass sie den realen Einkommensverhältnissen des Beschwerdeführers bzw. dessen realen Steigerungsmöglichkeiten entsprechen.
4.- Die weiteren Rügen des Beschwerdeführers (willkürlicher Eingriff in sein Existenzminimum und willkürliche Verletzung des Grundsatzes der Gleichbehandlung der Eheleute) sind unter diesen Umständen nicht zu prüfen.
5.- Bei diesem Ausgang des Verfahrens wird die Beschwerdegegnerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 1 und 2 OG). Da indessen ihr Gesuch um Gewährung der unentgeltlichen Rechtspflege als ausgewiesen erscheint, fällt die Gerichtsgebühr ausser Ansatz; ihrem Rechtsvertreter ist ein angemessenes Honorar aus der Bundesgerichtskasse auszurichten (Art. 152 OG). Als Beschwerdegegnerin kann ihr die Aussichtslosigkeit des gestellten Rechtsbegehrens nicht entgegengehalten werden, zu dessen Erhebung und Begründung sie fraglos auf anwaltliche Hilfestellung angewiesen gewesen ist (Geiser, Grundlagen, in: Prozessieren vor Bundesgericht, 2. Auflage Basel 1998, N. 1.42 S. 21 f.
und S. 23). Die Gewährung der unentgeltlichen Rechtspflege befreit nicht von der Bezahlung der Entschädigung an die Gegenpartei (<ref-ruling> E. 2c S. 324/325; Geiser, a.a.O., N. 1.41 S. 20).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen und das Urteil des Bezirksgerichtsausschusses Landquart vom 11. Juli 2001 aufgehoben.
2.- Das Gesuch der Beschwerdegegnerin um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und ihr wird für das bundesgerichtliche Verfahren Rechtsanwalt Markus Janett, Landquart, als unentgeltlicher Rechtsbeistand bestellt.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird der Beschwerdegegnerin auferlegt, einstweilen jedoch auf die Bundesgerichtskasse genommen.
4.- Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
5.- Rechtsanwalt Markus Janett, Landquart, wird aus der Bundesgerichtskasse ein Honorar von Fr. 2'000.-- ausgerichtet.
6.- Dieses Urteil wird den Parteien und dem Bezirksgerichtsausschuss Landquart schriftlich mitgeteilt.
_
Lausanne, 18. Februar 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: