wird festgestellt und in Erwägung gezogen:
1.- Mit Verfügung vom 30. April 2001 stellte der Bezirksgerichtsvizepräsident Plessur die beiden Kinder von B._ und A._ für die Dauer des hängigen Scheidungsverfahrens unter die Obhut der Mutter und verpflichtete den Vater ab 1. September 2000 zur Leistung eines monatlichen im Voraus zahlbaren Unterhaltsbeitrages an Frau und Kinder von insgesamt Fr. 1'300.--. Auf Beschwerde beider Parteien hin legte der Bezirksgerichtsausschuss Plessur mit Beiurteil vom 7. September 2001 den genannten Unterhaltsbeitrag auf Fr. 3'003.-- fest.
Hiergegen hat der Ehemann am 23. Januar 2002 staatsrechtliche Beschwerde an das Bundesgericht erhoben mit dem Antrag, das angefochtene Beiurteil aufzuheben. In ihrer Vernehmlassung vom 11. Februar 2002 beantragt die Beschwerdegegnerin, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Beide Parteien beantragen für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege und Verbeiständung. Das Bezirksgericht Plessur hat auf Vernehmlassung verzichtet.
Mit Verfügung vom 13. Februar 2002 hat der Präsident der II. Zivilabteilung der Beschwerde für die bis und mit Dezember 2001 geschuldeten Unterhaltsbeiträge die aufschiebende Wirkung gewährt, das Gesuch im Übrigen aber abgewiesen.
2.- Der Beschwerdeführer macht zunächst geltend, der Bezirksgerichtsausschuss hätte in zweiter Instanz neue Tatsachen und Beweismittel nach kantonalem Prozessrecht nicht berücksichtigen dürfen, woran auch die neue bundesrechtliche Bestimmung von <ref-law> nichts ändere, die sich nur auf das Hauptverfahren beziehe. Zu Recht hält die Beschwerdegegnerin dieser Rüge entgegen, dass der Beschwerdeführer im kantonalen Verfahren noch die gegenteilige Auffassung vertreten hat (Beschwerde vom 25. Mai 2001 an den Bezirksgerichtsausschuss Plessur, S. 3 oben). Demnach vertritt dieser den geschilderten Standpunkt vor Bundesgericht erstmalig und damit erfolglos, weil neue rechtliche Vorbringen bei Willkürbeschwerden grundsätzlich ausgeschlossen sind (<ref-ruling> E. 5a S. 26). Darüber hinaus ist dem Beschwerdeführer hier widersprüchliches Verhalten (venire contra factum proprium) anzulasten, das auch aus diesem Grund keinen Rechtsschutz verdienen kann.
Die Beschwerdegegnerin meint, auf die staatsrechtliche Beschwerde sei auch im Übrigen nicht einzutreten, weil sie ungenügend substantiiert sei. Gemäss Art. 90 Abs. 1 lit. b OG muss der Beschwerdeführer nicht nur darlegen, welche verfassungsmässigen Rechte bzw. welche Rechtssätze missachtet, sondern auch inwiefern sie verletzt worden sind; dies schliesst appellatorische Kritik aus, wie sie allenfalls im Rahmen eines Berufungsverfahrens vorgebracht werden kann (<ref-ruling> E. 1b S. 495; <ref-ruling> E. 4b S. 11 f.). Der Vorwurf der ungenügenden Substantiierung der staatsrechtlichen Beschwerde mag in einzelnen Punkten zutreffen, nicht aber im hier ausschlaggebenden Bereich.
3.- Hauptsächlich rügt der Beschwerdeführer, der Bezirksgerichtsausschuss habe seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt, indem dieser von sich aus beim Bündner Bauernverband Abklärungen über die Lohnverhältnisse in der Landwirtschaft getroffen habe. Zu den gewonnenen Erkenntnissen und der darauf basierenden Ermittlung des ihm angerechneten hypothetischen Einkommens habe er sich nicht äussern können. Diese Rügen sind hinreichend begründet, und es ist auf die Beschwerde insoweit einzutreten.
a) Der verfassungsrechtliche Anspruch auf rechtliches Gehör (<ref-law>) umfasst die Rechte der Parteien auf Teilnahme am Verfahren und auf Einflussnahme auf den Prozess der Entscheidfindung. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zur Sache zu äussern und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2b; <ref-ruling> E. 4a; <ref-ruling> E. 3b; je mit Hinweisen).
b) Der Bezirksgerichtsausschuss hält fest, der Vizepräsident sei gestützt auf einen Lohnausweis von einem Monatseinkommen von Fr. 3'310.-- (zuzüglich Kinderzulagen) ausgegangen, das der Beschwerdeführer auf dem Bauernhof seiner Eltern erziele. Nach den Richtlöhnen des Bündner Bauernverbandes betrage der Bruttolohn (inkl. Verpflegung und Unterkunft) von Betriebsangestellten mit abgeschlossener Meisterprüfung je nach Verantwortung und Berufserfahrung zwischen Fr. 3'500.-- und Fr. 4'000.--. Beim Beschwerdeführer sei unter Berücksichtigung seiner langjährigen Berufserfahrung und seiner grossen Verantwortung von Fr. 4'000.-- brutto (inkl. Verpflegung und Unterkunft) auszugehen. Es sei ihm deshalb ein hypothetisches Bruttoeinkommen in dieser Höhe anzurechnen, was nach Abzug der Sozialbeiträge Fr. 3'738.-- im Monat ergebe; hinzu kämen Naturalleistungen in Form von freier Unterkunft und Verpflegung.
c) Die Richtlöhne des Bündner Bauernverbandes, auf die sich der Bezirksgerichtsausschuss bezieht, sind nicht aktenkundig. In der staatsrechtlichen Beschwerde wird dazu ausgeführt, eine Rückfrage des Anwalts des Beschwerdeführers beim Aktuar des Bezirksgerichtsausschusses habe ergeben, dass es sich diesbezüglich um eine mündlich eingeholte Information handle; publiziert seien diese Richtlöhne aber nicht.
Da der Bezirksgerichtsausschuss sich im bundesgerichtlichen Verfahren nicht äussert und die Beschwerdegegnerin nur einwendet, solche Erkundigungen seien nicht als Beweiserhebung zu werten, ist anzunehmen, dass der Bezirksgerichtsausschuss tatsächlich mündlich Auskünfte beim Bündner Bauernverband eingeholt hat, ohne den Parteien davon Kenntnis gegeben zu haben. Darin liegt eine Verletzung des verfassungsrechtlichen Gehörsanspruchs, haben die Parteien doch das Recht, sich zum Beweisergebnis zu äussern, sofern dieses für den Entscheid bedeutsam ist, was hier zutrifft. Denn der Bezirksgerichtsausschuss hat ausschliesslich auf der Basis der erhaltenen Auskünfte die Höhe des Einkommens bestimmt, das der Beschwerdeführer erzielen müsste.
Dass es sich bei den Richtlöhnen des Bündner Bauernverbandes um allgemein bekannte oder gerichtsnotorische Tatsachen handelt, wie die Beschwerdegegnerin meint, trifft nicht zu. Als notorisch können allgemein zugängliche Tatsachen zwar auch dann gelten, wenn das Gericht sie ermitteln muss (<ref-ruling> E. 4c/bb S. 7 f.). Doch handelt es sich hier um mündliche Auskünfte, welche mangels Publikation nicht frei zugänglich sind. Hinzu kommt, dass unklar bleibt, welche Auskunft der Bündner Bauernverband überhaupt gegeben hat.
Denn einmal soll nach den Ausführungen im Beiurteil der Bruttolohn von Fr. 3'500.-- bis Fr. 4'000.-- inkl. Verpflegung und Unterkunft zu verstehen sein, ein andermal zuzüglich Verpflegung und Unterkunft (E. 4f S. 10 ab Mitte). Welche Auskunft dem Aktuar des Bezirksgerichtsausschusses tatsächlich gegeben worden ist, bleibt deshalb unklar.
d) Da demnach das angefochtene Beiurteil wegen Gehörsverweigerung aufgehoben werden muss, sind die weiteren Rügen des Beschwerdeführers nicht mehr zu prüfen.
4.- Beide Parteien haben für das Verfahren vor Bundesgericht um unentgeltliche Rechtspflege nachgesucht. Das Gesuch des Beschwerdeführers ist insoweit gegenstandslos geworden, als er obsiegt und somit keine Gerichtsgebühr zu tragen hat (vgl. Art. 156 Abs. 1 OG). Bei beiden Parteien ist die Bedürftigkeit offenkundig und der Anspruch auf unentgeltliche Rechtspflege auch sonst zu bejahen (vgl. Art. 152 Abs. 1 OG).
Da eine Parteientschädigung, zu deren Leistung die unterliegende Beschwerdegegnerin gemäss Art. 159 Abs. 2 OG an sich zu verpflichten wäre, angesichts ihrer prekären wirtschaftlichen Verhältnisse als von vornherein uneinbringlich betrachtet werden muss, ist auch der Anwalt des Beschwerdeführers sogleich aus der Bundesgerichtskasse zu entschädigen. Die den amtlichen Rechtsvertretern zu entrichtenden Honorare werden entsprechend Art. 9 des Tarifs für die Entschädigung an die Gegenpartei für das Verfahren vor dem Bundesgericht vom 9. November 1978 (SR 173. 119.1) gekürzt.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und das Beiurteil des Bezirksgerichtsausschusses Plessur vom 7. September 2001 wird aufgehoben.
2.- a) Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihm Rechtsanwalt Wilfried Caviezel, Chur, als amtlicher Rechtsbeistand bestellt.
b) Das Gesuch der Beschwerdegegnerin um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihr Rechtsanwalt Dr. Markus Neff, St. Gallen, als amtlicher Rechtsbeistand bestellt.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird der Beschwerdegegnerin auferlegt, einstweilen jedoch auf die Bundesgerichtskasse genommen.
4.- Den in Ziff. 2 erwähnten Rechtsvertretern wird aus der Bundesgerichtskasse je ein Honorar von Fr. 1'500.-- ausgerichtet.
5.- Dieses Urteil wird den Parteien und dem Bezirksgerichtsausschuss Plessur schriftlich mitgeteilt.
_
Lausanne, 21. März 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: