wird festgestellt und in Erwägung gezogen:
1.- Mit Verfügung vom 30. August 1996 verpflichtete der Eheschutzrichter des Kantonsgerichtes Schaffhausen F.V._, seiner Ehefrau G.V._ einen monatlichen Unterhaltsbeitrag in Höhe von Fr. 1'200.-- und für jedes der drei gemeinsamen Kinder einen monatlichen Beitrag in Höhe von Fr. 600.-- inklusive Kinderzulagen zu bezahlen. Am 3. Mai 1999 wurde die Ehe der Parteien geschieden. F.V._ lebt heute mit einer anderen Frau zusammen; dieser Verbindung sind zwei Töchter entsprossen (geb. 1997 und 1999).
F.V._ focht das Scheidungsurteil des Kantonsgerichtes Schaffhausen hinsichtlich der Scheidungsfolgen mit kantonaler Berufung an und ersuchte im Juni 1999 um den Erlass vorsorglicher Massnahmen. Darin beantragte er, den von ihm ab 1. Juli 1999 zu leistenden Gesamtunterhaltsbeitrag auf Fr. 1'800.-- herabzusetzen. Mit Entscheid vom 26. November 1999 reduzierte das Obergericht des Kantons Schaffhausen den für die Dauer des Berufungsverfahrens zugunsten von G.V._ monatlich zu leistenden Unterhaltsbeitrag auf Fr. 1'000.--, denjenigen zugunsten jeden Kindes auf Fr. 550.-- inklusive Kinderzulagen. Auf staatsrechtliche Beschwerde von F.V._ hin hob das Bundesgericht mit Urteil vom 10. April 2000 den Entscheid des Obergerichts des Kantons Schaffhausen auf (5P. 26/2000).
In der Folge setzte das Obergericht des Kantons Schaffhausen mit Beschluss vom 16. März 2001 die von F.V._ zu leistenden Unterhaltsbeiträge für den Zeitraum vom 1. Juli 1999 bis zum 30. Juni 2000 auf Fr. 300.-- zugunsten von G.V._ sowie für jedes Kind auf Fr. 500.-- inklusive Kinderzulagen fest. Für die Periode vom 1. Juli 2000 bis zum 28. Februar 2001 belaufen sich die geschuldeten Unterhaltsbeiträge auf Fr. 753.-- für die Mutter und auf Fr. 600.-- inklusive Kinderzulagen für jedes Kind; ab
1. März 2001 schliesslich hat F.V._ seiner ehemaligen Frau einen monatlichen Unterhaltsbeitrag von Fr. 618.-- und jedem Kind aus erster Ehe Fr. 600.-- inklusive Kinderzulagen zu bezahlen.
F.V._ führt gegen den obergerichtlichen Beschluss staatsrechtliche Beschwerde. Er beantragt dem Bundesgericht, den angefochtenen Entscheid aufzuheben, soweit er sich auf die seit dem 1. Juli 2000 geschuldeten Unterhaltsbeiträge bezieht, und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Sein Gesuch um Erlass einer vorsorglichen Verfügung ist vom Präsidenten der II. Zivilabteilung mit Verfügung vom 2. Mai 2001 abgewiesen worden. Beide Parteien ersuchen für das bundesgerichtliche Verfahren um Gewährung der unentgeltlichen Rechtspflege. Während die Vorinstanz auf Gegenbemerkungen verzichtet hat, schliesst G.V._ auf Abweisung der Beschwerde.
2.- a) Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, inwieweit auf eine staatsrechtliche Beschwerde eingetreten werden kann (<ref-ruling> E. 1 S. 93; <ref-ruling> E. 2a S. 42 mit Hinweisen).
b) Zulässig, aber überflüssig ist der Antrag auf Rückweisung der Sache zu neuer Entscheidung, zumal die kantonale Instanz im Falle der Aufhebung des vorinstanzlichen Entscheides auch ohne ihn den Weisungen des bundesgerichtlichen Entscheides gemäss neu über die Sache zu befinden hat (<ref-ruling> E. 3c/bb S. 354; <ref-ruling> E. 3c S. 126; <ref-ruling> E. 2 S. 251).
c) Soweit der Beschwerdeführer auf seine Ausführungen im kantonalen Verfahren verweist, ist auf die Beschwerde nicht einzutreten. Der Beschwerdeführer übersieht, dass die Begründung der staatsrechtlichen Beschwerde in der Beschwerdeschrift selbst enthalten sein muss und Verweise auf Akten des kantonalen Verfahrens dem Begründungserfordernis nicht genügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 4a S. 30; Entscheid des Bundesgerichtes vom 14. März 2001 i.S. A., E. 1b/aa [2P. 243/2000]).
3.- a) Der Beschwerdeführer rügt, die Vorinstanz habe den ihm zustehenden Notbedarf, in den nicht eingegriffen werden dürfe, in willkürlicher Weise zu tief bemessen. Zur Bestimmung des Notbedarfs sei auf die Richtlinien für die Berechnung des betreibungsrechtlichen Existenzminimums abzustellen.
Demgemäss sei vom 1. Juli 2000 bis zum 28. Februar 2001 der monatliche Grundbetrag für zwei erwachsene Personen in Höhe von Fr. 1'350.-- und ab dem 1. März 2001 der aufgrund der revidierten Richtlinien höhere Grundbetrag für zwei eine Haushaltsgemeinschaft bildende Personen in Höhe von Fr. 1'550.-- in seinen Grundbedarf einzusetzen.
Das Obergericht hat erwogen, der Beschwerdeführer lebe seit dem 1. Juli 2000 mit seiner neuen Lebenspartnerin und den beiden gemeinsamen Töchtern zusammen. Seit diesem Zeitpunkt erziele er ein Einkommen in Höhe von Fr. 5'153.--.
Bei Ermittlung des Grundbedarfs des Beschwerdeführers hat es nicht den ganzen Grundbetrag gemäss Richtlinien der Konferenz der Betreibungs- und Konkursbeamten der Schweiz für zwei in einem Haushalt lebende erwachsene Personen berücksichtigt, sondern jeweils nur die Hälfte dieses Grundbetrages. Die Vorinstanz hat die hälftige Kürzung des Grundbetrages mit dem "ökonomischen Synergieeffekt einer Haushaltsgemeinschaft" begründet.
b) Wohl stellen die von der Konferenz der Betreibungs- und Konkursbeamten der Schweiz erarbeiteten Richtlinien für die Berechnung des betreibungsrechtlichen Existenzminimums gemäss <ref-law> kein objektives Recht dar, indessen ist in Rechtsprechung und Lehre anerkannt, dass sie im Regelfall im Interesse einer einheitlichen Rechtsanwendung zur Ermittlung des familienrechtlichen Grundbedarfes heranzuziehen sind (vgl. <ref-ruling> E. 4b S. 394 f.; <ref-ruling> E. 1c S. 51; <ref-ruling> E. 1a/bb S. 357 mit Hinweisen; statt vieler: Hausheer/Spycher, in: Handbuch des Unterhaltsrechts, Bern 1997, N. 02.28). Namentlich wird das betreibungsrechtliche Existenzminimum, das dem Unterhaltsschuldner bei engen finanziellen Verhältnissen zu belassen ist (zuletzt: <ref-ruling> E. 2c S. 70 mit Hinweisen), nach Massgabe der erwähnten Richtlinien errechnet.
c) Im Lichte dieser Grundsätze hält der obergerichtliche Entscheid dem Vorwurf der Willkür nicht stand. Es ist zwar zutreffend, dass die Tatsache des Zusammenwohnens zweier erwachsener Personen an sich geeignet ist, kostensenkend zu wirken. Im vorliegenden Fall lässt sich hieraus jedoch nicht der Schluss ziehen, der Beschwerdeführer weise aufgrund der blossen Tatsache des Zusammenwohnens tatsächlich einen geringeren Grundbedarf auf. Das Obergericht hat nicht festgestellt - und hierauf kommt es entscheidend an -, die Lebenspartnerin des Beschwerdeführers und zugleich Mutter von zwei Kleinkindern würde selbst über ein Einkommen verfügen bzw. es wäre ihr zuzumuten, einer Erwerbstätigkeit nachzugehen und dadurch an die Deckung der Kosten des gemeinsamen Haushaltes beizutragen.
Indem die Vorinstanz dennoch davon abgesehen hat, den für zwei erwachsene Personen vorgesehenen Grundbetrag ungekürzt in die Bedarfsrechnung des Beschwerdeführers einzusetzen, hat sie seine finanzielle Leistungsfähigkeit in klarem Widerspruch zur tatsächlichen Situation beurteilt und ist damit in Willkür verfallen (<ref-law>; zum Willkürbegriff:
BGE 126 I 168 E. 3a S. 170; <ref-ruling> E. 2b S. 56).
Überdies leidet der vorinstanzliche Entscheid schon deshalb an einem unauflösbaren Widerspruch, weil dem Beschwerdeführer für den Zeitraum vor dem 1. Juli 2000, in dem er alleine lebte, ein höherer Grundbetrag gewährt wird (nämlich Fr. 1'010.--) als für den Zeitraum danach (Fr. 675.-- bzw. 775.--). Die schlichte Tatsache, dass er seit dem 1. Juli 2000 in einer nichtehelichen Lebensgemeinschaft lebt, berechtigt aber nicht dazu, ihm bloss deshalb einen nunmehr tieferen Grundbetrag zuzusprechen.
Immerhin lässt sich fragen, ob es richtig ist, dem Beschwerdeführer den Grundbetrag für zwei eine Hausgemeinschaft bildende erwachsene Personen anstelle des für einen alleinstehenden Schuldner vorgesehenen Grundbetrages zuzubilligen.
Der Beschwerdeführer, der mit seiner Lebenspartnerin nicht verheiratet ist, mag allenfalls sittlich, nicht aber unbedingt rechtlich verpflichtet sein, für ihren Lebensunterhalt aufzukommen (vgl. <ref-ruling> E. 3-4 S. 206 ff.; Werro, Concubinage, mariage et démariage, Bern 2000, N. 129 f.). Zur Bestimmung des zutreffenden Grundbetrages ist indes die tatsächliche Lebens- und Wohnsituation des Beschwerdeführers massgebend, es sei denn, es wäre ihm zuzumuten, die anfallenden Kosten tiefer zu halten. Darüber finden sich im angefochtenen Entscheid jedoch keine Feststellungen.
4.- a) Die Beschwerdegegnerin trägt in ihrer Beschwerdeantwort eine Reihe von Einwendungen vor, mit denen sinngemäss bedeutet werden soll, der angefochtene Entscheid sei jedenfalls im Ergebnis nicht willkürlich.
Einer Beschwerdegegnerin ist es unbenommen, sich im von der Gegenpartei angehobenen Beschwerdeverfahren gegen unrichtige Feststellungen und Folgerungen der kantonalen Instanz zu wehren (<ref-ruling> E. 4a S. 29 f.; <ref-ruling> E. 2a S. 57). Sie darf in ihrer Beschwerdeantwort auch eigene Rügen erheben, soweit diese darlegen sollen, dass trotz der Stichhaltigkeit der vom Beschwerdeführer vorgetragenen Rügen und in Abweichung von den im angefochtenen Entscheid getroffenen Feststellungen und der darin vorgenommenen Rechtsanwendung der Entscheid im Ergebnis richtig ist (<ref-ruling> E. 6c S. 255 mit Hinweisen).
b) Die Beschwerdegegnerin versucht die von der Vorinstanz vorgenommene Zusprechung des bloss hälftigen Grundbetrages an den Beschwerdeführer damit zu rechtfertigen, es würden ihm die gesamten Wohnkosten in Höhe von Fr. 1'150.-- angerechnet, ohne dass seine Lebenspartnerin sich hieran zu beteiligen habe. Die Beschwerdegegnerin macht aber in diesem Zusammenhang nicht geltend, der Beschwerdeführer hätte tiefere Wohnkosten zu tragen, wenn er alleine oder nur mit seinen beiden jüngsten Töchtern zusammenlebte. Ihr Einwand erweist sich deshalb als unbehelflich.
Die Beschwerdegegnerin möchte den Beschwerdeführer bei seiner Aussage behaftet haben, seine Lebenspartnerin erhielte eine Erwerbsausfallentschädigung von Fr. 2'000.--, würde sie wieder getrennt von ihm leben. Darauf ist nicht einzugehen, finden sich doch hierzu im angefochtenen Entscheid keine Feststellungen. Die Beschwerdegegnerin legt auch nicht dar, inwieweit sich durch ein Getrenntleben die wirtschaftlichen Verhältnisse des Beschwerdeführers verbessern würden, so dass sich ihr Einwand als nicht genügend substantiiert erweist.
c) Die Beschwerdegegnerin beanstandet sodann, dass die Vorinstanz ohne weiteres angenommen hat, ihr werde zur Bestreitung der Krankenkassenbeiträge eine Prämienverbilligung gewährt. Dies stehe jedoch keineswegs mit Sicherheit fest. Ausserdem erblickt sie im Umstand, dass die Vorinstanz die Krankenkassenkosten der Grundversicherung in vollem Umfang im Grundbedarf des Beschwerdeführers eingesetzt hat, eine Ungleichbehandlung. Auch dem Beschwerdeführer sei anheimgestellt, in den Genuss einer Prämienverbilligung zu gelangen.
Tatsächlich hat das Obergericht im Grundbedarf der Beschwerdegegnerin keine Krankenkassenkosten berücksichtigt, weil sie im Umfang der Grundversicherung eine Prämiensubvention erhalte. Hingegen hat es die Krankenkassenkosten der Grundversicherung im Grundbedarf des Beschwerdeführers eingesetzt.
Dies ist nicht zu beanstanden und stellt keine Ungleichbehandlung dar. Weder ergibt sich aus dem angefochtenen Entscheid, dass der Beschwerdeführer ebenfalls eine Prämienverbilligung hätte erlangen können, wie dies die Beschwerdeführerin geltend macht, noch verweist die Beschwerdegegnerin auf Aktenstellen, die ihre Behauptung stützen würden. Unter diesen Umständen stösst die Rüge der Ungleichbehandlung ins Leere.
d) Schliesslich bezeichnet die Beschwerdegegnerin als fraglich, dass die Steuern zu 100% im Notbedarf des der Quellenbesteuerung unterliegenden Beschwerdeführers eingesetzt würden, während ihr Notbedarf nicht gedeckt sei.
Damit vermag die Beschwerdegegnerin Willkür nicht darzutun, zumal der Beschwerdeführer infolge der Quellenbesteuerung über den der Steuerbehörde geschuldeten Betrag gerade nicht verfügt und die Steuerbelastung in der Bedarfsrechnung der Beschwerdegegnerin ebenfalls berücksichtigt worden ist.
5.- Zusammenfassend ergibt sich, dass die staatsrechtliche Beschwerde gutzuheissen ist, soweit darauf eingetreten werden kann, und der angefochtene Entscheid aufzuheben ist.
Diesem Verfahrensausgang entsprechend ist die Gerichtsgebühr der Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 OG); zudem hat sie den obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG). Beide Parteien haben für das bundesgerichtliche Verfahren um Gewährung der unentgeltlichen Rechtspflege ersucht und ihre Bedürftigkeit dargetan (Art. 152 Abs. 1 OG). Demgemäss ist beiden Parteien, deren Anträge nicht von vornherein als aussichtslos erschienen, die unentgeltliche Rechtspflege zu gewähren und ihnen ein unentgeltlicher Rechtsbeistand beizugeben (Art. 152 Abs. 1 und 2 OG; <ref-ruling> E. 3c S. 326), dem eine reduzierte Entschädigung zuzusprechen ist (Art. 9 des Tarifs über die Entschädigungen an die Gegenpartei für das Verfahren vor dem Bundesgericht vom 9. November 1978 [SR 173. 119.1]). Die dem Beschwerdeführer zustehende Parteientschädigung dürfte bei der Beschwerdegegnerin uneinbringlich sein, so dass auch sein Rechtsvertreter aus der Bundesgerichtskasse zu entschädigen ist (Art. 152 Abs. 2 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
_
1.- Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und der Beschluss des Obergerichts des Kantons Schaffhausen vom 16. März 2001 wird aufgehoben.
2.- a) Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird gutgeheissen und ihm für das bundesgerichtliche Verfahren Rechtsanwalt Dr. Martin Frey, Vorstadt 40/42, Postfach, 8021 Schaffhausen, als Rechtsbeistand beigegeben.
b) Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege wird gutgeheissen und ihr für das bundesgerichtliche Verfahren Rechtsanwalt Hans-Peter Sorg, Vordergasse 31/33, 8201 Schaffhausen, als Rechtsbeistand beigegeben.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird der Beschwerdegegnerin auferlegt, einstweilen jedoch auf die Bundesgerichtskasse genommen.
4.- a) Rechtsanwalt Dr. Markus Frey wird mit Fr. 1'500.-- aus der Bundesgerichtskasse entschädigt.
b) Rechtsanwalt Hans-Peter Sorg wird mit Fr. 1'500.-- aus der Bundesgerichtskasse entschädigt.
5.- Dieses Urteil wird den Parteien sowie dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
_
Lausanne, 17. August 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: