(Eheschutz), hat sich ergeben:
A.- Im Rahmen des Eheschutzverfahrens verfügte der Bezirksgerichtspräsident von W._ am 25. Juni 2001, X._ habe der von ihm getrennt lebenden Y._ ab Juni 2001 monatlich Fr. 1'500.-- zu bezahlen. Demgegenüber verpflichtete der Einzelrichter im Familienrecht des Kantonsgerichts St. Gallen (nachfolgend: Einzelrichter) am 31. August 2001 X._ in teilweiser Gutheissung eines Rekurses, Y._ vom 1. Juli bis Ende November 2001 monatlich Fr. 1'170.--, ab Dezember 2001 Fr. 780.-- zu entrichten.
B.- Mit staatsrechtlicher Beschwerde wegen Verletzung von Art. 8, 9 und 29 BV beantragt X._, das einzelrichterliche Urteil in Bezug auf den ab Dezember 2001 geschuldeten Beitrag aufzuheben; ferner ersucht er um unentgeltliche Rechtspflege für das Verfahren vor Bundesgericht.
Die Beschwerdegegnerin schliesst auf Abweisung der staatsrechtlichen Beschwerde und stellt ihrerseits ein Gesuch um unentgeltliche Rechtspflege. Der Einzelrichter hat sich nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- Streitig ist im vorliegenden Fall der Unterhaltsbeitrag, den der Beschwerdeführer der Beschwerdegegnerin ab Dezember 2001 zu bezahlen hat. Dieser Beitrag hängt von der Höhe des der Beschwerdegegnerin anzurechnenden hypothetischen Einkommens ab.
Nach Auffassung des Einzelrichters ist es der Beschwerdegegnerin nicht zuzumuten, sich vom bisherigen, rund 20% betragenden Arbeitspensum rasch auf ein ganzes Pensum umzustellen. Dabei erwog er einerseits, wenn bei einer Trennung die Wiederherstellung des gemeinsamen Haushaltes nicht zu erwarten sei, gewinne das Ziel der wirtschaftlichen Selbstständigkeit an Bedeutung. Ein Ehegatte, der mit der späteren Scheidung rechnen müsse, habe sich darauf einzustellen. Insoweit sei es daher angebracht, dass die Beschwerdegegnerin ihre Erwerbstätigkeit ausdehne, zumal die Mehrkosten der beiden Haushalte mit dem bisherigen Einkommen der Parteien nicht gedeckt werden könnten. Andererseits gelte es aber auch zu berücksichtigen, dass der Trennungsunterhalt zwischen dem Familienunterhalt im engeren Sinne und dem Scheidungsunterhalt stehe. Die knapp zwanzigjährige "Hausgattenehe" habe die Lebensweise der Beschwerdegegnerin entscheidend geprägt; eine rasche und vollständige Umstellung sei ihr deshalb nicht zuzumuten, zumal sie dadurch sogar schlechter gestellt würde als nach einer Scheidung. Nach einer angemessenen Umstellungszeit von drei Monaten könne eine Ausdehnung der Erwerbstätigkeit auf 50% zugemutet werden.
2.- Der Beschwerdeführer wirft dem Einzelrichter Verletzung des rechtlichen Gehörs (<ref-law>) vor, weil er nicht begründet habe, weshalb der Beschwerdegegnerin nicht mehr als eine 50%-ige Erwerbstätigkeit zuzumuten sei.
Aus dem in <ref-law> festgelegten Anspruch auf rechtliches Gehör folgt u.a. die Pflicht der Behörden, ihren Entscheid zu begründen. Die Begründung muss so abgefasst sein, dass der Betroffene in der Lage ist, den Entscheid gegebenenfalls sachgerecht anzufechten (<ref-ruling> E. 2c). Der Beschwerdeführer behauptet nicht einmal, den Entscheid nicht anfechten zu können. Auf die unzureichend substanziierte Rüge der Gehörsverletzung ist nicht einzutreten (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. d S. 201; <ref-ruling> E. 3a; <ref-ruling> E. 4a, mit Hinweisen).
3.- Der Beschwerdeführer erachtet ferner das Gebot der Gleichbehandlung (<ref-law>) als verletzt, da jedem Mann bzw.
Vater in der Situation der Beschwerdegegnerin ein höheres hypothetisches Einkommen aufgerechnet würde.
Gemäss <ref-law> setzt der Richter bei Getrenntleben der Ehegatten auf Begehren die Geldbeträge fest, die ein Ehegatte dem andern schuldet. Grundlage bildet die Pflicht der Ehegatten, gemeinsam, ein jeder nach seinen Kräften, für den gebührenden Unterhalt der Familie zu sorgen (<ref-law>). Entsprechend ist bei Aufhebung des gemeinsamen Haushaltes der dadurch verursachte Mehraufwand von beiden Ehegatten zu tragen. Dies kann für den Ehegatten, der während der Dauer des Zusammenlebens nicht oder nur in beschränktem Umfang erwerbstätig war, unter Umständen bedeuten, dass er eine Erwerbstätigkeit aufnehmen bzw. diese ausdehnen muss (<ref-ruling> E. 5). Der Beschwerdegegnerin, die nach den Feststellungen des angefochtenen Entscheides bei einem 20%-Pensum monatlich einen Nettolohn von Fr. 840.-- erzielt, müsste ein höheres hypothetisches Einkommen angerechnet werden, sofern eine Ausdehnung der Erwerbstätigkeit und damit ein höherer Verdienst zumutbar und wirtschaftlich möglich ist (<ref-ruling> E. 1b S. 17; <ref-ruling> E. 4a S. 316). Die vom Beschwerdeführer gerügte Verletzung des Grundsatzes rechtsgleicher Behandlung lässt sich mithin bereits aus der im konkreten Fall anwendbaren Bestimmung herleiten. Sollte das Kantonsgericht der Beschwerdegegnerin ohne sachlichen Grund kein höheres hypothetisches Einkommen angerechnet haben, wäre Art. 176 Abs. 1 Ziff. 1 i.V.m. <ref-law> krass verletzt und der Entscheid als willkürlich (<ref-law>) aufzuheben.
4.- Nach Auffassung des Beschwerdeführers widerspricht es Recht und Billigkeit, dass der Beschwerdegegnerin lediglich eine hypothetische Erwerbstätigkeit von 50% angerechnet wird. Obwohl er als Vater die Obhut über die Kinder innehabe, werde ihm nebst der entsprechenden Haushaltstätigkeit eine 100% übersteigende Erwerbstätigkeit zugemutet; demgegenüber werde von der Beschwerdegegnerin lediglich eine Ausdehnung der Erwerbstätigkeit von 20 auf 50% verlangt, obgleich sie erst 41-jährig und physisch sowie psychisch gesund sei, nur noch für sich selbst zu sorgen habe und der Arbeitsmarkt einer Ausdehnung der Erwerbstätigkeit nicht entgegenstehe.
a) Bei der Festsetzung von Geldbeträgen des einen Ehegatten an den andern nach <ref-law> geht der Richter grundsätzlich von den bisherigen, ausdrücklichen oder stillschweigenden Vereinbarungen der Ehegatten über Aufgabenteilung und Geldleistungen aus, die der ehelichen Gemeinschaft eine bestimmte Struktur gegeben haben (<ref-law>). In der Literatur wird hervorgehoben, dass solche Strukturen im Rahmen von Eheschutzmassnahmen nicht gänzlich verändert werden sollen, ansonsten die Scheidung vorweggenommen werde (Schwander, Basler Kommentar, N. 2 zu <ref-law>). Im Hinblick auf die erhoffte Stabilisierung, wenn nicht Rettung der Ehe wird die Rücksichtnahme auf die bisher gelebte Ehe bzw. Anknüpfung an die bisherigen Verhältnisse im Rahmen des Eheschutzes postuliert (Hausheer/Reusser/Geiser, Berner Kommentar, 1999, N. 18 zu <ref-law>). Ist aber eine Wiederherstellung des gemeinsamen Haushaltes nicht mehr zu erwarten, gewinnt das Ziel der wirtschaftlichen Selbstständigkeit zunehmend an Bedeutung (vgl.
Hausheer/Brunner, in: Handbuch des Unterhaltsrechts, 1997, Rz. 4.98).
Nach den unbestrittenen Feststellungen des Einzelrichters wurde die Trennung von den Parteien seit längerem erwogen und bekundet einer der Ehegatten klar seine Scheidungsabsicht.
Die Trennung scheint denn auch nicht eine der Stabilisierung oder Rettung der Ehe dienende Massnahme zu sein, sondern vielmehr Folge des neuen Scheidungsrechts, wonach die Scheidung grundsätzlich nur verlangt werden kann, wenn die Ehegatten bei Eintritt der Rechtshängigkeit der Klage mindestens vier Jahre getrennt gelebt haben (<ref-law>). Ist mit einer Wiederaufnahme des gemeinsamen Haushaltes nicht mehr ernsthaft zu rechnen, erscheint es sachgerecht, bei der Beurteilung des Unterhalts und insbesondere der Frage der Wiederaufnahme oder Ausdehnung der Erwerbstätigkeit die für den nachehelichen Unterhalt geltenden Kriterien (<ref-law>) mit einzubeziehen. Damit ist gleichzeitig die im angefochtenen Entscheid befürchtete Gefahr gebannt, dass ein Ehegatte im Eheschutzverfahren schlechter gestellt ist als nach einer Scheidung. Ob eine Erwerbstätigkeit aufzunehmen ist, ab welchem Zeitpunkt und in welchem Umfang deren Wiederaufnahme oder Ausdehnung zumutbar ist, hängt damit vor allem von Alter und Gesundheit der Ehegatten, ihrem Einkommen und Vermögen, von Umfang und Dauer der noch zu leistenden Betreuung der Kinder, aber auch von der beruflichen Ausbildung und den Erwerbsaussichten der Ehegatten ab; massgebend ist schliesslich der mutmassliche Aufwand für die berufliche Eingliederung der anspruchsberechtigten Person (<ref-law>; siehe auch Schwenzer, in: Praxiskommentar Scheidungsrecht, 2000, N. 42 zu <ref-law>).
b) Nach den Feststellungen des angefochtenen Entscheides verdient der Beschwerdeführer bei der Post unter Berücksichtigung der Familien- und Kinderzulagen sowie aufgrund zusätzlicher Hauswarttätigkeit monatlich netto Fr. 5'700.--.
Die Beschwerdegegnerin absolviert als Aushilfe in einem Altersheim ein 20%-Pensum und erzielt ein Nettoeinkommen von durchschnittlich Fr. 840.-- pro Monat. Davon ausgehend, dass ihr nach einer Übergangszeit von drei Monaten eine 50%-ige Erwerbstätigkeit zuzumuten und infolgedessen ein Einkommen von Fr. 1'980.-- anzurechnen sei, belaufen sich die gesamten Einkünfte auf Fr. 7'680.--. Damit wird der Notbedarf der Haushalte der Parteien (Beschwerdeführer: Fr. 2'780.--, Kinder:
Fr. 1'750.--, Beschwerdegegnerin: Fr. 2'570.--) knapp gedeckt:
Nach Abzug des umstrittenen Unterhalts von Fr. 780.-- verbleibt dem Beschwerdeführer für sich und seine beiden Söhne ein Überschuss von Fr. 390.--, der Beschwerdegegnerin ein solcher von Fr. 190.--.
Dem angefochtenen Entscheid ist des Weiteren zu entnehmen, dass die Ehe knapp zwanzig Jahre dauerte und die "Haushaltehe" die Lebensweise der Beschwerdegegnerin entscheidend geprägt hat, was vom Beschwerdeführer nicht bestritten wird. Der Einzelrichter hat der Beschwerdegegnerin eine bis Ende November 2001 dauernde Übergangsfrist eingeräumt, um ihre Erwerbstätigkeit von 20 auf 50% auszudehnen.
Es handelt sich dabei um eine relativ kurz bemessene Frist, die, wenn dies auch nicht explizit gesagt wird, darauf zurückzuführen sein dürfte, dass die Beschwerdegegnerin schon vor der Aufhebung des gemeinsamen Haushaltes einer 20%-igen Erwerbstätigkeit nachgegangen ist.
c) Aufgrund der Sachverhaltsfeststellung hat mit der Auflösung des Haushaltes auch die Rollenverteilung der Parteien eine grundlegende Änderung erfahren. Die beiden Söhne - der ältere (1983) absolviert eine Lehre, der jüngere (1985) das neunte Schuljahr - bleiben im Haushalt des Beschwerdeführers, dem die Haushaltführung für sich und die beiden Söhne obliegt. Die Beschwerdegegnerin hat nur noch für sich selbst zu sorgen. Da die Rollenverteilung nachwirkt, ist der Beschwerdegegnerin mit Rücksicht auf die Ehedauer eine angemessene Umstellungsphase zuzubilligen. Allein der Umstand, dass die Parteien während rund 20 Jahren eine Hausgattenehe geführt haben, welche die Lebensweise der Beschwerdegegnerin wesentlich prägte, rechtfertigt es nicht, ihr im Verlaufe der vierjährigen Trennungszeit keine weiter gehende Umstellung zuzumuten, zumal die wirtschaftlichen Verhältnisse relativ knapp sind. Die Beschwerdegegnerin ist (erst) 41 Jahre alt.
Sie bestreitet nicht, gesund zu sein, und ist überdies von jeglicher Betreuungsaufgabe entbunden. Bei dieser Sachlage ist es unhaltbar und damit willkürlich, der Beschwerdegegnerin eine weitere Ausdehnung ihrer Erwerbstätigkeit, allenfalls auf 100%, im Verlaufe der voraussichtlichen mehrjährigen Trennungszeit nicht zuzumuten. Fraglich kann einzig noch sein, ob es ihr auch wirtschaftlich möglich ist, die Erwerbstätigkeit entsprechend auszudehnen, wovon der Beschwerdeführer ausgeht, wozu sich aber im angefochtenen Entscheid keine expliziten Feststellungen finden.
5.- Die staatsrechtliche Beschwerde ist somit gutzuheissen, soweit darauf eingetreten werden kann, und der angefochtene Entscheid in Bezug auf den ab Dezember 2001 geschuldeten Unterhaltsbeitrag aufzuheben. Nach dem Ausgang des Verfahrens wird an sich die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 156 Abs. 1 OG; Art. 159 Abs. 2 OG).
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist grundsätzlich gutzuheissen, zumal er obsiegt hat und seine Bedürftigkeit unumstritten festgestellt worden ist. Es wird indes insoweit gegenstandslos, als er keine Gerichtskosten zu tragen hat. Da auch die Beschwerdegegnerin als bedürftig gilt und ihr Standpunkt im Verfahren nicht von vornherein aussichtslos schien, kann ihrem Gesuch um unentgeltliche Rechtspflege ebenfalls entsprochen werden. Den Parteien ist je ein Rechtsbeistand zu ernennen. Beide Rechtsanwälte sind aus der Bundesgerichtskasse zu entschädigen, zumal die Beschwerdegegnerin offensichtlich nicht in der Lage ist, den Beschwerdeführer für die Umtriebe des bundesgerichtlichen Verfahrens zu entschädigen (Art. 152 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.-Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Kantonsgerichts St. Gallen, Einzelrichter im Familienrecht, vom 31. August 2001 wird aufgehoben.
2.-Die Gesuche der Parteien um unentgeltliche Rechtspflege werden, soweit nicht gegenstandslos geworden, gutgeheissen.
Dem Beschwerdeführer wird Rechtsanwalt Titus Bossart, Neugasse 55, 9000 St. Gallen, der Beschwerdegegnerin Rechtsanwalt Max Auer, Bahnhofstrasse 32a, 8360 Eschlikon, als Rechtsbeistand beigegeben.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird der Beschwerdegegnerin auferlegt, einstweilen jedoch auf die Bundesgerichtskasse genommen.
4.- Rechtsanwalt Bossart und Rechtsanwalt Auer werden aus der Bundesgerichtskasse Honorare von je Fr. 2'000.-- ausgerichtet.
5.-Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter im Familienrecht, schriftlich mitgeteilt.
_
Lausanne, 14. Dezember 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: