wird festgestellt und in Erwägung gezogen:
1.- B._ und A._ stehen in Scheidung.
Auf Begehren der Gattin (B._) verfügte das Präsidium des Bezirksgerichts Z._ am 11. Oktober 2000, die 1990 geborene Tochter C._ sei in die Obhut der Gesuchstellerin zu geben; der Gesuchsgegner wurde verpflichtet, der Mutter für die Tochter und für den Sohn D._, solange dieser im Haushalt der Gesuchstellerin wohnt, seit dem 1. Juni 2000 je monatlich Fr. 700.-- zuzüglich gesetzliche oder vertragliche Ausbildungszulagen zu entrichten. Das Gericht sprach der Gesuchstellerin einen Unterhaltsbeitrag von monatlich Fr. 2'000.-- zu und regelte weitere unterhaltsrechtliche Fragen. Auf Rekurs des Gatten (A._) verneinte das Obergericht des Kantons Thurgau mit Entscheid vom 4. Dezember 2000 die Unterhaltspflicht für den 1982 geborenen und mündigen Sohn D._ und senkte den Unterhaltsbeitrag für B._ auf Fr. 1'825.--. Die beiden Offizialanwälte wurden durch den Staat entschädigt.
A._ beantragt dem Bundesgericht mit staatsrechtlicher Beschwerde, den Entscheid des Obergerichts vom 4. Dezember 2000 insoweit aufzuheben, als ihm damit Rentenpflichten auferlegt worden sind. Die Beschwerdegegnerin ersucht um Abweisung der Beschwerde, soweit auf diese eingetreten werden kann. Das Obergericht schliesst in seiner Vernehmlassung auf Abweisung.
Mit Rücksicht auf die vom Beschwerdeführer beantragte unentgeltliche Rechtspflege hat der Präsident der II. Zivilabteilung mit Verfügung vom 15. Januar 2001 auf die Erhebung eines Kostenvorschusses verzichtet und die Gesuchsbehandlung auf Antrag des bundesgerichtlichen Referenten in Aussicht gestellt. Das Gleiche hat der Präsident der Beschwerdegegnerin am 23. Januar 2001 zu ihrem Gesuch um Verfahrenshilfe mitgeteilt; gleichzeitig hat er ihr die Eingabefrist für die Beschwerdeantwort nicht erstreckt.
2.- Zum Lohn des Beschwerdeführers in der Höhe von monatlich Fr. 4'200.--, auf den dieser für die Berechnung seines Existenzminimums offenbar abgestellt wissen will, hält das Obergericht fest, es könne offen bleiben, ob sich der Beschwerdeführer mit diesem Lohn tatsächlich zufrieden gebe und ob dieser tatsächlich ausbezahlt worden sei. Denn massgeblich sei der Verdienst, den er effektiv erzielen könnte; auf das hypothetische Einkommen dürfe schon dann abgestellt werden, wenn der Unterhaltspflichtige freiwillig darauf verzichtet, ein höheres Einkommen zu erzielen. Zwar beanstandet der Beschwerdeführer dies in grundsätzlicher Hinsicht zu Recht nicht (<ref-ruling> E. 2; <ref-ruling> E. 3e S. 7 f. mit Hinw. ; <ref-ruling> E. 2a). Jedoch macht er erfolglos geltend, er habe sich nicht freiwillig mit einem zu tiefen Lohn abgefunden.
Denn er behauptet nicht einmal, dass er sich erfolglos um eine besser bezahlte Stelle beworben hat. Soweit der Beschwerdeführer im Zusammenhang mit der Festsetzung des hypothetischen Einkommens willkürliche Anwendung von <ref-law> rügt, verkennt er, dass sein Einwand nicht auf die vorsorgliche Massnahme selbst (rechtskonforme Ermittlung des Unterhaltsbeitrags) zielt, sondern auf eine wesentliche Bemessungsgrundlage, nämlich wie viel er bei gutem Willen verdienen könnte.
3.- Das Obergericht ist vom derzeitigen Lohn des Beschwerdeführers (monatlich wohl Fr. 4'200.--) abgewichen und davon ausgegangen, dieser könnte den erstinstanzlich festgesetzten Lohn von netto Fr. 6'000.-- im Monat nicht verdienen (unter Einbezug des 13. Monatslohnes). Unter Berücksichtigung der konkreten Umstände sei aber möglich, dass er so viel wie ein leitender Monteur verdienen könnte mit der Folge, dass ihm ein Monatseinkommen von Fr. 5'000.-- anzurechnen sei. Dabei hat es auch das Lohngefüge im Betrieb der Arbeitgeberin des Beschwerdeführers mitberücksichtigt.
a) Der Beschwerdeführer begründet Willkür zunächst damit, das Obergericht hätte seinen Verdienst seit 1995 berücksichtigen müssen. Dieser habe monatlich zwischen Fr. 2'500.-- und etwas über Fr. 3'400.-- betragen und liege somit wesentlich tiefer als der aktuelle Lohn.
Der Beschwerdeführer gibt im Zusammenhang mit seiner Rüge selber zu, dass er in der von ihm geltend gemachten Periode bis April 2000 selbstständig Erwerbender war und sein Unternehmen mangels Liquidität geschlossen werden musste; erst danach sei er angestellt worden. Er hätte demnach begründen müssen, weshalb es geradezu unhaltbar, bzw. krass tatsachenwidrig ist (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1b S. 495; <ref-ruling> E. 3a S. 373; <ref-ruling> E. 1b), sein Einkommen als Selbstständigerwerbender nicht zu berücksichtigen.
Es leuchtet im Gegenteil ein, dass das Obergericht in Anbetracht des Umstandes, dass der Beschwerdeführer seit spätestens Mai 2000 angestellt ist, dessen Einkommen mit demjenigen eines Angestellten verglichen und auf die gegenwärtige Situation abgestellt hat.
b) Das Obergericht hat den Beschwerdeführer unter Abwägung verschiedener Gesichtspunkte beruflich als so fähig eingestuft, dass er nicht bloss das Einkommen eines Angestellten mit wenigen Jahren Berufserfahrung, sondern dasjenige eines leitenden Elektromonteurs erzielen könnte.
Der Beschwerdeführer wendet erfolglos ein, sein Alkoholproblem sei willkürlich bagatellisiert und dessen Schilderung durch die Beschwerdegegnerin übergangen worden.
Das Obergericht ist zum Schluss gelangt, die Alkoholprobleme seien übertrieben dargestellt worden mit der Begründung, wenn diese so schwerwiegend gewesen wären, wäre der Beschwerdeführer schon als einfacher Angestellter nicht tragbar gewesen; dass der periodische Alkoholmissbrauch den Beschwerdeführer bei der Arbeit behindere, könne nicht einmal der schriftlichen Stellungnahme der Arbeitgeberin des Beschwerdeführers vom 6. September 2000 entnommen werden. Indem dieser seine Alkoholprobleme anders gewichtet und auch die Ausführungen der Beschwerdegegnerin dazu anders würdigt als das Obergericht, übt er appellatorische und damit unzulässige Kritik an dessen Beweiswürdigung (<ref-ruling> E. 4c S. 230, 118 Ia 20 E. 5c S. 27 unten).
Soweit er im gleichen Zusammenhang willkürliche Anwendung von <ref-law> rügt, begründet er nicht, inwiefern diese Bestimmung geradezu unhaltbar und dem Gerechtigkeitsempfinden zuwiderlaufend angewendet worden ist (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1c; <ref-ruling> E. 4a und b S. 270). Denn das Obergericht ist bloss zu einer anderen Überzeugung bezüglich der Intensität der Alkoholprobleme gelangt als der Beschwerdeführer, weshalb auch dessen Vorwurf der aktenwidrigen Beweiswürdigung scheitert, hat doch das Obergericht seine eigene Meinung auf Grund der Würdigung der Gesamtsituation gebildet. Wenn der Beschwerdeführer z.B.
die schriftliche Stellungnahme seiner Arbeitgeberin heranzieht, verkennt er, dass auch diese vom Obergericht gewürdigt worden ist, wenn auch nicht in seinem Sinn.
c) Das Obergericht hat für die Qualifikation des Beschwerdeführers mitberücksichtigt, dass dieser als 47-jähriger Mann über mehr als 20 Jahre Berufserfahrung verfügt, Prokurist ist, eine neu eröffnete Filiale des Arbeitgebers leitet, für mehrere Baustellen verantwortlich ist und das Meisterdiplom hat.
Der Beschwerdeführer macht Willkür geltend mit der Begründung, er habe während des Niedergangs seiner selbstständigen Tätigkeit keine Zeit mehr für Weiterbildungskurse gehabt und weise im Bereich der Telekommunikation fachliche Defizite aus. In diesem Sinn müsse auch das Schreiben seiner Arbeitgeberin vom 6. September 2000 verstanden werden, aus dem hervorgehe, dass er fachlich nicht das biete, was von einem leitenden Angestellten verlangt werde; er sei bloss angestellt worden, damit seine Arbeitgeberin das von ihm an seinem Wohnort aufgebaute Geschäftsvolumen seiner geschlossenen Firma übernehmen könne. Auch damit übt er bloss unzulässige Kritik an der Beweiswürdigung des Obergerichts. Denn dieses stellt fest, das Schreiben vom 6. September 2000 sei für den Beschwerdeführer zwecks Verwendung im Scheidungsverfahren und in seinem Interesse abgefasst worden. Im Übrigen seien darin keine fachlichen Mängel aufgelistet, die im Widerspruch zur Ansicht stünden, der Beschwerdeführer könnte den Lohn eines leitenden Angestellten erzielen. Dass der Beschwerdeführer Mühe haben könnte, sich unterzuordnen, spreche für seine Fähigkeiten, selbstständig arbeiten und Baustellen leiten zu können.
Wenn der Beschwerdeführer seine "Geschäftspleiten", über die die ganze Branche informiert sei, gegen seine Erwerbschancen ins Feld führt, begründet er nicht, weshalb unternehmerische Mängel zwingend fachlichen Unzulänglichkeiten gleichzusetzen sind. Es leuchtet viel mehr ein, beide Eigenschaften getrennt zu beurteilen. Schliesslich verfängt auch nicht, dass der Beschwerdeführer sein Alter gegen seine Erwerbschancen vorbringt. Denn damit gewichtet er bloss die Auswirkungen seines Alters anders als das Obergericht.
d) Hat das Obergericht bei der Festsetzung des hypothetischen Einkommens in keinem der vorstehend gerügten Punkte willkürlich gehandelt, scheitert der Beschwerdeführer auch mit dem Versuch, dem Obergericht eine Verletzung der Verfassung insofern nachzuweisen, als er das Ergebnis der vom Obergericht gewürdigten Umstände willkürlich findet. Denn er fasst bloss alle gerügten Punkte zusammen. Der Beschwerdeführer verkennt, dass Willkür nicht bereits dann vorliegt, wenn eine andere Entscheidvariante möglich oder gar vorzuziehen wäre (<ref-ruling> E. 2a S. 88 mit Hinw. , <ref-ruling> E. 3a, 119 Ia 113 E. 3a).
4.- Für den Fall, dass die Annahme eines hypothetischen Einkommens nicht gegen die Verfassung verstossen würde, macht der Beschwerdeführer geltend, das Obergericht habe willkürlich entschieden. Denn ihm hätte eine angemessene Übergangsfrist eingeräumt werden müssen, bis ihm das Einkommen von Fr. 5'000.-- im Monat hätte angerechnet werden dürfen.
Dem Beschwerdeführer ist grundsätzlich beizupflichten, dass immer dann, wenn von effektiven Ein- oder Ausgabenpositionen zu Ungunsten des Unterhaltspflichtigen abgewichen wird, ihm eine angemessene Frist zur Umstellung eingeräumt werden muss (vgl. <ref-ruling> E. 5 S. 17; Sutter/Freiburghaus, Kommentar zum neuen Scheidungsrecht, Zürich 1999, N 32 zu <ref-law>; M. Leuenberger, in: Praxiskommentar Scheidungsrecht, I. Schwenzer [Hrsg. ], N 35 a.E. zu <ref-law>; Handbuch des Unterhaltsrechts, herausg. von Hausheer/Spycher, Rz 04.72 S. 220; A. Spycher, Unterhaltsleistungen bei Scheidung:
Grundlagen und Bemessungsmethoden, Diss. Bern 1996, S. 154). Denn der Unterhaltspflichtige muss hinreichend Zeit haben, die rechtlichen Vorgaben in die Wirklichkeit umzusetzen.
Jedoch hilft dies dem Beschwerdeführer im vorliegenden Fall nichts. Zum einen behauptet er nicht, er habe versucht, eine besser bezahlte Stelle zu finden, oder er wolle dies in Zukunft tun; daher läuft seine Rüge im Ergebnis darauf hinaus, ihm eine Übergangsfrist zu eröffnen, die nicht ihrem Zweck entsprechend verwendet würde. Zum anderen weiss der Beschwerdeführer spätestens seit dem erstinstanzlichen Entscheid vom 10. Oktober 2000, dass auf ein hypothetisches Einkommen abgestellt werden darf, und hätte entsprechend planen können. Im Übrigen kann offen bleiben, ob das Begehren um Einräumung einer Übergangsfrist neu und damit unzulässig ist (<ref-ruling> E. 4b S. 212, 119 II 6 E. 4a). Denn gemäss dem Grundsatz, dass mit Rügen nicht treuwidrig zugewartet werden darf, hätte die Übergangsfrist spätestens im kantonalen Rekursverfahren verlangt werden müssen (<ref-ruling> E. 1f; vgl. 120 Ia 19 E. 2c/aa S. 24); eine Übergangsfrist macht nur am Anfang Sinn.
5.- Der unterliegende Beschwerdeführer wird bei diesem Ausgang des Verfahrens gebühren- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG), falls die von den Parteien gestellten Gesuche um Verfahrenshilfe erfolglos bleiben.
Es kann nicht gesagt werden, der staatsrechtlichen Beschwerde hätten von vornherein keine ausreichenden Erfolgschancen eingeräumt werden können (Art. 152 Abs. 1 OG; <ref-ruling> E. 2c). Die Beschwerdegegnerin musste sich auf das Verfahren einlassen, weshalb sich bei ihr die Frage nach der Aussichtslosigkeit nicht stellen kann. Haben beide Parteien vor dem Obergericht mit Verfahrenshilfe prozessiert, dürfen sie auch im bundesgerichtlichen Verfahren als bedürftig im Sinne von Art. 152 Abs. 1 OG gelten mit der Folge, dass ihre Gesuche um Gewährung der unentgeltlichen Rechtspflege bewilligt werden können, bezüglich der obsiegenden Beschwerdegegnerin indessen nur insoweit, als das Gesuch angesichts ihres Obsiegens nicht gegenstandslos geworden ist. Die Honorare, die den amtlichen Rechtsvertretern aus der Bundesgerichtskasse auszurichten sind, werden entsprechend Art. 9 des Tarifs für die Entschädigung an die Gegenpartei für das Verfahren vor dem Bundesgericht vom 9. November 1978 (SR 173. 119.1) gekürzt.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- a) Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und ihm wird für das bundesgerichtliche Verfahren Rechtsanwalt Dr. Felix Müller, Amriswil, als unentgeltlicher Rechtsvertreter beigegeben.
b) Das Gesuch der Beschwerdegegnerin um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und ihr wird für das bundesgerichtliche Verfahren Rechtsanwalt Dr. Hansjakob Zellweger, Amriswil, als unentgeltlicher Rechtsvertreter beigegeben.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt, einstweilen aber auf die Bundesgerichtskasse genommen.
4.- Den in Ziff. 2 erwähnten Rechtsanwälten wird aus der Bundesgerichtskasse je ein Honorar von Fr. 1'500.-- ausgerichtet.
5.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 6. März 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Das präsidierende Mitglied: Der Gerichtsschreiber: