wird festgestellt und in Erwägung gezogen:
1.- a) X._ und Y._ befinden sich in Scheidung.
Umstritten war u.a. der von X._ seiner Ehefrau für die gemeinsame Tochter Z._ (1995) geschuldete Unterhaltsbeitrag, der vom Gerichtspräsidenten von Arbon auf Fr. 500.-- festgesetzt wurde. Mit Rekurs verlangte X._ vom Obergericht des Kantons Thurgau, den Beitrag auf Fr. 300.--, eventuell nach Ermessen herabzusetzen. Y._ beantragte die Abweisung des Rekurses. Das Obergericht hat den Rekurs am 26. September 2001 abgewiesen.
b) Mit staatsrechtlicher Beschwerde vom 3. Dezember 2001 verlangt X._ die Aufhebung des Entscheides des Obergerichts und Rückweisung der Sache zum Entscheid im Sinne der vor Obergericht gestellten Anträge, die Gewährung aufschiebender Wirkung und unentgeltlicher Rechtspflege. Das Gesuch um aufschiebende Wirkung wurde abgewiesen. Es wurden keine Antworten eingeholt.
2.- Die staatsrechtliche Beschwerde ist grundsätzlich kassatorischer Natur (<ref-ruling> E. 1b S. 328), weshalb nur beantragt werden kann, das angefochtene Urteil aufzuheben.
Gegebenenfalls hätte das Obergericht - unter Berücksichtigung der Ergebnisse des vorliegenden Verfahrens - ohne besondere Anweisung durch die erkennende Abteilung neu zu entscheiden (<ref-ruling> E. 3c/bb S. 354).
3.- Umstritten ist in erster Linie der vom Beschwerdeführer seiner Tochter Z._ geschuldete Unterhaltsbeitrag.
Nach den Feststellungen des Obergerichts beträgt der Lohn des Beschwerdeführers gemäss Vertrag vom 3. Juli 2001 Fr. 53'950.--, was einem monatlichen Nettoeinkommen inklusive Anteil des 13. Monatslohns von Fr. 3'863.-- entspreche.
Im Jahre 2000 habe er dagegen monatlich Fr. 4'060.-- bezogen. Die Differenz sei auf die stets geleisteten Überstunden zurückzuführen, die mit einem Zuschlag von 25 % vergütet würden. Bisher habe der Beschwerdeführer immer Überstunden geleistet und sie sich auszahlen lassen und sei an deren Kompensation nicht interessiert gewesen. Er leiste immer noch Überstunden, habe aber den Arbeitgeber wissen lassen, dass er vorläufig keine Überzeitauszahlung mehr möchte, sondern die Überzeit (ab August 2001) kompensieren werde.
Weshalb der Beschwerdeführer die Kompensation der Überzeit deren Auszahlung vorziehe, sage er nicht. Offenbar gehe es ihm einzig darum, ein tieferes Einkommen zu erzielen. Er habe sich das Zusatzeinkommen anrechnen zu lassen, das zu fordern er aufgrund der geleisteten Überstunden berechtigt sei.
Selbst wenn der behauptete aktuelle Lohn mit dem früheren verglichen werde, ergebe sich eine Differenz von nur 5% bzw.
Fr. 200.--, was mangels Erheblichkeit keine Änderung rechtfertige, zumal die Veränderung nicht als dauerhaft gelten könne. Das Existenzminimum des Beschwerdeführers betrage unter Berücksichtigung des umstrittenen Unterhaltsbeitrages Fr. 3'850.--. In dieses werde nicht eingegriffen. Die monatliche Rückzahlung zuviel bezogener Kinderzulagen könne nicht berücksichtigt werden.
4.- Der Beschwerdeführer kritisiert das angefochtene Urteil in verschiedener Hinsicht als willkürlich.
a) Als willkürlich kritisiert er zunächst, dass sein Einwand, er könne nicht zur Leistung von Überstunden verpflichtet werden, verworfen worden sei.
Indem das Obergericht die Differenz zwischen dem gegenwärtigen Einkommen des Beschwerdeführers (monatlich netto Fr. 3'863.--) und dessen früherem, höheren Einkommen (monatlich netto Fr. 4'060.--) mit dem (unwidersprochenen) Umstand begründete, dass sich der Beschwerdeführer ab August 2001 die Überstunden nicht mehr auszahlen lasse, sondern diese vorläufig kompensieren wolle, dem Beschwerdeführer aber die Berechtigung dazu abgesprochen hat, hat es ihm das frühere Einkommen sinngemäss als hypothetisches angerechnet.
Soweit der Beschwerdeführer seine Verpflichtung zur Leistung von Überstunden unter Hinweis auf seinen Gesundheitszustand kritisiert, ist auf die Beschwerde schon deshalb nicht einzutreten, da diese Argumentation und die im Zusammenhang damit vorgetragenen Tatsachenbehauptungen neu und damit unzulässig sind (<ref-ruling> E. 5 S. 26). Sodann ist das Obergericht davon ausgegangen, dass der Beschwerdeführer nach wie vor Überstunden leiste, was dieser nicht bestreitet.
Mit der Argumentation des Obergerichtes, dass es ihm offenbar einzig darum gehe, ein tieferes Einkommen zu erzielen, weshalb er sich als Zusatzeinkommen anrechnen zu lassen habe, was zu fordern er aufgrund der geleisteten Überstunden berechtigt sei, setzt sich der Beschwerdeführer überhaupt nicht auseinander.
b) Der Beschwerdeführer bestreitet nicht, einen
13. Monatslohn zu beziehen. Er kritisiert aber als willkürlich, diesen bei der Ermittlung der monatlichen Unterhaltsbetreffnisse zu berücksichtigen, da dieser Lohnbestandteil erst im November ausbezahlt werde und ihm das Geld in den übrigen Monaten nicht zur Verfügung stehe. Soweit die Rüge überhaupt ausreichend substantiiert und zulässig ist (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 2 S. 3 f.), ist sie offensichtlich unbegründet. Nichts hindert den Beschwerdeführer daran, den im November zusätzlich ausbezahlten 13. Monatslohn im Hinblick auf die monatlich geschuldeten Unterhaltsbetreffnisse zurückzustellen.
c) Als willkürlich kritisiert der Beschwerdeführer, dass das Obergericht die Einkommensreduktion von Fr. 200.-- als unerheblich betrachtet habe, wobei die Differenz erst noch höher sei.
Nach den Feststellungen des Obergerichts beträgt der aktuelle Lohn des Beschwerdeführers - ohne Auszahlung der Überstunden - monatlich Fr. 3'863.--, während der frühere - mit Auszahlung der Überstunden - Fr. 4'060.-- betrug. Die Zahlen als solche werden vom Beschwerdeführer nicht bestritten.
Nun äusserte sich das Obergericht zum tieferen Nettoeinkommen lediglich im Eventualstandpunkt, ging es doch in erster Linie von einem hypothetischen Nettoeinkommen des Beschwerdeführers von Fr. 4'060.-- aus. Hält dieses (E. 3a) wie auch der Einbezug des 13. Monatslohnes (E.3 b) der Willkürrüge stand, ist auf die gegen den Eventualstandpunkt vorgetragene Kritik, es sei willkürlich, die Differenz zwischen dem früheren und dem gegenwärtigen effektiven Einkommen nicht als erheblich zu bezeichnen, schon mangels Relevanz nicht einzutreten. Dasselbe gilt für die ohnehin ungenügend substantiierte Behauptung einer grösseren Einkommenseinbusse.
d) Als willkürlich kritisiert der Beschwerdeführer, dass seine Pflicht zur Rückzahlung von Kinderzulagen von Fr. 200.-- monatlich nicht berücksichtigt worden sei.
Selbst wenn diese Leistungen zu berücksichtigen wären und sich damit das Existenzminimum entsprechend auf Fr. 4'050.-- erhöhte, wäre dieses durch das hypothetische Einkommen des Beschwerdeführers (E. 3a) immer noch gedeckt, weshalb sich weitere Erörterungen erübrigen.
e) Auf alle weiteren Rügen ist schon aus formellen Gründen nicht einzutreten.
aa) Die Rüge, das Obergericht sei in Willkür verfallen, indem es den Erwerbstätigkeitsbonus nicht berücksichtigt habe, scheitert schon an der Unzulässigkeit neuer Vorbringen, hat doch der Beschwerdeführer dies - entgegen seiner Behauptung - im kantonalen Rekurs nicht vorgebracht; damit geht auch die in diesem Kontext vorgetragene Rüge der Gehörsverletzung (<ref-law>) ins Leere. Dasselbe gilt für die Rüge, dass der bei der Ermittlung des Existenzminimums gewährte Zuschlag von nur Fr. 845.-- für vier Kinder den Grundsatz der Gleichbehandlung der Kinder verletze.
bb) Am Novenverbot, aber auch an der Unzulässigkeit appellatorischer Begründungen (<ref-ruling> E. 4b S. 12) als Belegstelle einer BGE Zitierung scheitern die weiteren Rügen, es seien sein Prozessaufwand in Jugoslawien und sein Reiseaufwand, um dort die Kinder zu besuchen, nicht berücksichtigt worden, er leide Hunger und laufe in alten und zerschlissenen Kleidern herum und es sei dem aktuellen Verdienst der Beschwerdegegnerin nicht nachgegangen worden.
cc) Unsubstantiiert ist die im Zusammenhang mit den Besuchsregelungsmassnahmen erhobene Willkürrüge. Im Übrigen stellte das Obergericht fest, entsprechende Anordnungen seien nicht mehr strittig, wozu sich der Beschwerdeführer nicht äussert. Da offenbar an die Adresse des erstinstanzlichen Richters gerichtet, wäre die Rüge ohnehin unzulässig (<ref-ruling> E. 2b S. 169). Dasselbe gilt für die an der Berechnung des Existenzminimums der "Ex-Ehefrau" geübte Kritik.
dd) Unverständlich ist die Rüge, es sei ihm Unentgeltlichkeit des Prozesses gewährt worden, derweil er die Anwaltskosten der Ehefrau übernehmen müsse. Tatsächlich wurde ihm die unentgeltliche Rechtspflege nicht gewährt, was er aber nicht (zumindest nicht substantiiert) rügt.
ee) Unzulässig, da neu, aber auch unsubstantiiert ist die sinngemäss angebrachte Rüge der Unzuständigkeit des schweizerischen Richters.
5.- Zusammenfassend ergibt sich, dass die staatsrechtliche Beschwerde, soweit darauf überhaupt eingetreten werden kann, abzuweisen ist. Nach dem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 156 Abs. 1 OG).
Der Gegenpartei sind keine Kosten erwachsen. Wegen Aussichtslosigkeit ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (Art. 152 Abs. 1 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 23. Januar 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: