wird festgestellt und in Erwägung gezogen:
1.- Mit Urteil vom 13. Januar 1999 schied das Bezirksgericht Steckborn die Ehe von R.K._ und J.K._ und genehmigte die Scheidungsvereinbarung vom 14. Dezember 1998 mit Zusatz vom 8. Januar 1999. Die elterliche Gewalt über die drei Kinder A._ (geb. 1981), B._ (geb. 1985) und C._ (geb. 1988) wurde der Mutter übertragen und der Vater verpflichtet, monatliche Kinderunterhaltsbeiträge von je Fr. 700.-- (zuzüglich Kinderzulage) zu leisten, wobei der Unterhaltsbeitrag während der Lehre eines Kindes um einen Drittel des jeweiligen Netto-Lehrlingslohnes zu kürzen ist. Die Unterhaltsersatzrente (nach Art. 151 aZGB) für die Ehefrau wurde ab 1. Januar 1999 bis 31. Dezember 2006 auf Fr. 750.-- festgesetzt; sie wird mit dem Wegfall des ersten Kinderunterhaltsbeitrages um Fr. 300.-- erhöht.
Am 3. März 2001 erhob R.K._ Klage auf Abänderung des Scheidungsurteils und beantragte, mit Ausnahme der Ausbildungszulage sei der Unterhaltsbeitrag für A._ zu streichen, jener für B._ und C._ sei auf je maximal Fr. 500.-- zuzüglich Kinder- oder Ausbildungszulagen festzusetzen und die Unterhaltsrente für die Ehefrau ersatzlos aufzuheben. Nachdem R.K._ vom Gerichtspräsidium Steckborn zur Bezahlung eines Kostenvorschusses aufgefordert worden war, stellte er ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung und ersuchte darum, im Rahmen vorsorglicher Massnahmen die Kinderunterhaltsbeiträge während der Dauer des Abänderungsverfahrens auf insgesamt höchstens Fr. 1'000.-- festzusetzen und den persönlichen Unterhaltsbeitrag für die Ehefrau aufzuheben.
Mit Verfügung vom 23. Mai 2001 wies das Gerichtspräsidium Steckborn sowohl das Gesuch um unentgeltliche Rechtspflege für den Hauptprozess wie auch jenes um Erlass vorsorglicher Massnahmen ab. Einen Rekurs hiergegen hiess das Obergericht des Kantons Thurgau mit Urteil vom 13. August 2001 teilweise gut und wies die Sache bezüglich der Gewährung der unentgeltlichen Rechtspflege an das Gerichtspräsidium Steckborn zurück; mit Bezug auf die verlangten vorsorglichen Massnahmen für die Dauer des Abänderungsprozesses wies es den Rekurs hingegen ab.
Mit rechtzeitiger staatsrechtlicher Beschwerde beantragt R.K._, das obergerichtliche Urteil aufzuheben.
Zudem stellt er ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren.
Vernehmlassungen hat das Bundesgericht nicht eingeholt.
2.- Während es sich beim Entscheid über vorsorgliche Massnahmen im Scheidungsverfahren um Endentscheide handelt (<ref-ruling> E. 1), trifft dies für vorsorgliche Massnahmen im Abänderungsverfahren nicht zu; denn erst mit dem Abänderungsurteil selbst wird definitiv darüber befunden, ob die Unterhaltsbeiträge mit Wirkung ab Einreichung der Abänderungsklage herabgesetzt werden oder nicht. Beim Entscheid darüber, ob provisorisch bereits eine Herabsetzung zu erfolgen hat, handelt es sich um einen Zwischenentscheid (Art. 87 Abs. 2 OG). Dieser hat aber nicht wiedergutzumachende Nachteile rechtlicher Natur zur Folge, welche nach der Rechtsprechung darin liegen können, dass dem Beschwerdeführer für eine bestimmte Zeit die Verfügungsmacht über Vermögensbestandteile entzogen bleibt (<ref-ruling> E. 2 S. 402 f.; <ref-ruling> E. 2b; <ref-ruling> E. 2a S. 320 f.).
Gegen die Abweisung eines Begehrens um einstweilige Herabsetzung geschuldeter Unterhaltsbeiträge ist die staatsrechtliche Beschwerde daher zulässig.
3.- Der Beschwerdeführer rügt in erster Linie, die kantonalen Gerichte hätten ihren Entscheid über die beantragte vorsorgliche Massnahme im Abänderungsprozess ohne mündliche Anhörung getroffen.
Nach Rechtsprechung und Lehre ist im Eheschutzverfahren eine mündliche Verhandlung in der Regel unabdingbar (nicht veröffentlichtes Urteil des Bundesgerichts vom 24. Juli 2001 i.S. F., E. 1-3 [5P. 186/2001]; Hausheer/ Reusser/Geiser, Berner Kommentar, N. 14 zu Art. 180 ZGB; Bräm, Zürcher Kommentar, N. 8 zu Art. 180 ZGB; Vogel, Der Richter im neuen Eherecht, Aufgaben und Verfahren, in:
SJZ 83/1987 S. 133). Das gilt auch für vorsorgliche Massnahmen im Scheidungsverfahren (Spühler/Frei-Maurer, Berner Kommentar, N. 121 zu Art. 158 aZGB), lässt sich aber nicht auf vorsorgliche Massnahmen im Abänderungsprozess übertragen.
Während bei fortbestehender Ehe (Eheschutzverfah- ren, Massnahmen im Scheidungsverfahren) die Unterhaltsbeiträge gestützt auf die eherechtlichen Bestimmungen defini- tiv festgelegt werden, wird erst mit dem Urteil im Abänderungsprozess entschieden, ob und in welchem Masse die im Scheidungsurteil zugesprochenen Unterhaltsbeiträge herabzusetzen sind. Dabei entfaltet die Abänderung ihre Wirkung grundsätzlich auf den Zeitpunkt der Einreichung der Klage hin, sofern der Abänderungsgrund nicht erst zu einem späteren Zeitpunkt eingetreten ist (<ref-ruling>), so dass bei einer allfälligen Herabsetzung die während des Prozesses gestützt auf das ursprüngliche Scheidungsurteil zu viel bezahlten Unterhaltsbeiträge zurückverlangt werden können.
Wird mit einer vorsorglichen Massnahme im Abänderungspro- zess nur eine provisorische Regelung getroffen, die noch nicht zu einer definitiven Zahlungspflicht führt, so kann sich aus dem materiellen Bundesrecht nicht ergeben, wie weit der Richter die Abklärungen schon für den Erlass einer vorsorglichen Massnahme voranzutreiben hat. Dass aufgrund des kantonalen Prozessrechts eine mündliche Anhörung verlangt wäre, wird vom Beschwerdeführer nicht substanziiert dargetan (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 2a S. 3).
4.- Der Beschwerdeführer erachtet den Entscheid auch materiell für willkürlich und damit verfassungswidrig (Art. 9 BV).
Das Obergericht ist davon ausgegangen, dass der Beschwerdeführer derzeit zwar erheblich weniger verdient als im Zeitpunkt der Scheidung, er aber in der Lage sein müsste, sein Einkommen wieder zu erhöhen, wenn auch möglicherweise nicht mehr auf den ursprünglichen Stand. Der Beschwerdeführer sei jedenfalls in der Lage, ein Einkommen zu erzielen, welches ihm erlaube, seinen Unterhaltspflichten nachzukommen, ohne dass in sein Existenzminimum eingegriffen werden müsste. Gestützt auf diese Überlegungen verneinte das Obergericht ein dringendes Bedürfnis auf Erlass einer vorsorglichen Massnahme im Abänderungsprozess. Mit dieser Argumentation setzt sich der Beschwerdeführer kaum auseinander.
Grundvoraussetzung für den Erlass vorsorglicher Massnahmen im Abänderungsprozess bilden nach der Rechtsprechung liquide tatsächliche Verhältnisse, die den voraussichtlichen Verfahrensausgang einigermassen zuverlässig abschätzen lassen (Bühler/Spühler, Berner Kommentar, N. 91 zu Art. 153 aZGB und N. 190 zu Art. 157 aZGB). Darüber hinaus bedarf es eines dringenden Bedürfnisses, wenn schon durch vorsorgliche Massnahme eine Unterhaltsrente gekürzt oder aufgehoben werden soll; das trifft allenfalls zu, wenn der Schuldner ausserstande ist, ohne schwerwiegende Nachteile die Rente während des Abänderungsverfahrens auszurichten und die Herabsetzung oder Aufhebung der Rente der anderen Partei schon während des Verfahrens zugemutet werden kann (<ref-ruling> E. 3b S. 228 f.; Lüchinger/Geiser, Basler Kommentar, N. 30 zu Art. 153 aZGB; Bühler/Spühler, a.a.O., N. 92 zu Art. 153 aZGB). Mit diesen Anforderungen setzt sich der Beschwerdeführer nicht auseinander; vielmehr geht er offenbar selber von illiquiden Verhältnissen aus. Dann aber kann von einer willkürlichen Rechtsanwendung nicht die Rede sein (zum Begriff der Willkür: <ref-ruling> E. 3a S. 117; <ref-ruling> E. 5a S. 70).
5.- Die staatsrechtliche Beschwerde ist somit abzuweisen, soweit darauf eingetreten werden kann. Entsprechend diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG), wobei seinen finanziellen Verhältnissen Rechnung zu tragen ist (Art. 153a Abs. 1 OG). Er schuldet der Gegenpartei allerdings für das bundesgerichtliche Verfahren keine Parteientschädigung, da keine Vernehmlassung eingeholt worden ist.
Zwar hat der Beschwerdeführer ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt (Art. 152 OG). Doch war die Beschwerdeführung von vornherein aussichtslos, weshalb dem Gesuch nicht entsprochen werden kann.

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 6. November 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: