wird festgestellt und in Erwägung gezogen:
1.- D.H._ und R.H._ führen vor dem Amtsgericht Z._ einen Scheidungsprozess, den die Ehefrau am 15. Juli 1999 einleitete. Nach Anhörung der Parteien stellte der Gerichtspräsident mit rechtskräftig gewordener Verfügung vom 23. September 1999 fest, dass die Parteien seit dem 1. Mai 1999 getrennt leben, und wies den Antrag der Ehefrau um Zuspruch eines Unterhaltsbeitrages für sie persönlich ab (Bejahung der Erwerbsfähigkeit). Auf erneuten Antrag der Ehefrau, ihr sei ein Unterhaltsbeitrag zuzusprechen, weil sie inzwischen von ihrem Lebenspartner (Herr B._) zwei 2000 und 2001 geborene Töchter habe und nicht mehr arbeiten könne, verfügte der Gerichtspräsident am 29. Mai 2001, der Ehemann habe der Ehefrau ab dem 1. Juni 2000 bis und mit März 2001 einen monatlich vorauszahlbaren Unterhaltsbeitrag von Fr. 200.-- und ab April 2001 von Fr. 400.-- zu entrichten.
Die Nichtigkeitsbeschwerde von R.H._, mit der er um Aufhebung der ihm auferlegten Rentenpflicht ersucht hatte, hiess das Obergericht des Kantons Solothurn mit Urteil vom 16. Oktober 2001 insoweit gut, als es die erstinstanzlich angeordnete Rente bloss ab dem 1. Februar 2001 als geschuldet erachtete; die Verfahrenskosten regelte es auf der Basis der beiden Parteien gewährten unentgeltlichen Rechtspflege.
R.H._ beantragt mit staatsrechtlicher Beschwerde, das obergerichtliche Urteil sei insoweit aufzuheben, als ihm dieses eine Rentenpflicht und die Verfahrenskosten auferlege. D.H._ schliesst auf Abweisung der staatsrechtlichen Beschwerde. Das Obergericht beantragt, auf die staatsrechtliche Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Beide Parteien ersuchen um unentgeltliche Rechtspflege.
2.- Das Obergericht hält zunächst mit Recht fest, die Art des Zusammenlebens zwischen der Beschwerdegegnerin und ihrem Lebenspartner sei Tatfrage (<ref-ruling> E. 2a/bb S. 54 f.; <ref-ruling> E. 3b S. 238: Konkubinat als Wohn-, Tisch- und Bettgemeinschaft). Im Massnahmeverfahren sei von weitläufiger Beweisabnahme in der Regel abzusehen; der Richter solle die vorsorglichen Massregeln anordnen, sobald ihm die nächstliegenden Auskunftsmittel eine sachgerechte Entscheidung ermöglichen. Angesichts der erheblichen Sozialbeiträge, die sicher erst nach seriösen Abklärungen zugesprochen worden seien, müsse nicht geklärt werden, was der Lebenspartner der Beschwerdegegnerin verdienen und an den gemeinsamen Haushalt beitragen könne. Weiter schildert es seine Kognition, die es mit der des Bundesgerichts bei Willkür vergleicht, und führt zum Konkubinat in der Sache aus, die Beschwerdegegnerin habe mit ihrem Sohn aus erster Ehe und den zwei Kindern des Lebenspartners zur Zeit der erstinstanzlichen Verfügung zwei Jahre zusammengelebt. Im Zeitpunkt ihres Auszuges aus der ehelichen Wohnung habe sie vor der Ehe ein Jahr und danach zwei Jahre mit dem Beschwerdeführer zusammengelebt.
Schliesslich hält das Obergericht aus zwei Gründen dafür, es liege kein (den Rentenanspruch ausschliessendes) Konkubinat vor. Erstens habe der Lebenspartner die Beschwerdegegnerin nicht existenzsichernd unterstützt. Zweitens habe der erstinstanzliche Richter willkürfrei davon ausgehen dürfen, es liege kein qualifiziertes Konkubinat vor; denn ein solches dürfe vor Ablauf von fünf Jahren nicht vermutet werden.
Daher sei gemäss <ref-ruling> ff. während des Ehescheidungsverfahrens Unterhalt geschuldet.
a) Der Beschwerdeführer rügt in der Sache, das Konkubinat dauerte gleich lang, wie die Ehe der Parteien gelebt worden sei; dem Konkubinat seien schon zwei Kinder entsprossen.
Vom blossen Zusammenleben eines Liebespaares könne nicht gesprochen werden, weil die Beschwerdegegnerin und ihr Lebenspartner gemeinsam für zwei Kinder sorgen würden; es liege eine ausschliessliche und auf Dauer angelegte Beziehung vor, die - wie die Ehe - auf Treue und Beistand beruhe (<ref-law>). Ob die Beschwerdegegnerin von ihrem Lebenspartner finanziell unterstützt werde, sei somit irrelevant; übrigens sei dieser finanziell nicht in der Lage, die Kinder hinreichend zu unterstützen. Dass die wirtschaftlichen Vorteile eines Konkubinats nur eine untergeordnete Rolle spielten, hätten sowohl das Bundesgericht als auch das Obergericht in einem anderen Fall entschieden. Indem dieses hier die wirtschaftliche Komponente überbewerte und die Frage der Verbundenheit der Konkubinatspartner ausser Acht lasse, habe es willkürlich entschieden; ein verbindlicheres und engeres Zusammenleben als im vorliegenden Fall sei ausserhalb einer Eheschliessung gar nicht möglich.
b) Lebt der rentenberechtigte Ehegatte in einem so stabilen Konkubinat, dass dieses bezüglich der gegenseitigen Unterstützung mit einer Ehe verglichen werden kann, begeht er Rechtsmissbrauch, wenn er von seinem Ehegatten Unterhalt verlangt (<ref-ruling> E. 2a; <ref-ruling> E. 2c/aa S. 226 f.; <ref-ruling> E. 3 S. 397). Das Obergericht hat ein Konkubinat verneint, weil der Lebenspartner der Beschwerdegegnerin wirtschaftlich nicht in der Lage ist, diese zu unterstützen. Damit reduziert es die Beistandspflicht willkürlich auf die finanzielle Komponente und verkennt, dass für die Bejahung der Frage, ob eine Lebensgemeinschaft als stabiles Konkubinat qualifiziert werden darf, die gegenseitige Zuneigung und die Qualität der Schicksalsgemeinschaft nicht weniger entscheidend sind. Bloss der Umstand, dass die Konkubinatspartner sich gegenseitig finanziell nicht unterstützen können, reicht zur Verneinung eines Konkubinats nicht aus. Denn dessen Vorliegen darf nicht von der Frage abhängen, ob der Rentengläubiger vom Konkubinatspartner finanziell besser versorgt wird als vom Rentenschuldner (<ref-ruling> E. 2a/aa S. 54; <ref-ruling> E. 3 S. 397 f.; <ref-ruling> E. 1a S. 297 unten). Auf die neuen wirtschaftlichen Verhältnisse kommt es auch für das Erlöschen der Scheidungsrente bei Wiederverheiratung des Rentengläubigers nicht an (<ref-law>). Mit der auf die finanzielle Beistandspflicht eingeengten Sichtweise hat das Obergericht willkürlich geurteilt (vgl. BGE <ref-ruling> E. 3b a.E. S. 238). Entgegen seiner Ansicht kann auch aus <ref-ruling> nichts anderes abgeleitet werden. Denn in diesem Fall bejahte das Bundesgericht Willkür bloss deshalb, weil das kantonale Gericht nicht geprüft hatte, ob die wirtschaftlichen Verhältnisse der im Konkubinat lebenden Rentengläubigerin gestatten, ihren Lebensbedarf doppelt gedeckt zu erhalten (a.a.O. E. 2c/bb S. 227).
c) Bei Bejahung eines stabilen Konkubinats besteht kein Unterhaltsanspruch mehr. Infolgedessen stellt sich die in der nachstehenden Erwägung abgehandelte Frage nur für den Fall, dass der Konkubinatstatbestand erneut verneint werden sollte.
3.- Das Obergericht will der Beschwerdegegnerin kein hypothetisches Einkommen in der Höhe des vor der Niederkunft des ersten Kindes mit ihrem Lebenspartner erzielten Einkommens anrechnen mit der Begründung, sie könne keiner Erwerbstätigkeit mehr nachgehen. Die Beschwerdegegnerin habe diese nicht im verlangten Sinn freiwillig aufgegeben; die Erwerbseinbusse könne nicht rückgängig gemacht werden. Ein hypothetisches Einkommen dürfe nicht angerechnet werden, weil die Beschwerdegegnerin die Arbeit weder böswillig noch in Schädigungsabsicht aufgegeben habe; sie habe die Kinder betreuen wollen. Schliesslich spreche gegen die Anrechnung eines hypothetischen Einkommens auch, dass die vom Beschwerdeführer erhältliche Rente zur Sicherung der Existenz der Beschwerdegegnerin nicht ausreiche.
Der Beschwerdeführer wendet ein, eine Mutterschaft bedinge nicht zwangsläufig die Aufgabe der Erwerbstätigkeit.
Wohl könnten die Geburten nicht rückgängig gemacht werden.
Indessen sei die im Konkubinat gelebte Rollenverteilung nicht zwingend, und auch Müttern verbiete das Arbeitsgesetz nicht, einem Erwerb nachzugehen. Wenn der Partner der Beschwerdegegnerin diese nicht unterstützen könne und ihr bei der Betreuung der Kinder helfe, so sei eine andere Rollenverteilung auch deshalb zu wählen, weil die Beschwerdegegnerin als Serviceangestellte sofort eine Stelle fände. Auf die Böswilligkeit komme offensichtlich nichts an; die Beschwerdegegnerin habe ihre Erwerbstätigkeit freiwillig aufgegeben. Das Obergericht habe ohne stichhaltige Gründe auf nicht massgebliche Überlegungen abgestellt.
a) Mit zur Veröffentlichung bestimmtem Urteil vom 30. November 2001 i.S. H., E. 4a (5P. 322/2001) hat das Bundesgericht in einem Eheschutzverfahren (wie hier mit Willkürkognition) erkannt, der Grund für den Verzicht auf ein höheres als das effektiv erzielte Einkommen sei unerheblich, weil die Anrechnung eines hypothetischen Einkommens nicht pönalen Charakter habe. Im Zentrum stehe daher die Frage, ob die betroffene Person ein höheres Einkommen erzielen könne, bzw. ob sie die Einkommenseinbusse effektiv rückgängig machen könne.
Dass auf diese Voraussetzung nach einem Teil der Lehre dann verzichtet werden dürfe, wenn das Erwerbseinkommen böswillig reduziert worden sei, könne hier dahin gestellt bleiben. Denn das Übergehen der Frage, ob ein höheres Einkommen tatsächlich erzielt werden könne, verletze die Verfassung (a.a.O. E. 4b).
b) Das Obergericht hat Böswilligkeit der Beschwerdegegnerin verneint und daraus gefolgert, ihr dürfe kein hypothetisches Einkommen angerechnet werden. Damit hat es will-kürlich entschieden, weil es die zentrale Frage, ob die Beschwerdegegnerin ihr Einkommen erhöhen kann, bestenfalls ansatzweise geprüft hat. Denn es verneint die Möglichkeit, das Einkommen zu steigern, bloss damit, die Beschwerdegegnerin müsse zwei Kinder betreuen und die Geburten könnten nicht rückgängig gemacht werden. Es weicht der Frage aus, ob die Rollenverteilung im Konkubinat geändert werden und die Beschwerdegegnerin erwerbstätig sein könnte. Beides ist besonders deshalb zu prüfen, weil der Lebenspartner der Beschwerdegegnerin diese sicher nicht existenzsichernd unterstützt und offenbar keiner vollen Erwerbstätigkeit nachgeht.
4.- Der Beschwerdeführer rügt weiter, die Beschwerdegegnerin habe ihren Unterhaltsanspruch verwirkt, weil sie die Umstände eigenmächtig verändert habe; sie handle treuwidrig, weil sie ihn unterhaltspflichtig machen wolle, obwohl sie die zwei letzten Kinder mit ihrem jetzigen Lebenspartner gezeugt habe. Weil die staatsrechtliche Beschwerde schon aus den genannten Gründen gutzuheissen ist, brauchen diese Rügen nicht mehr geprüft zu werden.
5.- Bei beiden Parteien sind die Voraussetzungen für die Bewilligung der unentgeltlichen Rechtspflege erfüllt (Art. 152 OG). Somit ist die Verfahrenshilfe beiden Parteien zu gewähren, soweit diese angesichts des Obsiegens des Beschwerdeführers nicht gegenstandslos geworden ist. Die den amtlichen Rechtsvertretern der Parteien zu entrichtenden Honorare werden entsprechend Art. 9 des Tarifs für die Entschädigung an die Gegenpartei für das Verfahren vor dem Bundesgericht vom 9. November 1978 (SR 173. 119.1) gekürzt. Angesichts der bescheidenen finanziellen Verhältnisse kann das Honorar der Fürsprecherin der Beschwerdegegnerin vorbehaltlos ausbezahlt werden.

Demnach erkennt das Bundesgericht:
1.- In Gutheissung der staatsrechtlichen Beschwerde wird das Urteil des Obergerichts (Zivilkammer) des Kantons Solothurn vom 16. Oktober 2001 aufgehoben.
2.- a) Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihm Rechtsanwältin Claudia Heusi, Solothurn, als amtliche Rechtsbeiständin bestellt.
b) Das Gesuch der Beschwerdegegnerin um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihr Fürsprecherin Dr. Franziska Ryser-Zwygart, Solothurn, als amtliche Rechtsbeiständin bestellt.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird der Beschwerdegegnerin auferlegt, einstweilen aber auf die Gerichtskasse genommen.
4.- Den in Ziff. 2 erwähnten Rechtsvertretern wird aus der Bundesgerichtskasse je ein Honorar von Fr. 1'500.-- ausgerichtet.
5.- Dieses Urteil wird den Parteien und dem Obergericht (Zivilkammer) des Kantons Solothurn schriftlich mitgeteilt.
_
Lausanne, 4. März 2002
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: