(Eheschutzmassnahmen), hat sich ergeben:
A.- Der Amtsgerichtspräsident von Olten-Gösgen übertrug das Verfahren, in welchem Y._ zu einer Aussöhnungsverhandlung betreffend Ehescheidung hatte laden lassen, am 28. September 1999 in das Eheschutzverfahren; er bewilligte Y._ und X._ das Getrenntleben auf unbestimmte Zeit, stellte fest, dass sie bereits seit längerer Zeit getrennt leben, verurteilte X._ rückwirkend auf den
1. April 1999 zu monatlich vorauszahlbaren Unterhaltsbeiträgen an Y._ von Fr. 750.-- und schrieb das Eheschutzverfahren als erledigt am Protokoll ab.
Das Obergericht des Kantons Solothurn wies den von X._ gegen diesen Entscheid eingelegten Rekurs am 4. Februar 2000 ab.
B.- X._ führt staatsrechtliche Beschwerde wegen Verletzung von Art. 9 und 29 Abs. 2 BV mit dem Antrag, den Entscheid des Obergerichtes aufzuheben und die Sache zu neuer Entscheidung an dieses zurückzuweisen; er ersucht ferner um unentgeltliche Rechtspflege.
Der staatsrechtlichen Beschwerde ist am 31. März 2000 hinsichtlich der Verurteilung zu Unterhaltsbeiträgen aufschiebende Wirkung erteilt worden.
Y._ schliesst auf Abweisung der staatsrechtlichen Beschwerde; sie ersucht ihrerseits um unentgeltliche Rechtspflege. Das Obergericht hat auf Gegenbemerkungen verzichtet, beantragt aber ebenso Abweisung der staatsrechtlichen Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Der Rückweisungsantrag ist zulässig, aber überflüssig, da das Obergericht im Falle der Gutheissung der staatsrechtlichen Beschwerde ohnehin den Erwägungen des Bundesgerichts entsprechend neu zu entscheiden hätte (<ref-ruling> E. 3c/bb S. 354 mit Hinweisen).
2.- Der Beschwerdeführer rügt, das Obergericht sei in Verletzung des Gehörsanspruchs und des Willkürverbots zum Schluss gelangt, die Voraussetzungen zur Aufhebung des gemeinsamen Haushalts seien erfüllt.
a) Da der Beschwerdeführer keine Verletzung kantonaler Verfahrensvorschriften rügt, ist einzig und zwar mit freier Kognition zu prüfen, ob das rechtliche Gehör wie es <ref-law> als Verfahrensgarantie festschreibt, verletzt worden ist (vgl. die bundesgerichtliche Rechtsprechung zu Art. 4 aBV: <ref-ruling> f. E. 2; <ref-ruling> f. E. 3a, je mit Hinweisen). Aufgrund der formellen Natur des Anspruchs auf rechtliches Gehör führt seine Verletzung ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung des angefochtenen Entscheids. Die entsprechende Rüge ist deshalb vorweg zu prüfen (<ref-ruling> E. 2a mit Hinweisen).
b) Das rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2b mit Hinweisen; <ref-ruling> E. 3b; <ref-ruling> E. 1c; <ref-ruling> E. 2b S. 10 f. mit Hinweisen). Wie bereits aus Art. 4 aBV (<ref-ruling>) lässt sich auch aus <ref-law> ein Recht auf Replik ableiten, sofern in der Beschwerdeantwort neue und erhebliche Gesichtspunkte geltend gemacht werden, zu denen der Beschwerdeführer noch keine Stellung nehmen konnte.
c) Die Verletzung des Gehörsanspruchs ist offensichtlich.
Das Obergericht stellt fest, dem Protokoll der erstinstanzlichen Verhandlung zufolge habe die Beschwerdegegnerin damals im Wesentlichen geltend gemacht, es gehe nicht mehr in der Ehe; ob sie dies näher umschrieben habe, sei nicht ersichtlich. Erst in der Stellungnahme zum Rekurs des Beschwerdeführers sei sie konkreter geworden, indem sie behauptet habe, die Ehe sei nur aus aufenthaltsrechtlichen Gründen eingegangen worden, der Beschwerdeführer gegen sie gewalttätig gewesen, und er habe die Vaterschaftsvermutung gegenüber Z._ unverzüglich nach der Geburt (erfolgreich) angefochten. Wenn diese Ausführungen für sich allein betrachtet die angebliche Gefährdung der Persönlichkeit auch nicht zu beweisen vermöchten, erschienen sie im Gesamtzusammenhang jedoch durchaus plausibel, bringe der Beschwerdeführer doch nichts vor, was die Darstellung der Beschwerdegegnerin als unglaubwürdig erscheinen liesse; vielmehr deute einiges darauf hin, dass seine Liebeserklärung ein blosses Lippenbekenntnis darstelle. Die Parteien lebten nach eigenen Angaben nun bereits seit mehr als zwei Jahren getrennt. Der Beschwerdeführer weise mit keiner Silbe auf irgendwelche Bemühungen hin, die Beschwerdegegnerin zurückzugewinnen; seine einzige aktenkundige Aktivität habe darin bestanden, die Vaterschaft von Z._ vor Bezirksgericht anzufechten.
Unter diesen Umständen habe die Beschwerdegegnerin glaubhaft gemacht, dass es in der Ehe nicht mehr gehe und ihr ein weiteres Zusammenleben mit dem Beschwerdeführer nicht mehr zumutbar sei.
Wie aus diesen Erwägungen zweifelsfrei hervorgeht, gründet das Obergericht seine Erkenntnis einerseits auf Vorbringen der Beschwerdegegnerin in der Stellungnahme zum Rekurs des Beschwerdeführers, zu denen sich dieser freilich nicht hat äussern können. Anderseits wirft das Obergericht dem Beschwerdeführer vor, nichts vorgetragen zu haben, was die Darstellung der Ehefrau unglaubwürdig erscheinen liesse, wozu er freilich nur in der Lage gewesen wäre, wenn er die Darstellungen der Beschwerdegegnerin vorher gekannt hätte.
Vermag das angefochtene Urteil demnach den Anforderungen von <ref-law> nicht zu genügen, so ist der angefochtene Entscheid wie beantragt aufzuheben, ohne dass die Willkürrüge noch zu prüfen wäre.
3.- Die Beschwerdegegnerin wird zufolge ihres Unterliegens kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und 159 Abs. 2 OG).
Der Beschwerdeführer ist bereits im kantonalen Verfahren in den Genuss der unentgeltlichen Rechtspflege gelangt; sein entsprechendes Gesuch für das Verfahren vor Bundesgericht wird insoweit gegenstandslos, als keine Gerichtskosten erhoben werden. Im Übrigen aber ist es gutzuheissen, da eine Parteientschädigung von der Beschwerdegegnerin, der ebenfalls bereits im kantonalen Verfahren die unentgeltliche Rechtspflege bewilligt worden ist, nicht erhältlich sein wird. Da sich die Beschwerdegegnerin notwendigerweise verteidigen musste, ist auch ihr Gesuch um unentgeltliche Rechtspflege gutzuheissen. Den Parteien ist je ein amtlicher Rechtsbeistand beizugeben.

Demnach erkennt das Bundesgericht:
1.-Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Obergerichts des Kantons Solothurn, Zivilkammer, vom 4. Februar 2000 wird aufgehoben.
2.-a) Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist; ihm wird Rechtsanwalt Adrian Blättler, Elisabethenstrasse 16, Postfach, 8026 Zürich, als Rechtsbeistand beigegeben.
b) Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege wird gutgeheissen und ihr Fürsprecherin Brigitta Vogt Stenz, Marktplatz 2, Postfach, 5734 Reinach, als Rechtsbeistand beigegeben.
3.-Die Gerichtsgebühr von Fr. 800.-- wird der Beschwerdegegnerin auferlegt, einstweilen aber auf die Bundesgerichtskasse genommen.
4.-Rechtsanwalt Blättler und Fürsprecherin Vogt werden mit je Fr. 800.-- aus der Bundesgerichtskasse entschädigt.
5.-Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
_
Lausanne, 8. Juni 2000
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: