(Eheschutz), hat sich ergeben:
A.- Die Parteien B._ und E.B._ heirateten anfangs 1998. Am 15. Mai 2000 brachte die vormalige Ehefrau von B._ das von diesem gezeugte Kind A._ zur Welt.
B.-Mit Entscheid vom 23. Mai 2001 verpflichtete der Eheschutzrichter des Bezirksgerichts Brugg den Ehemann B._, seiner derzeitigen Ehefrau monatlich Fr. 639.-- an ihren Unterhalt zu bezahlen.
Auf Beschwerde des Ehemanns B._ und Anschlussbeschwerde der Ehefrau E.B._ erhöhte das Obergericht des Kantons Aargau, 5. Zivilkammer, den monatlichen Unterhaltsbeitrag an die Ehefrau mit Wirkung ab 10. Oktober 1999 auf Fr. 743.-- pro Monat. Im Übrigen wies es die Begehren ab.
C.-Mit staatsrechtlicher Beschwerde an das Bundesgericht beantragt der Ehemann, der angefochtene Entscheid sei aufzuheben, und die Sache sei zur Neubeurteilung an das Obergericht zurückzuweisen. Überdies ersucht er darum, dass der staatsrechtlichen Beschwerde aufschiebende Wirkung erteilt und dass ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege gewährt werde. Die Beschwerdegegnerin beantragt, das Gesuch um aufschiebende Wirkung sei abzuweisen.
Weitergehende Vernehmlassungen wurden nicht eingeholt.
D.- Mit Verfügung vom 21. Januar 2002 hat das Bundesgericht der staatsrechtlichen Beschwerde für die bis und mit November 2001 geschuldeten Unterhaltsbeiträge aufschiebende Wirkung erteilt und das diesbezügliche Gesuch des Beschwerdeführers im Übrigen abgewiesen.
Das Bundesgericht zieht in Erwägung:
1.-a) Entscheide der oberen kantonalen Instanzen betreffend Eheschutzmassnahmen gelten nicht als Endentscheide im Sinne von Art. 48 Abs. 1 OG und können folglich nicht mit Berufung angefochten werden (BGE 127 III 474 E. 2c). Zulässig sind einzig eidgenössische Nichtigkeitsbeschwerde (BGE 91 II 412 E. 1 S. 416; 95 II 68 E. 1 S. 71) oder staatsrechtliche Beschwerde (BGE 80 I 305 E. 2; 114 II 18 E. 1 S. 20; 116 II 21 E. 1 S. 23). Im vorliegenden Fall werden keine Rügen im Sinne von Art. 68 ff. OG erhoben. Im Lichte der absoluten Subsidiarität (Art. 84 Abs. 2 OG) erweist sich die staatsrechtliche Beschwerde somit als zulässig.
b) Der angefochtene Entscheid schliesst das in Frage stehende Eheschutzverfahren ab. Es liegt demnach ein Endentscheid im Sinne von Art. 86 Abs. 1 i.V.m. Art. 87 OG vor.
c) Von hier nicht zutreffenden Ausnahmen abgesehen, ist die staatsrechtliche Beschwerde rein kassatorischer Natur (BGE 121 I 326 E. 1b; 125 I 104 E. 1b; letztmals 126 II 377 E. 8c). Zulässig ist somit grundsätzlich einzig das Rechtsbegehren, das Urteil des Obergerichts sei aufzuheben. Gegebenenfalls hat das Obergericht ohne besondere Anweisung der erkennenden Abteilung unter Berücksichtigung der Ergebnisse des vorliegenden Verfahrens neu zu entscheiden (BGE 122 I 250 E. 2 mit Hinweisen).
2.- Der Beschwerdeführer hat vor Obergericht geltend gemacht, bei der Berechnung seines Existenzminimums sei monatlich ein Betrag von Fr. 300.-- zu berücksichtigen, den er an den Unterhalt seines mit seiner vormaligen Ehefrau gezeugten, im Mai 2000 geborenen Kindes A._ bezahle. Das Obergericht ist im Rahmen der Beweiswürdigung zum Schluss gekommen, der Nachweis, dass der Beschwerdeführer tatsächlich Kinderunterhaltsbeiträge zahle, sei nicht erbracht. Es hat deshalb auf eine Anrechnung von Kinderunterhaltsbeiträgen verzichtet.
Der Beschwerdeführer rügt diese Beweiswürdigung als willkürlich. Das Obergericht habe einseitig auf das Fehlen von Zahlungsbelegen abgestellt. Die von seiner vormaligen Ehefrau ausgestellte Quittung erfülle formal und inhaltlich die Anforderungen an eine Beweisurkunde. Das Obergericht habe dieser Bestätigung in willkürlicher Weise die Eignung zum Beweis aberkannt. Dem Urteil könne kein Wort dazu entnommen werden, weshalb nicht auf das Bestätigungsschreiben der ehemaligen Ehefrau abgestellt werden könne. Der Hinweis, dass diese am Ausgang des Verfahrens interessiert sei, genüge nicht, um die Bestätigung als Beweismittel zu entkräften. Die Begründung des Obergerichts leide an einem nicht auflösbaren inneren Widerspruch: hätte die vormalige Ehefrau solche Zahlungen nicht erhalten, wäre sie nicht aus Gefälligkeit bereit gewesen, deren Eingang zu bestätigen.
a) aa) Der Unterhaltspflichtige hat grundsätzlich ein Recht darauf, dass sein Existenzminimum gewahrt bleibe (BGE 126 III 353 E. 1a/aa). Unterhaltsbeiträge an Dritte werden im Rahmen des Existenzminimums nur dann berücksichtigt, wenn sie tatsächlich entrichtet werden. Eine behauptete Tatsache ist von jener Partei zu beweisen, die daraus ein Recht ableitet; die beweisbelastete Partei trägt die Folgen, wenn der Beweis nicht erbracht werden kann (Art. 8 ZGB).
Behauptet der Beschwerdeführer, er bezahle regelmässig Unterhaltsbeiträge von Fr. 300.--, so hat er dies zu beweisen.
bb) Bei der Beweiswürdigung steht dem Sachrichter ein weiter Spielraum des Ermessens zu (BGE 83 I 7 S. 9; 120 Ia 31 E. 4b). Willkür in der Beweiswürdigung liegt vor, wenn das Gericht in seinem Entscheid von Feststellungen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen, auf einem offenkundigen Fehler beruhen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen. Demgemäss ist Beweiswürdigung etwa willkürlich, wenn das Gericht einseitig einzelne Beweise berücksichtigt und andere, aus denen sich Gegenteiliges ergeben könnte, ausser Acht lässt (BGE 118 Ia 28 E. 1b).
b) Zur Frage, ob der Nachweis der Leistung von Kinderunterhaltsbeiträgen erbracht ist, hat das Obergericht erwogen, der Beschwerdeführer habe solche Zahlungen erst im Beschwerdeverfahren behauptet, er könne keine Zahlungsbelege vorweisen und habe nicht einmal die angeblichen Geldboten mit Namen und Adresse bezeichnet. Die Rüge des Beschwerdeführers, das Obergericht habe einseitig auf das Fehlen von Zahlungsbelegen abgestellt, ist demnach unbegründet: Es hat auch den (späten) Zeitpunkt des Vorbringens gewürdigt sowie den Mangel an Angaben über allfällige Zeugen. Mit seinen Erklärungen für das Fehlen der Zahlungsbelege kann der Beschwerdeführer Willkür demzufolge nicht dartun, zumal er sich mit den weiteren vom Obergericht angeführten Indizien nicht auseinander setzt.
c) aa) Die Begründung eines Entscheides muss so abgefasst sein, dass der Betroffene ihn gegebenenfalls sachgerecht anfechten kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde leiten liess, und auf welche sich ihr Entscheid stützt (BGE 112 Ia 107 E. 2b S. 110; 126 I 97 E. 2b).
bb) Neben den oben genannten Elementen hat das Obergericht auch das Bestätigungsschreiben der vormaligen Ehefrau des Beschwerdeführers und Mutter des unterhaltsberechtigten Kindes gewürdigt. Entgegen der Rüge des Beschwerdeführers hat das Obergericht sehr wohl begründet, weshalb es dem Schreiben keinen Glauben schenkte, nämlich weil die Autorin am Ausgang des Verfahrens interessiert sei. Nachdem der Beschwerdeführer diese Begründung als willkürlich rügt, war ihm offensichtlich die sachgerechte Anfechtung möglich. Die Rüge der fehlenden Begründung ist deshalb abzuweisen.
d) Entgegen der Auffassung des Beschwerdeführers leidet diese Begründung auch nicht an einem unauflösbaren inneren Widerspruch: Wenn die vormalige Ehefrau keine Unterhaltsbeiträge erhalten hat, so schliesst dies nicht zwingend aus, dass sie dem Beschwerdeführer gefälligkeitshalber eine Bestätigung ausstellt; auch die Hoffnung künftiger Zahlungen kann sie dazu bewogen haben. Im Umstand, dass das Obergericht aufgrund der Interessenlage an der Glaubwürdigkeit des Bestätigungsschreibens gezweifelt hat, liegt demnach keine Willkür.
e) Da die Zweifel des Obergerichts auf der Interessenlage bzw. der Glaubwürdigkeit der Autorin des Schreibens und nicht etwa auf dessen Form oder Inhalt gründen, ist nicht massgeblich, ob dieses die Anforderungen an eine Beweisurkunde erfüllt. Auf die diesbezüglichen Ausführungen des Beschwerdeführers ist deshalb nicht einzutreten; dies umso mehr, als er nicht geltend macht, aus der Form und dem Inhalt der Bestätigung ergäben sich Hinweise auf die Glaubwürdigkeit der Autorin.
3.-Die staatsrechtliche Beschwerde ist demnach abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerdeführer wird damit kostenpflichtig und hat die Beschwerdegegnerin für ihre Stellungnahme zum Antrag um aufschiebende Wirkung zu entschädigen (Art. 156 Abs. 1 und Art. 159 Abs. 1 und 2 OG). Seinem Gesuch um unentgeltliche Rechtspflege kann nicht entsprochen werden, da seine Beschwerde von vornherein offensichtlich unbegründet und die Begehren folglich aussichtslos gewesen sind (Art. 152 OG).
Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.-Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.-Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.-Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
4.-Der Beschwerdeführer hat der Beschwerdegegnerin eine Parteientschädigung von Fr. 500.-- zu bezahlen.
5.-Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, 5. Zivilkammer, schriftlich mitgeteilt.
_
Lausanne, 1. Februar 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: