(Eheschutz), hat sich ergeben: A.- Die Parteien B._ und E.B._ heirateten anfangs 1998. Am 15. Mai 2000 brachte die vormalige Ehefrau von B._ das von diesem gezeugte Kind A._ zur Welt. B.-Mit Entscheid vom 23. Mai 2001 verpflichtete der Eheschutzrichter des Bezirksgerichts Brugg den Ehemann B._, seiner derzeitigen Ehefrau monatlich Fr. 639.-- an ihren Unterhalt zu bezahlen. Auf Beschwerde des Ehemanns B._ und Anschlussbeschwerde der Ehefrau E.B._ erhöhte das Obergericht des Kantons Aargau, 5. Zivilkammer, den monatlichen Unterhaltsbeitrag an die Ehefrau mit Wirkung ab 10. Oktober 1999 auf Fr. 743.-- pro Monat. Im Übrigen wies es die Begehren ab. C.-Mit staatsrechtlicher Beschwerde an das Bundesgericht beantragt der Ehemann, der angefochtene Entscheid sei aufzuheben, und die Sache sei zur Neubeurteilung an das Obergericht zurückzuweisen. Überdies ersucht er darum, dass der staatsrechtlichen Beschwerde aufschiebende Wirkung erteilt und dass ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege gewährt werde. Die Beschwerdegegnerin beantragt, das Gesuch um aufschiebende Wirkung sei abzuweisen. Weitergehende Vernehmlassungen wurden nicht eingeholt. D.- Mit Verfügung vom 21. Januar 2002 hat das Bundesgericht der staatsrechtlichen Beschwerde für die bis und mit November 2001 geschuldeten Unterhaltsbeiträge aufschiebende Wirkung erteilt und das diesbezügliche Gesuch des Beschwerdeführers im Übrigen abgewiesen.