(Rechtsöffnung), hat sich ergeben:
A.- Mit Zahlungsbefehl vom 28. Februar 2001 betrieb X._ Y._ für den Betrag von Fr. 14'000.-- nebst Zins und Kosten. Als Grund der Forderung gab sie an:
"Restbetrag von Ecole d'Humanité Hasliberg, laut Urteil vom Obergericht des Kantons Zürich vom 6. November 2000. " Y._ erhob Rechtsvorschlag.
Am 13. März 2001 stellte X._ beim Gerichtspräsidium Zurzach das Begehren um definitive Rechtsöffnung für den genannten Betrag. Y._ erhob die Einwendung der Tilgung durch Verrechnung und beantragte die Abweisung des Begehrens. Er stützte seine Gegenforderung ebenfalls auf das Urteil des Obergerichts vom 6. November 2000. Am 5. Juni 2001 wies der Gerichtspräsident von Zurzach das Begehren ab.
B.- Am 21. Juni 2001 erhob X._ Beschwerde beim Obergericht des Kantons Aargau und stellte im Wesentlichen den Antrag, es sei definitive Rechtsöffnung im genannten Betrag zu gewähren und es sei festzustellen, dass die Forderung nicht durch Verrechnung getilgt sei.
Y._ beantragte die Abweisung der Beschwerde. Am 21. November 2001 wies das Obergericht die Beschwerde ab.
C.- Mit Eingabe vom 24. Januar 2002 hat X._ staatsrechtliche Beschwerde erhoben mit dem Antrag, der Entscheid des Obergerichts des Kantons Aargau vom 21. November 2001 sei aufzuheben und zur Neubeurteilung zurückzuweisen.
Zudem sei ihr unentgeltliche Rechtspflege zu gewähren. Vernehmlassungen sind nicht eingeholt worden.
Das Bundesgericht zieht in Erwägung:
1.- Beim angefochtenen Rechtsöffnungsentscheid handelt es sich um einen kantonal letztinstanzlichen Entscheid, der mit keinem anderen Rechtsmittel angefochten werden kann. Auf die staatsrechtliche Beschwerde kann grundsätzlich eingetreten werden (Art. 84 Abs. 2 und 87 OG). Die staatsrechtliche Beschwerde ist von hier nicht zutreffenden Ausnahmen abgesehen rein kassatorischer Natur (BGE 127 II 1 E. 2c S. 5). Auf den Rückweisungsantrag kann daher nicht eingetreten werden.
2.- Das Obergericht ist in seinem Urteil davon ausgegangen, dass die Forderung der Beschwerdeführerin auf einem vollstreckbaren gerichtlichen Urteil im Sinne von Art. 81 Abs. 1 SchKG beruhe, so dass die definitive Rechtsöffnung erteilt werde, wenn nicht der Betriebene durch Urkunden beweise, dass die Schuld durch Verrechnung getilgt sei. Der Beschwerdegegner stütze seine Gegenforderung auf das gleiche Urteil des Obergerichts vom 6. November 2000, worin erkannt worden sei, dass sich die Unterhaltsbeiträge hälftig reduzierten, solange die Töchter zumindest während der Woche in einem Heim untergebracht seien. Der Beschwerdegegner habe weiter Zahlungsbelege und Kontoauszüge eingereicht, welche seine Unterhaltszahlungen in ungekürztem Betrag belegten. Schliesslich habe er zwei Schreiben der Fürsorgebehörde Hausen ins Recht gelegt, welche ausführten, dass die beiden Töchter während der fraglichen Zeit während der Woche in Heimen untergebracht gewesen seien. Der Beschwerdegegner habe daher den Urkundenbeweis für den Bestand seiner Gegenforderung erbracht, so dass er berechtigt gewesen sei, die Verrechnungseinrede zu erheben. Nach Art. 125 Ziff. 2 OR könnten zwar gegen den Willen der Beschwerdeführerin Unterhaltsansprüche, die zu ihrem Unterhalt und demjenigen ihrer Familie unbedingt erforderlich seien, nicht durch Verrechnung getilgt werden. Die Beschwerdeführerin habe daher zu beweisen, dass die vom Beschwerdegegner geltend gemachte Verrechnung in ihr betreibungsrechtliches Existenzminimum eingreife. Dies habe sie in ihrem Rechtsöffnungsbegehren nicht getan.
Es habe weder Anlass bestanden, ihr Gelegenheit zur Replik vor erster Instanz zu geben noch seien ihre im Beschwerdeverfahren neu eingereichten Beweise zur Bedürftigkeit beachtlich. Art. 84 Abs. 2 SchKG, der verlange, dass nach Eingang des Gesuchs und Einholen der mündlichen oder schriftlichen Stellungnahme der Entscheid innert fünf Tagen zu eröffnen sei, schränke den Gehörsanspruch ein. Die Verweigerung der Replik verletze den Gehörsanspruch nicht. Daraus folge, dass es auch keiner Heilung eines Mangels im Rechtsmittelverfahren bedürfe, respektive eine solche möglich wäre.
Die Beschwerdeführerin rügt eine Verletzung ihres Anspruchs auf rechtliches Gehör, indem sie im Rahmen des Rechtsöffnungsverfahrens der Möglichkeit beraubt worden sei, zu der vom Beschwerdegegner erhobenen Einrede der Verrechnung Stellung zu nehmen. Sie bestreite zwar den Bestand der Gegenforderung nicht, sie bestreite aber die Zulässigkeit der Verrechnung, weil eine solche in ihr betreibungsrechtliches Existenzminimum eingreife. Das Obergericht habe die Gehörsverletzung zu Unrecht verneint.
3.- a) Der Bundesgesetzgeber hat es den Kantonen überlassen, das summarische Verfahren, in welchem Rechtsöffnungsgesuche zu behandeln sind, zu regeln (Art. 25 Ziff. 2 SchKG). Im Kanton Aargau ist das summarische Verfahren in den §§ 289-316 ZPO geordnet. Die kantonalen Bestimmungen äussern sich indessen zur Frage eines Replik- und Duplikrechts nicht (§ 292 ZPO). In der Lehre wird zu § 292 ZPO, welcher die mündliche Verhandlung und eventuelle schriftliche Antwort regelt, teils die Meinung vertreten, ein Anspruch auf Replik und Duplik dürfte nicht bestehen (Eichenberger, Zivilrechtspflegegesetz des Kantons Aargau, 1987, N. 3 zu § 292) teils wird ausgeführt, Replik und Duplik könnten nicht generell versagt werden (Bühler/ Edelmann/Killer, Kommentar zur aargauischen Zivilprozessordnung, 1998, N. 9 zu § 292). Das Obergericht stützt seinen Entscheid nicht auf das kantonale Recht und die Beschwerdeführerin macht auch nicht dessen willkürliche Anwendung geltend.
b) Die Parteien haben gemäss Art. 29 Abs. 2 BV Anspruch auf rechtliches Gehör. Dieser Anspruch gewährleistet unter anderem das Äusserungsrecht zu neuen Tatsachen und Beweismitteln, was bedeuten würde, dass sich der Gläubiger zu den Urkunden äussern kann, mit denen der Schuldner die Tilgung der Schuld beweisen will (Gilliéron, Commentaire de la LP, N. 61 zu Art. 84). Allerdings hält der dem kantonalen Recht ebenfalls vorgehende Art. 84 SchKG den Richter im Rechtsöffnungsverfahren dazu an, innert fünf Tagen seit Anbringen des Begehrens und nach Anhören der Parteien zu entscheiden. Diese Bestimmung sieht keine Replik des Gläubigers vor und steht daher in einem gewissen Spannungsverhältnis zum Gehörsanspruch. Das Replikrecht ist in der Praxis vieler Kantone denn auch nicht vorgesehen (Daniel Staehelin, Kommentar zum BG über Schuldbetreibung und Konkurs, SchKG I, N. 49 zu Art. 84). Der Sinn dieser Ordnungsvorschrift (BGE 104 Ia 465 E. 3 S. 468) verlangt von der richterlichen Behörde Handeln ohne Aufschub, verbietet aber weder Replik noch Duplik in grundsätzlicher Weise. Das Bundesgericht hat ausgeführt, dass weder aus Art. 84 SchKG noch aus dem verfassungsrechtlichen Gehörsanspruch ein generelles Recht auf einen weiteren Schriftenwechsel im Rechtsöffnungsverfahren abgeleitet werden könne. Es hat deshalb die Verfahrensordnung des Kantons Thurgau geschützt, welche die Möglichkeit des doppelten Schriftenwechsels nur in Ausnahmefällen zulässt (BGE 104 Ia 14 nicht publizierte E. 1; so auch Jaeger/Walder/Kull/Kottmann, Bundesgesetz über Schuldbetreibung und Konkurs, 4. Aufl. , N. 2 zu Art. 84). In jenem Fall verneinte es das Vorliegen eines Ausnahmefalls, weil sich die materiellen Einwendungen der Schuldnerin kaum von denjenigen anderer Rechtsöffnungsverfahren unterschieden.
Gleich entschied das Bundesgericht in seinem Urteil P.944/ 1977 vom 22. März 1978 i.S. B. bezüglich einer Verrechnungseinrede im Rechtsöffnungsverfahren, weil sich der Gläubiger bereits im Rechtsöffnungsgesuch zu dieser Einrede geäussert habe. Auch bei der Verrechnungseinrede muss demnach nicht in jedem Fall Gelegenheit zur Replik eingeräumt werden. Vielmehr ist im Einzelfall durch Abwägen der einander gegenüberstehenden Interessen zu ermitteln, ob ein Äusserungsanspruch besteht (vgl. BGE 106 Ia 4 S. 6). Insbesondere darf auch berücksichtigt werden, dass die Einrede der Verrechnung nur dann beachtlich und die definitive Rechtsöffnung zu verweigern ist, wenn für den Bestand und die Höhe der Gegenforderung völlig eindeutige Urkunden vorliegen, durch die ein strikter Beweis erbracht wird (vgl. BGE 102 Ia 363 E. 2c S. 367; 51 I 436 E. 2 S. 442).
c) Das Obergericht hat eingeräumt, dass die Verrechnungseinrede von Bundesrechts wegen (Art. 125 Ziff. 2 OR) ausgeschlossen sei, wenn Unterhaltsbeiträge zur Verrechnung gestellt würden, die zum Unterhalt der Beschwerdeführerin und ihrer Familie unbedingt erforderlich seien, die also in ihr Existenzminimum eingriffen. Das Gericht hat ausgeführt, für den Nachweis des Ausschliessungsgrundes sei aber nicht der Beschwerdegegner beweispflichtig, sondern die Beschwerdeführerin. Dies bedeutet, dass im vorliegenden Fall der Beschwerdegegner nicht den strikten Beweis erbringen musste, dass die Forderung durch Verrechnung getilgt war.
Bei dieser Sachlage musste die Beschwerdeführerin zum Nachweis des Ausschliessungsgrundes grundsätzlich zugelassen und ihr das Replikrecht eingeräumt werden. Der Anspruch auf rechtliches Gehör verlangt in einem solchen Fall, dass die Beschwerdeführerin im Rechtsöffnungsverfahren Gelegenheit erhält, mit Urkunden ihre Bedürftigkeit nachzuweisen.
d) Im vorliegenden Fall hat der Beschwerdegegner der Beschwerdeführerin allerdings mit Schreiben vom 8. Januar 2001 mitgeteilt, dass er einen Rückforderungsanspruch über Fr. 19'455.-- habe und dass dieser Anspruch mit seiner Verpflichtung auf Bezahlung von Fr. 14'000.-- verrechnet werde. Der Beschwerdegegner hat in diesem Schreiben darauf hingewiesen, dass er betreibungsrechtlich vorgehen werde, sofern die Beschwerdeführerin den Betrag nicht begleiche oder realistische Ratenzahlungen vorschlage. Die Beschwerdeführerin ist dem Beschwerdegegner zuvorgekommen und hat den Betreibungsweg vor diesem beschritten. Die Beschwerdeführerin wusste daher, dass der Beschwerdegegner von seinem Recht der Verrechnung Gebrauch gemacht hatte (Art. 124 Abs. 1 OR).
Gemäss Art. 124 Abs. 2 OR wird in diesem Fall angenommen, Forderung und Gegenforderung seien, soweit sie sich ausgleichen, schon im Zeitpunkt getilgt worden, in dem sie zur Verrechnung geeignet einander gegenüberstanden. Die Beschwerdeführerin hatte bei dieser Sachlage Anlass, bereits im Rechtsöffnungsgesuch vom 13. März 2001 zum Ausschlussgrund gemäss Art. 125 Ziff. 2 OR Stellung zu nehmen (vgl. auch Urteil 5P.63/1989 vom 3. Juli 1989 E. 7). Sie hatte keinen Anspruch, im Anschluss an die Gesuchsantwort in Form einer Replik zur erneut vorgetragenen Verrechnungseinrede Stellung nehmen zu können. Die Berechnung des Saldos zwischen Forderung und Gegenforderung aus dem nämlichen Urteil unter Berücksichtigung des Existenzminimums der Beschwerdeführerin ist in diesem Falle Sache des ordentlichen Verfahrens. Es entspricht dem Willen des Gesetzes, dass das Rechtsöffnungsverfahren von allen Beteiligten rasch durchgeführt und jede Verzögerung der Vollstreckung verhindert wird. Ferner steht nichts entgegen, dass ein neues Betreibungsverfahren eingeleitet wird, in welchem die Beschwerdeführerin ihre Einwände noch vorbringen kann.
4.- Die Beschwerdeführerin macht geltend, zumindest im Beschwerdeverfahren hätte ihr gestützt auf ihren Anspruch auf rechtliches Gehör Gelegenheit gegeben werden müssen, den Ausschliessungsgrund gemäss Art. 125 Ziff. 2 OR zu belegen.
Ob im zweitinstanzlichen Verfahren Noven eingereicht werden können, entscheidet das kantonale Recht (BGE 106 Ia 88 E. 1 S. 91; Daniel Staehelin, a.a.O., N. 90 zu Art. 84 SchKG mit weiteren Hinweisen). Die Beschwerdeführerin stützt sich nicht auf das kantonale Recht und macht nicht dessen willkürliche Anwendung geltend. Dass der Anspruch auf rechtliches Gehör im vorliegenden summarischen Verfahren um definitive Rechtsöffnung nicht verletzt worden ist, ist bereits dargelegt worden. Die Beschwerde muss abgewiesen werden, soweit darauf eingetreten werden kann.
5.- Bei diesem Verfahrensausgang wird die Beschwerdeführerin kostenpflichtig (Art. 156 Abs. 1 OG). Eine Parteientschädigung an die Gegenpartei ist nicht geschuldet, weil keine Vernehmlassungen eingeholt worden sind. Die Beschwerdeführerin stellt allerdings ein Gesuch um unentgeltliche Rechtspflege. Das Bundesgericht gewährt einer bedürftigen Partei, deren Rechtsbegehren nicht aussichtslos erscheint, auf Antrag Befreiung von der Bezahlung der Gerichtskosten sowie von der Sicherstellung der Parteientschädigung (Art. 152 Abs. 1 OG). Nötigenfalls kann ihr ein Rechtsanwalt beigegeben werden (Art. 152 Abs. 2 OG). Gestützt auf die Akten kann die Bedürftigkeit im Sinne dieser Bestimmung bejaht werden. Ebenso kann nicht gesagt werden, das Begehren sei von vornherein aussichtslos gewesen. Schliesslich trifft zu, dass die Beschwerdeführerin Anlass hatte, für das vorliegende Verfahren eine Anwältin zu konsultieren, so dass die Voraussetzungen von Art. 152 OG erfüllt sind.
Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.- Das Gesuch der Beschwerdeführerin um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und ihr wird für das bundesgerichtliche Verfahren Rechtsanwältin Dr. Caterina Nägeli, Grossmünsterplatz 9, 8001 Zürich, als Rechtsbeistand beigegeben.
3.- Die Gerichtsgebühr von Fr. 1'500.-- wird der Beschwerdeführerin auferlegt, einstweilen aber auf die Bundesgerichtskasse genommen.
4.- Rechtsanwältin Dr. Caterina Nägeli wird aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
5.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau (4. Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 22. März 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: