(unentgeltliche Rechtspflege im Scheidungsprozess), hat sich ergeben:
A.- B._ reichte am 7. März 2001 gegen A._ beim Bezirksgericht Aarau die Scheidungsklage ein. Dessen Präsident wies mit Entscheid vom 20. Juli 2001 das von A._ mit der Klageantwort vom 11. Juni 2001 eingereichte Gesuch um Gewährung der unentgeltlichen Rechtspflege ab.
Das Obergericht (4. Zivilkammer) des Kantons Aargau wies die von A._ dagegen erhobene Beschwerde mit Urteil vom 12. November 2001 ab und verweigerte ihr für das kantonale Beschwerdeverfahren die unentgeltliche Rechtspflege.
B.- Mit staatsrechtlicher Beschwerde beantragt A._, das Urteil des Obergerichts aufzuheben. Sie stellt für das bundesgerichtliche Verfahren das Gesuch um unentgeltliche Rechtspflege.
Das Obergericht schliesst auf Abweisung der staatsrechtlichen Beschwerde.
Das Bundesgericht zieht in Erwägung:
1.- Entscheide über die Gewährung oder Verweigerung der unentgeltlichen Rechtspflege gelten als Zwischenentscheide, die in der Regel einen nicht wieder gutzumachenden Nachteil zur Folge haben (BGE 126 I 207 E. 2a S. 210). Die staatsrechtliche Beschwerde gegen das Urteil des Obergerichts vom 12. November 2001 ist daher zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 Abs. 2 OG).
2.- a) Der Anspruch auf unentgeltliche Rechtspflege wird in erster Linie durch das kantonale Recht geregelt. Unabhängig davon garantiert der von der Beschwerdeführerin angerufene Art. 29 Abs. 3 BV der bedürftigen Partei einen Mindestanspruch auf unentgeltliche Rechtspflege. Dieser Anspruch umfasst einerseits die Befreiung von den Verfahrenskosten und andererseits - soweit notwendig - das Recht auf einen unentgeltlichen Rechtsbeistand (BGE 122 I 8 E. 2a S. 9, 322 E. 2b S. 324, mit Hinweisen).
Als bedürftig im Sinne der angeführten Verfassungsbestimmung gilt eine Person dann, wenn sie die Kosten eines Prozesses nicht aufzubringen vermag, ohne jene Mittel anzugreifen, derer sie zur Deckung des notwendigen Lebensunterhalts für sich und ihre Familie bedarf; in Betracht zu ziehen sind dabei nicht nur die Einkommens-, sondern auch die Vermögensverhältnisse (BGE 124 I 97 E. 3b S. 98 mit Hinweisen). Zu diesem Grundbedarf gehört, was zur Führung eines bescheidenen, aber menschenwürdigen Lebens erforderlich ist. Bei der Prüfung der Frage der Bedürftigkeit sind sämtliche Umstände im Zeitpunkt der Einreichung des Armenrechtsgesuchs zu würdigen, wobei nicht schematisch auf das betreibungsrechtliche Existenzminimum abzustellen ist; vielmehr sind die Umstände des Einzelfalles zu berücksichtigen (BGE 124 I 1 E. 2a S. 2).
b) Das Bundesgericht prüft frei, ob die direkt aus Art. 29 Abs. 3 BV hergeleiteten Ansprüche verletzt sind, gegen die Feststellung des Sachverhalts gerichtete Rügen dagegen nur auf Willkür (BGE 124 I 304 E. 2c S. 306 f.).
3.- a) Bei der Beurteilung der Frage der Bedürftigkeit hat die kantonale Beschwerdeinstanz als Einkommen der Beschwerdeführerin deren Gehalt (monatlich Fr. 1'537.--) sowie den dieser und den beiden Kindern gegenüber B._ zustehenden Unterhaltsanspruch (inklusive Kinderzulagen insgesamt Fr. 4'800.-- im Monat) berücksichtigt. Den zweiten Betrag hat sie im Umfang von Fr. 2'800.-- für die Beschwerdeführerin persönlich und im Umfang von je Fr. 1'000.-- für die beiden Kinder eingesetzt, ohne sich über die Kinderzulagen von monatlich je Fr. 150.-- zu äussern, die in dem von B._ zu leistenden Unterhaltsbeitrag enthalten sind.
Auf Seiten der Auslagen hat das Obergericht den Grundbetrag wie auch die anrechenbaren Positionen Krankenversicherung, Berufsauslagen und Steuern voll eingesetzt. Von der Wohnungsmiete von monatlich Fr. 1'380.-- hat es dagegen Fr. 380.--, die den 1984 und 1989 geborenen Kindern zuzurechnen seien, in Abzug gebracht.
b/aa) Zu Recht weist die Beschwerdeführerin darauf hin, dass die Kinderzulagen für die Kinder bestimmt sind und bei der Ermittlung ihres Einkommens als Unterhaltsleistungen des Ehemannes deshalb statt Fr. 4'800.-- nur Fr. 4'500.-- eingesetzt werden dürften. Das vermag aber den angefochtenen Entscheid im Ergebnis noch nicht als willkürlich erscheinen zu lassen. Es ist zu bedenken, dass es sich nicht nur bei der rechnerischen Aufteilung der Unterhaltsleistungen auf die Beschwerdeführerin und die beiden Kinder, sondern auch bei der Zurechnung der Mietkosten auf die drei Familienmitglieder um einen Ermessensentscheid handelt und dass sich angesichts des Alters der Kinder auch eine andere Aufteilung der Mietkosten vertreten liesse als die von der kantonalen Instanz festgelegte.
b/bb) Die Beschwerdeführerin rügt, dass die Ansicht des Obergerichts, B._ werde den monatlichen Unterhaltsbeitrag von Fr. 4'800.-- bis Ende des Scheidungsverfahrens leisten und dieses werde noch bis gut Juni 2003 dauern, eine blosse Fiktion sei. Die Annahme zur Dauer des Scheidungsverfahrens beruht auf einer Würdigung der Gegebenheiten im Zeitpunkt der Beurteilung des Armenrechtsgesuchs, wobei das Obergericht auf strittige Güterrechtsfragen und die damit notwendige Liegenschaftsschätzung, auf Probleme beim Besuchsrecht und auf die Möglichkeit eines Weiterzugs des erstinstanzlichen Urteils hingewiesen hat. Dass diese Betrachtungsweise willkürlich wäre, ist angesichts der gesetzlichen Anforderungen an die Begründung einer staatsrechtlichen Beschwerde (Art. 90 Abs. 1 lit. b OG) nicht dargetan.
Bei der Kritik an der Beurteilung der voraussichtlichen Dauer des Prozesses, d.h. eines in der Zukunft liegenden Sachverhalts, lässt die Beschwerdeführerin im Übrigen ausser Acht, dass sie grundsätzlich in jedem Verfahrensstadium ein Gesuch um unentgeltliche Rechtspflege stellen kann, womit auch allfälligen Entwicklungen, die bei der Behandlung eines früheren Gesuchs nicht abzusehen waren, noch Rechnung getragen werden kann (dazu BGE 120 Ia 14 E. 3e S. 16 f.). Dies gilt nicht nur in Bezug auf die mögliche Dauer des Scheidungsverfahrens, sondern auch für den Fall, dass sich die Schätzung der Gerichts- und Anwaltskosten in einem späteren Zeitpunkt als zu tief erweisen sollte. Bei einem neuen Gesuch wären der Beschwerdeführerin allerdings eine allfällige Verbesserung ihrer Einkommensverhältnisse oder ein etwaiger Wegfall von Auslagen entgegenzuhalten.
b/cc) Das Obergericht hat keine eigentliche Berechnung der zu erwartenden Gerichts- und Parteikosten vorgenommen; es stützt sich auf die von der Beschwerdeführerin selbst für die Zeit bis Ende August 2003 gemachten pauschalen Angaben, die sogar die Auslagen für ein noch nicht eingeleitetes Präliminarverfahren umfasst hatten. Für den angefochtenen Entscheid hat es keine Gebühr erhoben. Angesichts dieser Umstände erweisen sich die von der kantonalen Instanz in Ansatz gestellten Kosten selbst dann nicht als vollkommen unhaltbar, wenn zusätzlich noch die Anwaltskosten für ein kantonales Rechtsmittelverfahren zu berücksichtigen sein sollten.
c) Nach dem Gesagten ist die Erfassung der Einnahmen und aktuellen wie künftigen Ausgaben vertretbar. Der sich aus der Gegenüberstellung des erweiterten zivilprozessualen Zwangsbedarfs und des Gesamteinkommens der Beschwerdeführerin ergebende Freibetrag von monatlich Fr. 1'169.-- bzw. von Fr. 28'056.-- in zwei Jahren übersteigt die in Rechnung gestellten Ausgaben von Fr. 27'896.--. Was die Beschwerdeführerin in dieser Hinsicht vorbringt, erschöpft sich in der Rüge, bei einem so geringen Überschuss sei die Verweigerung der unentgeltlichen Rechtspflege nicht gerechtfertigt und als überspitzt formalistisch zu qualifizieren. Soweit es sich dabei überhaupt um eine eigenständige Rüge handelt, genügt sie den Begründungsanforderungen von Art. 90 Abs. 1 lit. b OG offenkundig nicht.
d) Im Ergebnis ist der angefochtene Entscheid umso mehr vertretbar, als die Beschwerdeführerin offenbar vom Ehemann keinen Prozesskostenvorschuss beansprucht und dabei übersieht, dass der Anspruch auf unentgeltliche Rechtspflege dem Unterhaltsanspruch nachgeht (vgl. BGE 119 Ia 11 E. 3a S. 12 mit Hinweisen).
4.- Die staatsrechtliche Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Sie erschien von vornherein als aussichtslos, so dass auch das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren abzuweisen ist (vgl. Art. 152 Abs. 1 OG). Bei der Bemessung der der Beschwerdeführerin aufzuerlegenden Gerichtsgebühr (Art. 156 Abs. 1 OG) ist jedoch deren finanziellen Verhältnissen Rechnung zu tragen (Art. 153a Abs. 1OG).
Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird der Beschwerdeführerin auferlegt.
4.- Dieses Urteil wird der Beschwerdeführerin und dem Obergericht (4. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 6. Februar 2002
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: