hat sich ergeben:
A.- X._ reichte am 26. April 1999 beim Bezirksgericht Zofingen eine Klage auf Abänderung des ein Jahr zuvor von dieser Instanz ausgesprochenen Scheidungsurteils ein. Er verlangt die Herabsetzung des Unterhaltsbeitrages für die Tochter sowie die Streichung der Bedürftigkeitsrente für Z._. Im Verlaufe des Verfahrens stellte er das Gesuch um unentgeltliche Rechtspflege, welches der Präsident des Bezirksgerichts Zofingen am 26. Februar 2001 abwies.
B.- Das Obergericht (4. Zivilkammer) des Kantons Aargau wies die von X._ gegen diese Verfügung erhobene Beschwerde mit Urteil vom 15. Januar 2002 ab.
C.- Mit Eingabe vom 12. März 2002 führt X._ staatsrechtliche Beschwerde und beantragt dem Bundesgericht, das Urteil des Obergerichts aufzuheben. Es sind keine Vernehmlassungen eingeholt worden.
Das Bundesgericht zieht in Erwägung:
1.- Entscheide über die Verweigerung der unentgeltlichen Rechtspflege gelten als Zwischenentscheide, die in der Regel einen nicht wieder gutzumachenden Nachteil zur Folge haben (BGE 126 I 207 E. 2a S. 210). Die staatsrechtliche Beschwerde gegen das Urteil des Obergerichts vom 15. Januar 2002 ist daher zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 Abs. 2 OG).
2.- a) Der Anspruch auf unentgeltliche Rechtspflege wird in erster Linie durch das kantonale Recht geregelt. Der Beschwerdeführer macht zwar die willkürliche Anwendung von§ 125 Abs. 1 ZPO/AG geltend, räumt indessen selber ein, dass ihm diese Bestimmung keinen über die verfassungsrechtliche Minimalgarantie hinausgehenden Anspruch einräumt. Massgebend ist somit ausschliesslich das in Art. 29 Abs. 3 BV verankerte Recht der bedürftigen Partei auf unentgeltliche Rechtspflege.
Dieses umfasst einerseits die Befreiung von Verfahrenskosten und andererseits - soweit notwendig - das Recht auf einen unentgeltlichen Rechtsbeistand (BGE 122 I 8 E. 2a S. 9). Als bedürftig im Sinne der Verfassung gilt eine Person dann, wenn sie die Kosten eines Prozesses nicht aufzubringen vermag, ohne jene Mittel anzugreifen, derer sie zur Deckung des notwendigen Lebensunterhalts für sich und ihre Familie bedarf. Dabei sind die Einkommens- wie die Vermögensverhältnisse in Betracht zu ziehen (BGE 127 I 202 E. 3b S. 205; 124 I 97 E. 3b S. 98). Zu diesem Grundbedarf gehört, was zur Führung eines bescheidenen, aber menschenwürdigen Lebens erforderlich ist. Zur Prüfung der Bedürftigkeit sind sämtliche Umstände im Zeitpunkt der Einreichung des Gesuchs zu würdigen. Dabei ist nicht schematisch auf das betreibungsrechtliche Existenzminimum abzustellen; vielmehr sind die Umstände im Einzelfall zu berücksichtigen (BGE 124 I 1 E. 2a S. 2).
b) Das Bundesgericht prüft frei, ob die Elemente zur Beurteilung der Bedürftigkeit zutreffend bestimmt worden sind, währenddem es sich in Bezug auf die Anwendung von kantonalem Recht und die tatsächlichen Feststellungen auf Willkür beschränkt (BGE 124 I 304 E. 2a u. 2c S. 2 ff. zu Art. 4aBV).
3.- Der Beschwerdeführer wirft dem Obergericht willkürliche Rechtsanwendung vor, da es seine Bedürftigkeit verneint habe.
a) Das Obergericht hat die Einkommensverhältnisse des Beschwerdeführers als unklar und zwischen den Parteien des Abänderungsverfahrens umstritten beurteilt. Deren genaue Feststellung könne nicht Gegenstand des vorliegenden Summarverfahrens sein. In Abweichung vom Grundsatz, dass nur auf eigene Mittel des Gesuchstellers abzustellen sei, dürften Einkünfte und Vermögenswerte der von ihm gegründeten und beherrschten Werbeagentur A._ AG berücksichtigt werden. Dazu gehöre das von ihm und seiner neuen Familie bewohnte Einfamilienhaus in Rothrist, das aus steuerlichen Gründen im Eigentum der Aktiengesellschaft stehe und teilweise über ein von ihm gewährtes und unkündbares Darlehen über Fr. 300'000.-- finanziert werde.
An diesem Vorgehen ist grundsätzlich nichts auszusetzen.
Ebenso erscheint die Feststellung als haltbar, dass die Liegenschaft in Rothrist nicht zu Geschäftszwecken genutzt wird. Einmal befinden sich die Geschäftsräume der A._ AG in Aarau und ein weiterer Raumbedarf ist nicht ersichtlich. Alsdann wird das Einfamilienhaus bestehend aus 41⁄2 Zimmern von zwei Erwachsenen und drei Kindern bewohnt.
Selbst wenn die Steuerbehörden hier eine gemischte Nutzung anerkennen, erweist sich dadurch die Beurteilung des Zivilrichters noch nicht als unhaltbar. Davon ausgehend ist es auch durchaus vertretbar, das Privatdarlehen des Beschwerdeführers an die A._ AG als nicht geschäftsnotwendig einzustufen.
b) Weiter hat das Obergericht festgestellt, der Beschwerdeführer habe gegenüber der Fremdenpolizei des Kantons Aargau mit Schreiben vom 20. April 1999 erklärt, dass er für seine Ehefrau und seine beiden Kinder problemlos aufkommen könne, da er über ein Vermögen von Fr. 400'000.-- verfüge. Damit könne nur die freie Verfügbarkeit über seine Aktiven gemeint sein.
Mit dem Vorbringen, bekanntermassen könne er sein Darlehen über Fr. 300'000.-- an die A._ AG nicht frei kündigen, lässt der Beschwerdeführer die Ansicht des Obergerichts, dass er sich hinsichtlich der freien Verfügbarkeit im Blick auf seine Angaben gegenüber der Fremdenpolizei nunmehr widersprüchlich äussere, nicht als unhaltbar erscheinen.
Der Beschwerdeführer führt in diesem Zusammenhang zudem aus, er habe bei der wirtschaftlichen Lagebeurteilung gegenüber der Fremdenpolizei angesichts der bereits hängigen Abänderungsklage darauf vertraut, nur mehr für seine neue Familie aufkommen zu müssen. Inwiefern sich durch diese Einschätzung der angefochtene Entscheid als willkürlich erweisen sollte, wird nicht in einer Art. 90 Abs. 1 lit. b OG genügenden Weise begründet.
c) Der angefochtene Entscheid hält zudem fest, der Beschwerdeführer habe der A._ AG zahlreiche private Aufwendungen belastet, was unter anderem auf die völlige faktische Beherrschung dieser Gesellschaft schliessen lasse.
Der Beschwerdeführer bestreitet insbesondere nicht, dass Auslagen in Zusammenhang mit der Einreise seiner russischen Ehefrau in die Schweiz dem Geschäftskonto belastet worden sind. Er betont jedoch den provisorischen Charakter einer Erfolgsrechnung und die Aufrechnung nicht geschäftsmässig begründeten Aufwandes als Einkommen durch den Fiskus.
Diese Darstellung begründet keineswegs, weshalb die Einschätzung des Obergerichts, es handle sich hierbei nicht um Geschäftsauslagen, unhaltbar sei (Art. 90 Abs. 1 lit. bOG).
d) Schliesslich verweist das Obergericht auf die Bilanz der A._ AG per Ende 1999, wonach der Gesellschaft gegenüber der CS Aarau ein Guthaben von rund Fr. 60'000.-- zustehe, woraus sich der Gesuchsteller die Prozesskosten finanzieren könne.
Der Beschwerdeführer rügt die Gleichstellung dieses Aktivums der A._ AG mit seinem Privatvermögen als stossend. Er betont die Notwendigkeit eines angemessenen Guthabens zur Finanzierung der laufenden Projekte der Aktiengesellschaft. Dabei lässt er ausser Acht, dass das Obergericht eine Gesamtbetrachtung vorgenommen hat und dabei zum Schluss gelangt ist, der Beschwerdeführer beherrsche die A._ AG völlig. In diesem Kontext erweist sich der Hinweis auf das genannte Bankguthaben nicht als willkürlich.
e) Wie bereits eingangs dargelegt (vgl. E. 3a), hat das Obergericht im vorliegenden Fall die Einkommensverhältnisse als unklar und im Hinblick auf die vom Beschwerdeführer verlangte Anpassung der Unterhaltsbeiträge als strittig bezeichnet. Es hat weitgehend auf die von ihm beherrschte Aktiengesellschaft abgestellt, was nicht zu beanstanden ist. Ohne Möglichkeit, die Einkommensverhältnisse zuverlässig festzustellen, brauchte es auch die geltend gemachte betreibungsrechtliche Lohnpfändung nicht zu berücksichtigen.
Gegebenenfalls hätte das Obergericht auch beim Abstellen auf das Existenzminimum (und eines Zuschlags) die konkrete betreibungsamtliche Berechnung nicht unbesehen übernehmen dürfen.
Unter diesen Umständen ist der Vorwurf, das Obergericht habe Verfassungsrecht verletzt, unbegründet.
4.- Nach dem Gesagten ist der Beschwerde kein Erfolg beschieden. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 OG).
Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer und dem Obergericht (4. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 10. April 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: