wird festgestellt und in Erwägung gezogen:
1.- F.B._ hatte gegen seine ehemalige Frau auf Abänderung von Unterhaltsbeiträgen geklagt und in diesem Verfahren um Gewährung der unentgeltlichen Rechtspflege unter Beiordnung des Rechtsanwalts seiner Wahl ersucht.
Der Präsident 3 des Bezirksgerichts Baden wies das Gesuch am 26. September 2000 ab mit der Begründung, obwohl der Lohn des Gesuchstellers von der Summe der im Abänderungsentscheid festgelegten Unterhaltsbeiträge und der Höhe seines Existenzminimums übertroffen werde, sei die Verfahrenshilfe zu verweigern, weil der Gesuchsteller wieder verheiratet sei und dessen Ehegattin auf Grund ihres Jahreseinkommens von brutto Fr. 88'000.-- in der Lage sei, für ihren Gatten den Prozesskostenvorschuss zu leisten. Das Obergericht des Kantons Aargau wies die Beschwerde von F.B._ (gestützt auf eine andere Begründung) mit Urteil vom 12. Juni 2001 ab.
F.B._ ersucht mit staatsrechtlicher Beschwerde, das Urteil des Obergerichts aufzuheben. Vernehmlassungen sind nicht eingeholt worden.
Mit Rücksicht auf die vom Beschwerdeführer beantragte unentgeltliche Rechtspflege hat der Präsident der II. Zivilabteilung mit Verfügung vom 18. Juli 2001 auf die Erhebung eines Kostenvorschusses verzichtet und die Behandlung des Gesuchs auf Antrag des bundesgerichtlichen Referenten in Aussicht gestellt.
2.- Im Gegensatz zur ersten Instanz hat das Obergericht die Bedürftigkeit des Beschwerdeführers verneint. Dieser verfüge über ein effektiv erzieltes Monatseinkommen in der Höhe von Fr. 4'555.--, von dem das um 20 % erweiterte und um die Steuern erhöhte betreibungsrechtliche Existenzminimum im Betrag von Fr. 2'620.-- und die unbestrittenermassen effektiv gezahlten Unterhaltsbeiträge in der Höhe von Fr. 1'000.-- abgezogen werden müssten; offen bleiben könne daher, ob die gemäss Scheidungsurteil sich auf Fr. 4'000.-- belaufenden oder die im (nicht rechtskräftigen) erstinstanzlichen Abänderungsentscheid auf Fr. 2'400.-- festgesetzten Unterhaltsbeiträge einzurechnen seien. Die nach Abzug von somit insgesamt Fr. 3'620.-- noch frei verfügbare monatliche Lohnsumme von über Fr. 900.-- reiche für die Finanzierung des Abänderungsprozesses aus.
a) Aus dem Anspruch auf rechtliches Gehör fliesst die Pflicht des Richters, sein Urteil so ausführlich zu begründen, dass es auf der Basis nachvollziehbarer Motive sachgerecht angefochten werden kann (<ref-ruling> E. 2b S. 102; <ref-ruling> E. 2c S. 372; <ref-ruling> E. 2a S. 149).
Der Beschwerdeführer wendet gegen den obergerichtlichen Entscheid erfolglos ein, es sei ohne Begründung auf einen zivilprozessualen Zwangsbedarf von Fr. 2'620.-- im Monat abgestellt worden: Zwar hat das Obergericht den Betrag nicht selbst berechnet, führt aber aus, es stelle dafür auf die erste Instanz ab. Der Beschwerdeführer macht nicht geltend, die Berechnung des Zwangsbedarfs könne auch unter Beizug des erstinstanzlichen Entscheids nicht nachvollzogen werden und das Obergericht habe sich verfassungswidrig auf einen Betrag abgestützt, der nie errechnet worden sei; er missachtet Art. 90 Abs. 1 lit. b OG, wonach unter Auseinandersetzung mit der Begründung des angefochtenen Entscheids, zu der das darin angerufene erstinstanzliche Urteil gehört (<ref-ruling> E. 3a), aufzuzeigen ist, inwiefern dieser gegen die Verfassung verstösst (<ref-ruling> E. 1b S. 495; <ref-ruling> E. 3a S. 373; <ref-ruling> E. 1b). Dass der Beschwerdeführer den Betrag selber höher berechnet hat, ist ebenfalls keine Art. 90 Abs. 1 lit. b OG genügende Beschwerdebegründung und macht den obergerichtlichen Entscheid offensichtlich nicht geradezu unhaltbar, mithin willkürlich (<ref-ruling> E. 4c S. 230; <ref-ruling> E. 5c S. 27 unten).
b) Ohne Erfolg rügt der Beschwerdeführer, das Obergericht hätte auch zu den Fr. 1'000.-- an effektiv geleisteten Unterhaltsbeiträgen 20 % hinzuschlagen müssen mit der Folge, das die frei verfügbare Lohnsumme um Fr. 200.-- im Monat gesunken wäre.
Weshalb es geradezu unhaltbar sein soll, den Zuschlag von 20 % nur auf denjenigen Betrag aufzurechnen, der dem Beschwerdeführer persönlich zusteht, begründet dieser nicht (Art. 90 Abs. 1 lit. b OG). Ein besonderer Begründungsaufwand wäre schon deshalb geboten gewesen, weil der Prozentzuschlag üblicherweise nur auf dem persönlichen Grundbetrag gewährt wird (z. B. <ref-ruling> E. 2a S. 3 oben, 97 E. 3b S. 99 unten). Vielmehr leuchtet die Berechnung der kantonalen Instanzen ein, würde doch ein Zuschlag auch auf der Rentenschuld denjenigen Schuldner persönlich begünstigen, der eine hohe Rentenschuld hat.
c) Der Beschwerdeführer verlangt weiter erfolglos, das Obergericht hätte nicht nur auf sein Einkommen im Jahre 1999 abstellen dürfen, sondern auch diejenigen der Jahre 1997 (Fr. 3'606.-- Monatseinkommen) und 1998 (Fr. 2'593.-- Monatseinkommen) mittelnd berücksichtigen müssen mit der Folge, dass ihm nur ein Monatseinkommen in der Höhe von Fr. 3'585.-- hätte angerechnet werden dürfen.
Da sowohl die Erfolgsaussichten (<ref-ruling> E. 4b a.E. S. 275) als auch die Bedürftigkeit (<ref-ruling> E. 3a S. 181 Mitte) nach Massgabe der Umstände zu prüfen sind, wie sie sich zur Zeit der Einreichung des Gesuchs darstellen, hätte der Beschwerdeführer begründen müssen, weshalb es geradezu unhaltbar ist (Art. 90 Abs. 1 lit. b OG), auf dasjenige Einkommen abzustellen, das der Beschwerdeführer vor der Gesuchseinreichung nachweislich erzielte. Im Übrigen steht es dem Beschwerdeführer frei, ein neues Gesuch zu stellen, wenn sein Einkommen ausreichend sinkt und er effektiv bedürftig werden sollte.
d) Ferner macht der Beschwerdeführer vergeblich geltend, das Obergericht hätte zu seinem prozessualen Grundbedarf nicht nur die effektiv bezahlten Unterhaltsbeiträge in der Höhe von Fr. 1'000.-- hinzurechnen dürfen, sondern ihm Fr. 2'400.-- anrechnen müssen, weil er für den Fall, dass es beim entsprechenden Abänderungsentscheid bleiben würde, diesen Betrag rückwirkend bezahlen müsste.
Da das Bundesgericht wiederholt erkannt hat, im Rahmen des Betreibungsverfahrens müsse dem Schuldner nebst den Geldmitteln für die Sicherung seines Existenzminimums auch derjenige Teil seiner Unterhaltsverpflichtungen belassen werden, die er effektiv erfüllt (<ref-ruling> E. 2c S. 17 unten; allgemein 121 III 20 E. 3 S. 22 f.), hätte er in einer Art. 90 Abs. 1 lit. b OG genügenden Weise begründen müssen, weshalb ihm mehr als die effektiv bezahlten Fr. 1'000.-- im Monat anzurechnen sind. Denn das betreibungsrechtliche Existenzminimum ist in gewissen Schranken grundlegend für die Berechnung des zivilprozessualen Grundbedarfs (<ref-ruling> E. 2a S. 2 unten).
Wenn er bloss vorbringt, er könne nachzahlungspflichtig werden, wendet er nicht mehr ein, als jeder Unterhaltsschuldner geltend machen kann, der seine Unterhaltspflicht nicht voll erfüllt. Jedenfalls kann damit Willkür des angefochtenen Entscheids nicht begründet werden, weil sich das Obergericht im Ergebnis an die bundesgerichtliche Praxis gehalten hat (<ref-ruling> E. 2c und d S. 13 f.).
e) Der Beschwerdeführer rügt schliesslich erfolglos, das Obergericht habe widersprüchlich entschieden, weil es seiner geschiedenen Frau die unentgeltliche Rechtspflege gewährt habe mit der Begründung, sie erhalte von ihm monatlich nur Fr. 1'000.--. Damit werde sie doppelt begünstigt, weil sie später das von ihm geschuldete Geld erhalte.
Zum einen leuchtet die Begründung schon deswegen nicht ein, weil der Beschwerdeführer an anderer Stelle behauptet, er könne nicht mehr als Fr. 1'000.-- bezahlen. Zum anderen begründet der Beschwerdeführer nicht, weshalb seine geschiedene Frau für den Fall, dass sie von ihm tatsächlich dereinst Nachzahlungen erhalten sollte, doppelt begünstigt wird, ist doch notorisch, dass für die Prozessführung gewährte staatliche Leistungen zurückerstattet werden müssen, wenn ihr Empfänger später dazu wirtschaftlich in der Lage ist (z. B. <ref-ruling> E. 4a S. 6 Abs. 2 ab Mitte).
3.- Auf staatsrechtliche Beschwerde hin prüft das Bundesgericht nur Rügen, die geeignet sind, das Ergebnis des Beschwerdeverfahrens zu beeinflussen (<ref-ruling> E. 4a a.E. S. 211; <ref-ruling> E. 5 S. 57).
Auf die Rüge des Beschwerdeführers, das Obergericht habe überspannte Anforderungen an die Unterstützungspflicht seiner Frau gestellt, ist nicht einzutreten, weil das angefochtene Urteil nicht auf dieser Begründung beruht, sondern auf der in vorstehender Erwägung als willkürfrei erkannten.
Unzulässig ist auch die Rüge des Beschwerdeführers, das Obergericht habe die erste Instanz dafür, dass sie zu lange mit dem Fällen des Entscheids über die Gewährung der unentgeltlichen Rechtspflege zugewartet hat, bloss gerügt, aber daraus nicht die richtigen Konsequenzen gezogen: Musste der Beschwerdeführer damit rechnen, dass ihm die unentgeltliche Rechtspflege nicht gewährt wird und ist das Verfahren denn auch entsprechend ausgegangen, so spielt im Ergebnis keine Rolle, dass ihm die erste Instanz die Verfahrenshilfe zu spät verweigert hat.
4.- Mit Blick auf die Begründung der Beschwerdeschrift und auf die fehlende Auseinandersetzung des Beschwerdeführers mit der einschlägigen bundesgerichtlichen Rechtsprechung konnten der staatsrechtlichen Beschwerde von vornherein keine Erfolgschancen beigemessen werden (Art. 152 Abs. 1 OG; <ref-ruling> E. 2c). Somit kommt auf die Frage nichts an, ob der unterlegene Beschwerdeführer bedürftig ist. Dieser hat die Gerichtsgebühr zu tragen (Art. 156 Abs. 1 OG), schuldet jedoch keine Parteientschädigung (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer und dem Obergericht (4. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 17. August 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: