wird in Erwägung gezogen:
1.- Am 2. November 1999 reichte Herbert Strittmatter (Beschwerdeführer 1) beim Bezirksgericht Kulm eine Klage gegen die UBS AG ein und ersuchte um unentgeltliche Rechtspflege.
Am 22. Februar 2000 wies der Präsident des Bezirksgerichts das Gesuch ab. Daraufhin beauftragte der Beschwerdeführer 1 Martin Schwaller (Beschwerdeführer 2) mit der Wahrung seiner Interessen, der am 14. März 2000 beim Obergericht des Kantons Aargau gegen den Entscheid des Bezirksgerichtspräsidenten Beschwerde einreichte. Gleichzeitig ersuchte er um unentgeltliche Rechtspflege für das Beschwerdeverfahren.
Am 11. Mai 2000 kam der Bezirksgerichtspräsident auf seine Entscheidung zurück und bewilligte dem Beschwerdeführer 1 die unentgeltliche Rechtspflege, woraufhin das Obergericht am 7. Juni 2000 das Beschwerdeverfahren als gegenstandslos abschrieb, das Gesuch um unentgeltliche Rechtspflege im Beschwerdeverfahren abwies und weder Verfahrens- noch Parteikosten zusprach.
2.-Gegen diesen Entscheid haben die Beschwerdeführer staatsrechtliche Beschwerde erhoben. Sie beantragen, den angefochtenen Entscheid in Bezug auf die Gewährung der unentgeltlichen Rechtspflege für das Beschwerdeverfahren sowie in Bezug auf die Zusprechung der Parteikosten aufzuheben. Das Obergericht schliesst auf Abweisung der Beschwerde.
3.-a) Die Beschwerdeführer rügen eine Verletzung von <ref-law>, da dem Beschwerdeführer 1 für das Beschwerdeverfahren die unentgeltliche Rechtspflege verweigert worden sei. Da der Bezirksgerichtspräsident das Gesuch zunächst abschlägig beantwortet habe, sei eine anwaltliche Vertretung notwendig gewesen. Sie habe schliesslich dazu geführt, dass der Bezirksgerichtspräsident auf seine Entscheidung zurückgekommen sei.
b) Der Beschwerdeführer 1 macht geltend, sein verfassungsrechtlicher Anspruch auf unentgeltliche Rechtspflege sei verletzt. Damit ist er zur staatsrechtlichen Beschwerde legitimiert und es kann offenbleiben, ob die Legitimation auch dem Beschwerdeführer 2 zukommt; die Unzulässigkeit seiner Beschwerde hätte in Bezug auf die Kosten die gleiche Wirkung.
4.-a) Der Anspruch auf unentgeltliche Rechtspflege beurteilt sich in erster Linie nach den Vorschriften des kantonalen Prozessrechts. Die kantonalrechtlichen Bestimmungen prüft das Bundesgericht nur auf Willkür (<ref-ruling> E. 3a S. 12, 251 E. 2b S. 253, 117 Ia 277 E. 5b S. 281, je mit Hinweisen). Eine bedürftige Person hat in einem für sie nicht aussichtslosen Zivilprozess jedoch auch unmittelbar aufgrund von <ref-law> Anspruch auf unentgeltliche Rechtspflege und auf Ernennung eines unentgeltlichen Rechtsbeistandes, sofern sie zur gehörigen Wahrung ihrer Interessen eines solchen bedarf (<ref-ruling> E. 3b S. 163, 124 I 1 E. 2 S. 2 f. je mit Hinweisen). Da die Beschwerdeführer vorbringen, der Anspruch auf unentgeltliche Rechtspflege nach kantonalem Recht decke sich mit jenem gemäss <ref-law>, ist die Beschwerde im Lichte der Verfassungsbestimmung zu prüfen (<ref-ruling> a.a.O.).
b) In seiner Vernehmlassung führt das Obergericht aus, der für das Bewilligungsverfahren notwendige Aufwand werde bei Gutheissung des Gesuchs in der Regel als von der Bewilligung der unentgeltlichen Rechtspflege mitumfasst und durch die Entschädigung im Hauptprozess abgegolten betrachtet.
Da der Anwalt seinem Klienten keinen zusätzlichen Aufwand in Rechnung stellen dürfe, erleide der Bedürftige keinen Nachteil, wenn ihm die unentgeltliche Rechtspflege im Beschwerdeverfahren nicht gewährt wird.
c) Nach der Rechtsprechung des Obergerichts wird der für die Erlangung der unentgeltlichen Rechtspflege notwendige Aufwand im Rahmen des Hauptprozesses entschädigt (vgl. Beat Ries, Die unentgeltliche Rechtspflege nach der aargauischen Zivilprozessordnung vom 18. Dezember 1984, Aarau 1990, S. 135). Einen weiter gehenden Anspruch verleiht <ref-law> nicht. Namentlich gewährleistet diese Bestimmung nicht, dass der Rechtsvertreter der bedürftigen Partei in einem bestimmten Verfahrensstadium für seine Bemühungen entschädigt wird. Wird der zur Erlangung der unentgeltlichen Rechtspflege notwendige Aufwand im Hauptprozess berücksichtigt, kann die Zusprechung einer separaten Parteientschädigung verfassungskonform unterbleiben. Zufolge der Kostenlosigkeit des kantonalen Beschwerdeverfahrens erleidet der Beschwerdeführer 1 somit durch die Abweisung seines Gesuchs keinerlei Nachteil. Auch einem für die Erlangung der unentgeltlichen Rechtspflege notwendigen, ungewöhnlich hohen Aufwand könnte bei Festsetzung der Entschädigung für das Hauptverfahren Rechnung getragen werden, da dieser nach der Rechtsprechung des Obergerichts von der Bewilligung der unentgeltlichen Rechtspflege mitumfasst wird. Inwiefern dies nach den kantonalen Bestimmungen nicht möglich sein soll, legen die Beschwerdeführer nicht dar. Somit genügt die Auslegung der kantonalen Bestimmungen durch das Obergericht offensichtlich den in <ref-law> umschriebenen Minimalanforderungen.
d) Die Beschwerdeführer stützen ihre Beschwerde auf verschiedene Bundesgerichtsentscheide. <ref-ruling> und der nicht veröffentlichte Entscheid des Bundesgerichts vom 8. März 2000 i. S. P. gegen Obergericht des Kantons Zürich beschlagen indessen die Frage, ob ein Rechtsanwalt für seine Aufwendungen im Streit um die Höhe seines eigenen Honorars für die unentgeltliche Parteivertretung eine Parteientschädigung beanspruchen kann. In <ref-ruling> E. 3a, welchen die Beschwerdeführer ebenfalls anrufen, war die Höhe des Honorars für die unentgeltliche Rechtsvertretung streitig. Im kantonalen Beschwerdeverfahren ging es jedoch erst darum, die unentgeltliche Rechtspflege überhaupt zu erlangen. Über die Höhe des Honorars wird erst im Hauptprozess entschieden, weshalb diese noch nicht zur Debatte stehen kann und für die Durchsetzung eigener Ansprüche des Anwalts noch kein Aufwand erwachsen ist. Die angeführten Entscheide sind daher nicht einschlägig.
5.- Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Für das bundesgerichtliche Verfahren wurde keine unentgeltliche Rechtspflege beantragt, weshalb die Beschwerdeführer die Gerichtskosten zu tragen haben.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.-Die Gerichtsgebühr von Fr. 1'000.-- wird den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.-Dieses Urteil wird den Beschwerdeführern und dem Obergericht (4. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 24. Oktober 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: