Art. 29 BV (Aufenthaltsbewilligung), hat sich ergeben:
A.- Der aus der Bundesrepublik Jugoslawien stammende X._ (geb. ......... 1965) reiste erstmals 1989 als Kurzaufenthalter in die Schweiz ein und war hier in den folgenden Jahren als Saisonnier tätig. Nachdem er am 3. Mai 1993 einen Autounfall erlitten hatte, wurde ihm eine L-Bewilligung mit dem Aufenthaltszweck "Patient, Stellenantritt untersagt" erteilt. Am 6. Februar 1995 verweigerte die Fremdenpolizei der Stadt Bern eine weitere Verlängerung der Bewilligung und setzte X._ eine Ausreisefrist an, wogegen sich dieser erfolglos beschwerte.
B.- Gestützt auf ein weiteres ärztliches Gutachten stellte X._ am 11. Februar 1997 erneut ein Gesuch um Erteilung einer geeigneten Aufenthaltsbewilligung, beziehungsweise auf Gestattung des Aufenthalts bis zum Abschluss der sozialversicherungsrechtlichen Verfahren. Die Fremdenpolizei der Stadt Bern wies dieses Gesuch am 17. April 1997 ab, was von der Polizei- und Militärdirektion des Kantons Bern am 13. April 1999 und letztinstanzlich vom Regierungsrat des Kantons Bern mit Entscheid vom 24. Januar 2001 bestätigt wurde.
C.- Mit staatsrechtlicher Beschwerde vom 26. Februar 2001 an das Bundesgericht wegen Verletzung von Verfahrensgarantien (Art. 29 BV) beantragt X._, den Entscheid des Regierungsrats des Kantons Bern vom 24. Januar 2001 aufzuheben, der Beschwerde aufschiebende Wirkung zu erteilen und ihm unentgeltliche Prozessführung und Verbeiständung zu gewähren.
Die Justiz-, Gemeinde- und Kirchendirektion des Kantons Bern - in Vertretung des Regierungsrats - schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden kann.
D.- Mit Verfügung vom 2. April 2001 hat der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Mit dem angefochtenen Entscheid des Regierungsrates des Kantons Bern wurde dem Beschwerdeführer die Erteilung einer Aufenthaltsbewilligung verweigert. Dem Beschwerdeführer steht weder nach Bundesrecht noch gemäss einer staatsvertraglichen Bestimmung ein Anspruch auf Erteilung einer Aufenthaltsbewilligung zu. Gegen die Nichterteilung der Aufenthaltsbewilligung ist damit gemäss Art. 100 Abs. 1 lit. b Ziff. 3 OG die Verwaltungsgerichtsbeschwerde (<ref-ruling> E. 1a S. 62 f.; <ref-ruling> E. 1a S. 337 f., mit Hinweisen) und mangels rechtlich geschütztem Interesse im Sinne von Art. 88 OG auch die staatsrechtliche Beschwerde (<ref-ruling> E. 3b S. 85, mit Hinweisen) ausgeschlossen.
b) Unabhängig von der fehlenden Legitimation in der Sache selbst kann mit staatsrechtlicher Beschwerde eine Verletzung solcher Verfahrensgarantien geltend gemacht werden, deren Missachtung eine formelle Rechtsverweigerung darstellt (<ref-ruling> E. 3b S. 86, mit Hinweisen). Da auch die übrigen formellen Voraussetzungen erfüllt sind, ist auf die staatsrechtliche Beschwerde, mit der ausschliesslich die Verletzung von Verfahrensgarantien geltend gemacht wird, einzutreten.
2.- Der Beschwerdeführer rügt in verschiedener Hinsicht eine Verletzung des rechtlichen Gehörs.
a) Der Umfang des rechtlichen Gehörs bemisst sich in erster Linie nach kantonalem Recht, subsidiär nach den aus Art. 29 Abs. 2 BV abgeleiteten Mindestgarantien. Der Beschwerdeführer macht nicht geltend, das kantonale Recht gewähre einen über Art. 29 Abs. 2 BV hinausgehenden Anspruch auf rechtliches Gehör. Das rechtliche Gehör als verfassungsrechtlicher Anspruch dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2b S. 10; <ref-ruling> E. 2a/aa S. 16, mit Hinweisen).
b) Der Beschwerdeführer macht geltend, die Auskunft des Eidgenössischen Versicherungsgerichtes bezüglich des Entscheids in Sachen Invalidenversicherung an die für die Instruktion des Beschwerdeverfahrens vor dem Regierungsrat zuständige Justiz-, Gemeinde- und Kirchendirektion des Kantons Bern sei nicht aktenkundig. Dem Beschwerdeführer wurde indessen mit Schreiben vom 1. September 2000 Gelegenheit eingeräumt, unter anderem auch zu dieser telefonischen Auskunft Stellung zu nehmen und sein Rechtsschutzinteresse darzulegen. Mit Schreiben vom 20. September 2000 bestätigte der Beschwerdeführer der Justiz-, Gemeinde- und Kirchendirektion das Vorliegen des Entscheides und legte davon eine Kopie bei. Von einem Abstellen auf nicht aktenkundige Umstände bzw. von einer Verletzung des rechtlichen Gehörs kann daher keine Rede sein.
c) Eine Verletzung des rechtlichen Gehörs erblickt der Beschwerdeführer weiter darin, dass er sich zu dem der Justiz-, Gemeinde- und Kirchendirektion von der Fremdenpolizei nach Abschluss des Schriftenwechsels übermittelten Beschluss der IV-Stelle Bern vom 21. Dezember 2000 nicht hat äussern können.
Gemäss Art. 29 Abs. 2 BV erstreckt sich die Akteneinsicht, unter Vorbehalt von hier nicht in Betracht fallenden Ausnahmen, auf alle für den Entscheid wesentlichen Akten, d.h. auf jene Akten, die Grundlage einer Entscheidung bilden (<ref-ruling> E. 2a S. 227, mit Hinweisen; vgl. auch <ref-ruling> E. 4c/cc S. 478). Im angefochtenen Entscheid hat der Regierungsrat für die Prüfung des Gesuchs um Erteilung einer Kurzaufenthaltsbewilligung mit dem Zweck, den Abschluss der sozialversicherungsrechtlichen Verfahren abwarten zu können, auf den Entscheid des Eidgenössischen Versicherungsgerichts abgestellt. Der Beschluss der IV-Stelle Bern hatte somit keinen Einfluss auf den Verfahrensausgang.
Das Recht auf Stellungnahme zum Beweisergebnis gemäss Art. 24 des Gesetzes vom 23. Mai 1989 über die Verwaltungsrechtspflege des Kantons Bern, auf den sich der Beschwerdeführer zusätzlich beruft, entfaltet nur Wirkung, wenn ein eigentliches Beweisverfahren durchgeführt worden ist (Merkli/ Aeschlimann/Herzog, Kommentar zum Gesetz über die Verwaltungsrechtspflege im Kanton Bern, Bern 1997, Rz. 1 zu Art. 24, S. 201). Dies ist hier nicht der Fall.
Dass dem Beschwerdeführer nicht Gelegenheit eingeräumt wurde, zum fraglichen IV-Beschluss Stellung zu nehmen, ist daher verfassungsrechtlich nicht zu beanstanden. Unter diesen Umständen erübrigt sich, auf die nicht weiter belegte Behauptung, die instruierende Behörde habe den fraglichen Beschluss telefonisch angefordert, einzugehen.
d) Der Beschwerdeführer rügt, sein Anspruch auf rechtliches Gehör sei auch dadurch verletzt worden, dass die Polizei- und Militärdirektorin, nicht aber der Beschwerdeführer, Gelegenheit hatte, sich zum Antrag der Justiz-, Gemeinde- und Kirchendirektion an den Regierungsrat zu äussern.
Nach Art. 5 der Verordnung vom 18. Oktober 1995 über die Organisation des Regierungsrates tritt das Mitglied des Regierungsrates, das den angefochtenen Entscheid unterzeichnet hat, in den Ausstand. Es kann sich vorgängig zum Geschäft äussern. Diese vorgängige Äusserungsmöglichkeit (Mitbericht) erschöpft sich grundsätzlich in einer Zustimmung oder einer Ablehnung des Antrages der instruierenden Behörde. Der Beschwerdeführer bemängelt zu Recht nicht, dass er sich zum Antrag der instruierenden Behörde nicht äussern konnte. Ein solches Aktenstück dient ausschliesslich der verwaltungsinternen Meinungsbildung, und es besteht diesbezüglich kein Äusserungs- oder auch nur ein Einsichtsrecht (vgl. <ref-ruling> E. 4a S. 474, mit Hinweisen). Ob dies in jedem Fall auch für die Äusserung des Mitglieds einer Kollegialbehörde über den Entscheidantrag gilt, wenn die Behörde über eine Beschwerde gegen eine von jenem Mitglied getroffene Verfügung zu entscheiden hat, steht keineswegs fest. So müsste eine substanzielle Äusserung zum Entscheidantrag möglicherweise als (ergänzende) Vernehmlassung betrachtet werden, welche den übrigen Verfahrensbeteiligten zur Kenntnis zu bringen wäre und wozu sie sich gegebenenfalls sollten äussern können. Dazu besteht aber unter dem Gesichtspunkt des Anspruchs auf rechtliches Gehör kein Anlass, wenn sich die Äusserung wie vorliegend darin erschöpft, dass mit einem Stempelaufdruck Zustimmung zum Antrag bekundet wird.
e) Schliesslich macht der Beschwerdeführer geltend, der angefochtene Entscheid verstosse gegen den kantonalrechtlich und verfassungsmässig geschützten Anspruch auf Bekanntgabe der personellen Zusammensetzung der Spruchbehörde.
Jeder Verfahrensbeteiligte hat Anspruch darauf, dass die Behörde richtig zusammengesetzt ist, vollständig und ohne Anwesenheit Unbefugter entscheidet (Rhinow/Koller/ Kiss, Öffentliches Prozessrecht und Justizverfassungsrecht des Bundes, Basel 1996, Rz. 144 S. 34, mit Hinweis; G. Müller, in Kommentar BV [aBV], Rz. 121 zu Art. 4). Der aus der Verfassung abgeleitete Anspruch auf richtige Besetzung der entscheidenden Verwaltungs- oder Gerichtsbehörde sowie auf unparteiische und unabhängige Beurteilung umfasst den Anspruch auf Bekanntgabe der am Entscheid mitwirkenden Personen. Das bedeutet indessen nicht, dass die Namen dieser Personen im Rubrum des Entscheides selbst aufgeführt werden müssten. Vielmehr genügt in der Regel die Bekanntgabe in irgendeiner Form. Der Anspruch auf Bekanntgabe der entscheidenden Richter ist selbst dann gewahrt, wenn deren Namen dem Betroffenen gar nicht persönlich mitgeteilt werden, sondern einer allgemein zugänglichen Publikation wie etwa einem Staatskalender entnommen werden können (<ref-ruling> E. 3c S. 280). Anhand des Staatskalenders des Kantons Bern sowie den gesetzlichen Bestimmungen betreffend Ausstand des Regierungsrates war es für den Beschwerdeführer ersichtlich, welche Regierungsräte an der Entscheidfindung beteiligt waren. Dagegen wendet der Beschwerdeführer ein, nachdem der Regierungsrat des Kantons Bern bei Anwesenheit von wenigstens vier Mitgliedern gültig verhandeln könne (Art. 5 Abs. 1 des Gesetzes vom 20. Juni 1995 über die Organisation des Regierungsrates und der Verwaltung), genüge vorliegend die Kenntnis der ordentlichen Zusammensetzung des Regierungsrates gemäss Staatskalender nicht. Nach der vom Bundesgericht eingeholten Auskunft wirkten am fraglichen Entscheid alle Regierungsräte, ausser der Regierungsratspräsidentin und Polizei- und Militärdirektorin, Frau Dora Andres, mit. Selbst wenn der Beschwerdeführer nicht mit Sicherheit davon ausgehen konnte, dass an der fraglichen Sitzung alle Regierungsräte anwesend sein würden, wäre es ihm dennoch durchaus möglich gewesen, vorsorglich ein allfälliges Ablehnungsbegehren vorzubringen und zu begründen. Dies hat der Beschwerdeführer nicht getan und zwar auch nicht in seiner Eingabe an das Bundesgericht. Der Anspruch auf Bekanntgabe der personellen Zusammensetzung der verwaltungsbehördlichen Rechtspflegeinstanz wurde vorliegend erfüllt.
3.- a) Zusammenfassend ergibt sich, dass sich die staatsrechtliche Beschwerde als unbegründet erweist.
b) Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kostenpflichtig (Art. 156 OG). Er hat jedoch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung ersucht. Voraussetzung dazu ist nicht bloss, dass der Beschwerdeführer bedürftig ist, sondern auch, dass sein Rechtsbegehren nicht aussichtslos erscheint (Art. 152 OG). Diese zweite Voraussetzung ist nicht erfüllt, insbesondere auch nicht hinsichtlich der Rüge betreffend die Zusammensetzung der Entscheidbehörde: Der Beschwerdeführer hat diesbezüglich nicht geltend gemacht, er habe ernsthaft mit einer Missachtung der Besetzungsregeln, z.B. mit der Mitwirkung von weniger als vier Regierungsmitgliedern oder mit der Mitwirkung der Polizei- und Militärdirektorin, gerechnet oder es bestünden konkret Anzeichen für das Vorliegen eines Ablehnungsgrundes gegen ein anderes Regierungsmitglied.
Unter diesen Voraussetzungen aber konnte der Beschwerdeführer allein wegen des Umstands, dass ein ausdrücklicher Hinweis auf die personelle Zusammensetzung des Spruchkörpers fehlte, nicht ernsthaft davon ausgehen, dass das Bundesgericht diese Rüge als begründet erachten würde (vgl. vorne E. 2e). Das Begehren um unentgeltliche Rechtspflege und Verbeiständung ist daher abzuweisen.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 800.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer und dem Regierungsrat des Kantons Bern schriftlich mitgeteilt.
_
Lausanne, 9. November 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: