Verlängerung der Aufenthaltsbewilligung, hat sich ergeben: A.- Der aus Mazedonien stammende H.R._, geboren 1965, hielt sich in den Jahren 1986 bis 1990 als Saisonnier im Kanton Zürich auf. Im Dezember 1990 wurde seine Saisonbewilligung in eine Jahresaufenthaltsbewilligung umgewandelt, welche in der Folge jeweils verlängert wurde, letztmals bis zum 12. August 2000. Im Juli 1991 reiste die Ehefrau T.R._, geboren 1968, zusammen mit den beiden gemeinsamen Kindern A._, geboren 1988, und B._, geboren 1989, in die Schweiz ein, wo ihnen im Rahmen des Familiennachzugs Aufenthaltsbewilligungen zum Verbleib beim Ehemann bzw. beim Vater erteilt wurden. Mit Strafbefehl der Bezirksanwaltschaft Zürich vom 24. Januar 1997 wurde H.R._ wegen Vergehens gegen die Verordnung über den Erwerb und das Tragen von Schusswaffen durch jugoslawische Staatsangehörige mit einer Busse von Fr. 500.-- bestraft, worauf er mit Verfügung vom 28. Februar 1997 fremdenpolizeilich verwarnt wurde. Am 1. Oktober 1997 wurde H.R._ wegen des Verdachts auf Begehung von Drogendelikten verhaftet. Am 27. August 1998 sprach ihn das Bezirksgericht Bülach der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz sowie der Geldwäscherei schuldig und verurteilte ihn zu 6 1/2 Jahren Zuchthaus. Auf Berufung hin reduzierte das Obergericht des Kantons Zürich mit Urteil vom 9. Juni 1999 die Strafe auf drei Jahre Zuchthaus. Dieses Urteil erwuchs in Rechtskraft. H.R._ wurde per 29. September 1999 bedingt aus dem Strafvollzug entlassen. B.- Mit Verfügung vom 1. Dezember 2000 wies die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, die Gesuche von H.R. und T.R._ um Verlängerung der Aufenthaltsbewilligungen für sich und ihre beiden Kinder ab und setzte ihnen Frist zum Verlassen des Kantonsgebietes (Wegweisung). Zur Begründung führte die Fremdenpolizei unter Hinweis auf den Strafbefehl vom 24. Januar 1997 und das Urteil des Obergerichts vom 9. Juni 1999 an, H.R._ habe wiederholt zu schweren Klagen Anlass gegeben. Im Weiteren hätten die Familienangehörigen in der Zeit vom August 1998 bis Juni 1999 mit einem Gesamtbetrag von Fr. 36'617.-- durch die öffentliche Fürsorge unterstützt werden müssen. Die weitere Anwesenheit von H.R._ müsse bei dieser Sachlage als unerwünscht bezeichnet werden. In den Entscheid würden auch die im Rahmen des Familiennachzugs zugelassenen Familienangehörigen miteinbezogen. C.- Einen gegen diese Verfügung der Fremdenpolizei erhobenen Rekurs von H.R. und T.R._ wies der Regierungsrat des Kantons Zürich am 21. März 2001 ab. Im Wesentlichen kam er zum Schluss, die Voraussetzungen zum Widerruf der Aufenthaltsbewilligung von H.R._ bzw. zur Ausweisung seien aufgrund der begangenen schwerwiegenden Betäubungsmitteldelikte erfüllt; umso mehr rechtfertige sich die blosse Nichtverlängerung der im freien Ermessen erteilten Aufenthaltsbewilligung. Da der Verbleib der im Rahmen des Familiennachzugs zugelassenen Angehörigen von der Aufenthaltsbewilligung von H.R._ abhänge und ein anderer Zulassungsgrund für seine Ehefrau und die Kinder nicht bestehe, würden sie in den Entscheid miteinbezogen, zumal ein Härtegrund nicht vorliege. Die angefochtene Verfügung erweise sich für H.R._ und seine im Rahmen des Familiennachzugs zugelassenen Angehörigen nicht als unzumutbar bzw. unangemessen. Am 6. April 2001 verfügte das Bundesamt für Ausländerfragen die Ausdehnung der Wegweisung auf die ganze Schweiz sowie eine Einreisesperre gegen H.R._. D.- Mit Eingabe vom 2. Mai 2001 haben H.R. und T.R._ für sich und ihre Kinder beim Bundesgericht staatsrechtliche Beschwerde eingereicht. Sie stellen den Antrag, der Entscheid des Regierungsrates vom 21. März 2001 sei aufzuheben und der Regierungsrat bzw. die Fremdenpolizei des Kantons Zürich sei anzuweisen, die Aufenthaltsbewilligung der Beschwerdeführer zu verlängern; eventualiter sei der Entscheid insofern aufzuheben (bzw. die Fremdenpolizei entsprechend anzuweisen), als er die Beschwerdeführer 2 bis 4 betreffe. Sodann wird um den Erlass des Kostenvorschusses und damit (sinngemäss) um die Gewährung der unentgeltlichen Rechtspflege für das Verfahren vor Bundesgericht ersucht. Die Staatskanzlei des Kantons Zürich (im Auftrag des Regierungsrates) beantragt, auf die Beschwerde nicht einzutreten, eventuell diese abzuweisen. E.- Auf ein am 3. Mai 2001 erhobenes Wiedererwägungsgesuch betreffend die Aufenthaltsbewilligung von T.R._ und der Kinder trat die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, mit Verfügung vom 9. Mai 2001 nicht ein. F.-Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlichrechtlichen Abteilung vom 22. Mai 2001 entsprochen.