Verlängerung der Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus Mazedonien stammende H.R._, geboren 1965, hielt sich in den Jahren 1986 bis 1990 als Saisonnier im Kanton Zürich auf. Im Dezember 1990 wurde seine Saisonbewilligung in eine Jahresaufenthaltsbewilligung umgewandelt, welche in der Folge jeweils verlängert wurde, letztmals bis zum 12. August 2000. Im Juli 1991 reiste die Ehefrau T.R._, geboren 1968, zusammen mit den beiden gemeinsamen Kindern A._, geboren 1988, und B._, geboren 1989, in die Schweiz ein, wo ihnen im Rahmen des Familiennachzugs Aufenthaltsbewilligungen zum Verbleib beim Ehemann bzw. beim Vater erteilt wurden.
Mit Strafbefehl der Bezirksanwaltschaft Zürich vom 24. Januar 1997 wurde H.R._ wegen Vergehens gegen die Verordnung über den Erwerb und das Tragen von Schusswaffen durch jugoslawische Staatsangehörige mit einer Busse von Fr. 500.-- bestraft, worauf er mit Verfügung vom 28. Februar 1997 fremdenpolizeilich verwarnt wurde. Am 1. Oktober 1997 wurde H.R._ wegen des Verdachts auf Begehung von Drogendelikten verhaftet. Am 27. August 1998 sprach ihn das Bezirksgericht Bülach der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz sowie der Geldwäscherei schuldig und verurteilte ihn zu 6 1/2 Jahren Zuchthaus. Auf Berufung hin reduzierte das Obergericht des Kantons Zürich mit Urteil vom 9. Juni 1999 die Strafe auf drei Jahre Zuchthaus. Dieses Urteil erwuchs in Rechtskraft. H.R._ wurde per
29. September 1999 bedingt aus dem Strafvollzug entlassen.
B.- Mit Verfügung vom 1. Dezember 2000 wies die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, die Gesuche von H.R. und T.R._ um Verlängerung der Aufenthaltsbewilligungen für sich und ihre beiden Kinder ab und setzte ihnen Frist zum Verlassen des Kantonsgebietes (Wegweisung). Zur Begründung führte die Fremdenpolizei unter Hinweis auf den Strafbefehl vom 24. Januar 1997 und das Urteil des Obergerichts vom 9. Juni 1999 an, H.R._ habe wiederholt zu schweren Klagen Anlass gegeben.
Im Weiteren hätten die Familienangehörigen in der Zeit vom August 1998 bis Juni 1999 mit einem Gesamtbetrag von Fr. 36'617.-- durch die öffentliche Fürsorge unterstützt werden müssen. Die weitere Anwesenheit von H.R._ müsse bei dieser Sachlage als unerwünscht bezeichnet werden. In den Entscheid würden auch die im Rahmen des Familiennachzugs zugelassenen Familienangehörigen miteinbezogen.
C.- Einen gegen diese Verfügung der Fremdenpolizei erhobenen Rekurs von H.R. und T.R._ wies der Regierungsrat des Kantons Zürich am 21. März 2001 ab. Im Wesentlichen kam er zum Schluss, die Voraussetzungen zum Widerruf der Aufenthaltsbewilligung von H.R._ bzw. zur Ausweisung seien aufgrund der begangenen schwerwiegenden Betäubungsmitteldelikte erfüllt; umso mehr rechtfertige sich die blosse Nichtverlängerung der im freien Ermessen erteilten Aufenthaltsbewilligung. Da der Verbleib der im Rahmen des Familiennachzugs zugelassenen Angehörigen von der Aufenthaltsbewilligung von H.R._ abhänge und ein anderer Zulassungsgrund für seine Ehefrau und die Kinder nicht bestehe, würden sie in den Entscheid miteinbezogen, zumal ein Härtegrund nicht vorliege. Die angefochtene Verfügung erweise sich für H.R._ und seine im Rahmen des Familiennachzugs zugelassenen Angehörigen nicht als unzumutbar bzw. unangemessen.
Am 6. April 2001 verfügte das Bundesamt für Ausländerfragen die Ausdehnung der Wegweisung auf die ganze Schweiz sowie eine Einreisesperre gegen H.R._.
D.- Mit Eingabe vom 2. Mai 2001 haben H.R. und T.R._ für sich und ihre Kinder beim Bundesgericht staatsrechtliche Beschwerde eingereicht. Sie stellen den Antrag, der Entscheid des Regierungsrates vom 21. März 2001 sei aufzuheben und der Regierungsrat bzw. die Fremdenpolizei des Kantons Zürich sei anzuweisen, die Aufenthaltsbewilligung der Beschwerdeführer zu verlängern; eventualiter sei der Entscheid insofern aufzuheben (bzw. die Fremdenpolizei entsprechend anzuweisen), als er die Beschwerdeführer 2 bis 4 betreffe. Sodann wird um den Erlass des Kostenvorschusses und damit (sinngemäss) um die Gewährung der unentgeltlichen Rechtspflege für das Verfahren vor Bundesgericht ersucht.
Die Staatskanzlei des Kantons Zürich (im Auftrag des Regierungsrates) beantragt, auf die Beschwerde nicht einzutreten, eventuell diese abzuweisen.
E.- Auf ein am 3. Mai 2001 erhobenes Wiedererwägungsgesuch betreffend die Aufenthaltsbewilligung von T.R._ und der Kinder trat die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, mit Verfügung vom 9. Mai 2001 nicht ein.
F.-Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlichrechtlichen Abteilung vom 22. Mai 2001 entsprochen.

Das Bundesgericht zieht in Erwägung:
1.-Die Beschwerdeführer haben staatsrechtliche Beschwerde erhoben. Dieses Rechtsmittel setzt - neben der Erschöpfung des kantonalen Instanzenzuges (Art. 86 OG) - voraus, dass die behauptete Rechtsverletzung nicht sonstwie durch Klage oder Rechtsmittel beim Bundesgericht oder einer anderen Bundesbehörde gerügt werden kann (Art. 84 Abs. 2 OG; Subsidiarität der staatsrechtlichen Beschwerde).
a) Mit der vorliegenden, gegen den Rekursentscheid des Regierungsrates gerichteten staatsrechtlichen Beschwerde wird gerügt, dass die Nichtverlängerung der streitigen Aufenthaltsbewilligungen gegen Garantien der Bundesverfassung sowie der Europäischen Menschenrechtskonvention (EMRK; SR 0.101) verstosse. Damit werden Einwendungen erhoben, die auf die Geltendmachung eines Rechtsanspruches auf die anbegehrten Aufenthaltsbewilligungen hinauslaufen. Solche Einwendungen sind nach einem kürzlich ergangenen Grundsatzentscheid des Bundesgerichts (<ref-ruling>) aufgrund der Subsidiaritätsregel von Art. 84 Abs. 2 OG im Verfahren der eidgenössischen Verwaltungsgerichtsbeschwerde zu erheben, unabhängig davon, ob der behauptete, nach Art. 100 Abs. 1 lit. b Ziff. 3 OG für die Zulässigkeit dieses Rechtsmittels massgebende Rechtsanspruch tatsächlich besteht. Der dargelegte Rechtsweg setzt sodann voraus, dass zuvor ein Entscheid der nach Art. 98a OG zuständigen kantonalen Gerichtsinstanz erwirkt wird, und zwar auch in Kantonen, in denen - wie im Kanton Zürich - dieses kantonale Rechtsmittel seinerseits nur bei Vorliegen eines Rechtsanspruches offen steht. Auf direkt gegen abschlägige Entscheide kantonaler Verwaltungsbehörden gerichtete staatsrechtliche Beschwerden, mit denen ein Rechtsanspruch auf die verweigerte ausländerrechtliche Bewilligung geltend gemacht wird, tritt das Bundesgericht - in Änderung der bisherigen Praxis - auch in Kantonen mit "anspruchsabhängigem" Rechtsmittel künftig nicht mehr ein (E. 1b des erwähnten Entscheids).
b) Diese Rechtsprechung war den Beschwerdeführern bei Einreichung der staatsrechtlichen Beschwerde noch nicht bekannt. Ihre Eingabe ist daher nach der bisherigen Praxis zu behandeln. Danach ist zunächst zu prüfen, ob auf die anbegehrte Aufenthaltsbewilligung ein (grundsätzlicher) Rechtsanspruch besteht. Ist ein Anspruch gegeben, steht der Weg der eidgenössischen Verwaltungsgerichtsbeschwerde offen (Art. 100 Abs. 1 lit. b Ziff. 3 OG; <ref-ruling> E. 1a S. 62 f.; <ref-ruling> E. 2 S. 381, 425 E. 1 S. 427, mit Hinweisen), womit die Sache zur materiellen Beurtei- lung an das nach Art. 98a OG zuständige kantonale Gericht zu überweisen wäre (vgl. hiezu und zur bisherigen Praxis:
BGE 123 II 145 E. 1c S. 147 f. sowie E. 3 S. 152; unveröffentlichte Urteile des Bundesgerichts vom 2. März 1999 i.S.
Ferudun, E. 2c, vom 8. Juni 1998 i.S. Ringstad, E. 2, vom 28. Mai 1998 i.S. Puzo, E. 1, sowie vom 25. Mai 1998 i.S.
Polak, E. 3). Besteht dagegen kein solcher Anspruch, fehlt es zur Anfechtung des abschlägigen Beschwerdeentscheids - von der Möglichkeit gewisser Verfahrensrügen abgesehen (<ref-ruling> E. 3b S. 86; <ref-ruling> E. 8e S. 398, je mit Hinweisen) - an der nach Art. 88 OG für die staatsrechtliche Beschwerde erforderlichen Legitimation (<ref-ruling> E. 1 S. 26; <ref-ruling> E. 1a S. 270; <ref-ruling> E. 2a S. 84 bzw.
E. 7a S. 94; <ref-ruling> E. 8e S. 398).
2.- a) Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Anspruch auf Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung, es sei denn, der Ausländer könne sich auf eine Sondernorm des Bundesrechts (einschliesslich Verfassungsrecht) oder eines Staatsvertrages berufen (<ref-ruling> E. 1a S. 62 f.; <ref-ruling> E. 1a S. 337 f., 377 E. 2 S. 381, 425 E. 1 S. 427, je mit Hinweisen).
b) Die Beschwerdeführer verfügten bisher über eine Aufenthaltsbewilligung. Dass sie aufgrund der Vorschriften des innerstaatlichen Gesetzesrechts oder eines bilateralen Staatsvertrages einen Anspruch auf Erteilung oder Verlängerung ihrer Aufenthaltsbewilligungen hätten, wird mit Grund nicht behauptet. Auch stützen sich die Beschwerdeführer nicht auf das in Art. 8 EMRK bzw. <ref-law> garantierte Recht auf Achtung des Familienlebens, aus welchem sich in der vorliegenden Konstellation ebenso wenig ein Bewilligungsanspruch ableiten lässt (BGE <ref-ruling> E. 2b S. 382 ff. sowie E. 7 S. 394). Sie berufen sich aber insoweit auf die Garantien von Art. 8 EMRK sowie <ref-law>, als sie in der Verweigerung der Aufenthaltsbewilligung einen Eingriff in ihr Recht auf Achtung des Privatlebens sowie die persönliche Freiheit (Persönlichkeitsentfaltung, Bewegungsfreiheit, "individuelle Selbstbestimmung") erblicken.
c) Dem Recht auf Achtung des Privatlebens (Art. 8 EMRK bzw. <ref-law>) kann in ausländerrechtlichen Fällen dann eine (selbständige) Auffangfunktion gegenüber dem engeren Schutzbereich des Rechts auf Achtung des Familienlebens zukommen, wenn qualifizierte Familienbande zu einem hier weilenden, über ein gefestigtes Anwesenheitsrecht verfügenden Angehörigen nicht oder nicht mehr bestehen. Allerdings hat das Bundesgericht in ständiger Rechtsprechung dazu festgehalten, aus dem Recht auf Achtung des Privatlebens geradezu ein Anwesenheitsrecht abzuleiten, fiele höchstens dann in Betracht, wenn besonders intensive private Beziehungen in Frage stünden (BGE 120 Ib E. 3b S. 21 f.; <ref-ruling> E. 2c/aa S. 384 f., 425 E. 4c/aa S. 432 mit weiteren Hinweisen auf unveröffentlichte Urteile).
Im Falle der Beschwerdeführer liegen offensichtlich keine solche Verhältnisse vor, welche geeignet wären, unter diesem Titel ausnahmsweise einen Bewilligungsanspruch zu begründen. Das gilt nicht nur für den - massiv straffällig gewordenen - Beschwerdeführer 1, sondern auch für dessen Ehefrau und die beiden minderjährigen Kinder. Darin, dass diese letzteren trotz bald zehnjährigem Aufenthalt in der Schweiz ausländerrechtlich das Schicksal des Ehemannes bzw.
des Vaters zu teilen haben, dem sie seinerzeit im Rahmen des Familiennachzugs in die Schweiz gefolgt sind und mit dem sie nach wie vor eine Familiengemeinschaft bilden, liegt kein Eingriff in die erwähnten Garantien. Die Beschwerdeführer 2 bis 4 konnten jedenfalls seit der Verurteilung des Beschwerdeführers 1 im Juni 1999 zu einer mehrjährigen Zuchthausstrafe, womit ein Ausweisungsgrund gesetzt wurde (Art. 10 Abs. 1 lit. a ANAG), mit der Verlängerung ihrer bloss ermessensweise erteilten, abhängigen Aufenthaltsbewilligung nicht mehr ernsthaft rechnen, weshalb bereits ihr unsicherer ausländerrechtlicher Status einer besonderen Verwurzelung im Land bzw. dem Eingehen besonders intensiver privater Beziehungen entgegenstand. Solche über das übliche Mass hinausgehende Bindungen zum ausserfamiliären Umfeld sind auch bei den Kindern, welche sich in einem anpassungsfähigen und noch überwiegend auf das Elternhaus ausgerichteten Alter befinden, nicht ersichtlich, auch wenn sie aufgrund des Schulbesuchs gewisse soziale Bindungen geknüpft haben. Der Umstand, dass ihnen in Mazedonien nicht die gleichen Aus- und Weiterbildungsmöglichkeiten zur Verfügung stehen, ist nicht geeignet, unter diesem Titel einen Bewilligungsanspruch zu begründen.
Es liegen folglich auch bei den Beschwerdeführern 2 bis 4 keine besonders intensiven Bindungen vor, welche in den Schutzbereich des Rechts auf Achtung des Privatlebens fallen könnten, womit sich aus der erwähnten Garantie keine Ansprüche auf Verlängerung der Aufenthaltsbewilligung ableiten lassen.
d) Gegenüber dem Recht auf Achtung des Privatlebens gemäss <ref-law> ergeben sich aus der - von den Beschwerdeführern ebenfalls angerufenen - persönlichen Freiheit bzw. ihren in <ref-law> verankerten Teilgehalten (eingehend:
BGE 127 I 6 E. 5a S. 10 ff., insbesondere S. 12 unten zum Verhältnis von Art. 10 zu <ref-law>) im vorliegenden Zusammenhang keine weitergehenden Ansprüche.
e) Das Willkürverbot, worauf sich die Beschwerdeführer im Zusammenhang mit der Feststellung des rechtserheblichen Sachverhaltes berufen, vermag für sich allein keine legitimationsbegründende Rechtsstellung zu verschaffen (BGE <ref-ruling> E. 4 S. 388 mit Hinweis), ebenso wenig die behauptete Verletzung des Gleichbehandlungsgebotes (vgl.
Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde,
2. Aufl. , Bern 1994, S. 238).
3.- a) Haben die Beschwerdeführer nach dem Gesagten keinen Rechtsanspruch auf Erteilung einer Aufenthaltsbewilligung, so bleibt die Verwaltungsgerichtsbeschwerde ausgeschlossen. Auf die staatsrechtliche Beschwerde gegen den regierungsrätlichen Beschluss ist, soweit die Nichtverlängerung der Aufenthaltsbewilligung in der Sache angefochten wird, mangels Legitimation nicht einzutreten.
b) Trotz fehlender Legitimation in der Sache sind die Beschwerdeführer befugt, eine Verletzung jener Verfahrensgarantien geltend zu machen, deren Missachtung eine formelle Rechtsverweigerung darstellt (sog. "Star-Praxis", grundlegend: <ref-ruling> E. 3c S. 312 f.; <ref-ruling> E. 3b S. 86 sowie E. 7b S. 94; <ref-ruling> E. 1 S. 26 f.). Dabei sind aber Rügen nicht zu hören, die im Ergebnis auf eine materielle Überprüfung des Bewilligungsentscheids abzielen, so etwa die Behauptung, Beweisanträge seien wegen Unerheblichkeit oder willkürlicher antizipierter Beweiswürdigung abgelehnt worden und die Begründung des angefochtenen Entscheids sei unvollständig oder zu wenig differenziert ausgefallen und setze sich nicht mit sämtlichen von den Parteien erhobenen Argumenten auseinander (vgl. <ref-ruling> E. 1c S. 236; <ref-ruling> E. 4a S. 95; <ref-ruling> E. 3c S. 313).
c) Die Beschwerdeführer machen eine Verletzung ihres Anspruches auf rechtliches Gehör (<ref-law>) geltend, welche darin liege, dass sich der Regierungsrat auf aktenwidrige Annahmen gestützt und bestimmte, ausschlaggebende Elemente nicht berücksichtigt habe. Diese Rüge steht mit der materiellen Würdigung im Zusammenhang und erweist sich damit als im Rahmen der "Star-Praxis" unzulässig.
d) Die Beschwerdeführer bringen vor, indem es unterlassen worden sei, die vom Entscheid mitbetroffenen Kinder persönlich anzuhören, hätten die Fremdenpolizeibehörden gegen Art. 12 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (UNO-Kinderrechtekonvention, KRK; SR 0.107) verstossen. Die Rüge der Verletzung dieser unmittelbar anwendbaren (<ref-ruling> E. 3a S. 92) und grundsätzlich auch im fremdenpolizeilichen Verfahren zum Tragen kommenden (<ref-ruling> E. 3c S. 368) Garantie ist zulässig.
Gemäss Art. 12 KRK sichern die Vertragsstaaten dem Kind, das fähig ist, sich eine eigene Meinung zu bilden, das Recht zu, diese Meinung in allen es berührenden Angelegenheiten bzw. Gerichts- und Verwaltungsverfahren unmittelbar oder durch einen Vertreter oder eine geeignete Stelle frei zu äussern und angehört zu werden. Indessen ist das Kind nicht zwingend persönlich (mündlich), sondern lediglich in angemessener Weise anzuhören, wobei diese Anhörung je nach der zu behandelnden Problematik und den Umständen des Einzelfalles auch schriftlich oder über einen Vertreter vorgenommen werden kann (<ref-ruling> E. 3c S. 368; vgl. auch die Botschaft zum Beitritt der Schweiz zur UNO-Kinderrechtekonvention, BBl 1994 V 37 f.). Vorliegend sind die Anliegen der Kinder in den Ausführungen der Rechtsvertreter genügend zum Ausdruck gekommen. Im Unterschied etwa zu einer Scheidung, wo die Interessen der Beteiligten nicht gleichläufig sind und sich eine persönliche Anhörung der Kinder aus diesem Grund aufdrängt, kann hier davon ausgegangen werden, dass sich die Haltung der Kinder (hinsichtlich eines Verbleibens in der Schweiz) mit jener der Eltern deckt und sich ihr Standpunkt ohne weiteres den Eingaben und Rechtsschriften entnehmen lässt. Auch liegen die Dinge anders als in solchen fremdenpolizeilichen Fällen, wo eine separate Bewilligung für ein einzelnes Kind oder einzelne Kinder überhaupt in Frage kommen. Der Verzicht auf eine persönliche Anhörung der Kinder hält unter den gegebenen Umständen vor Art. 12 KRK stand.
4.- Damit ist die staatsrechtliche Beschwerde, soweit darauf einzutreten ist, abzuweisen.
Die Beschwerdeführer haben für das bundesgerichtliche Verfahren um unentgeltliche Prozessführung ersucht.
Sie konnten indessen nicht ernsthaft mit einer Gutheissung der Beschwerde rechnen. Die gestellten Rechtsbegehren sind als zum Vornherein aussichtslos zu betrachten (Art. 152 OG); das Gesuch um unentgeltliche Rechtspflege ist infolgedessen abzuweisen. Den Beschwerdeführern sind, entsprechend dem Verfahrensausgang, die Kosten des bundesgerichtlichen Verfahrens aufzuerlegen, unter solidarischer Haftung (Art. 156 Abs. 1 und 7 in Verbindung mit Art. 153 und 153a OG). Auf die Zusprechung einer Parteientschädigung besteht kein Anspruch (vgl. Art. 159 Abs. 2 OG analog).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- a) Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
b) Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3.- Dieses Urteil wird den Beschwerdeführern sowie dem Regierungsrat (Staatskanzlei) des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 26. Juli 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: