Verlängerung der Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus der Bundesrepublik Jugoslawien (Kosovo) stammende S.S._, geboren 1963, arbeitete in den Jahren 1987 bis 1991 als Saisonnier im Kanton Zürich. Am 26. Juni 1991 wurde seine Saisonbewilligung in eine Jahresaufenthaltsbewilligung zur Erwerbstätigkeit umgewandelt.
Am 9. Mai 1993 reiste die Ehefrau R.S._, geboren 1969, zusammen mit den Kindern A.S._, geboren 1988, B.S._, geboren 1989, sowie C.S._, geboren 1990, in die Schweiz ein. Ihnen sowie dem 1994 in der Schweiz geborenen Kind D.S._ wurden im Rahmen des Familiennachzugs Aufenthaltsbewilligungen für den Kanton Zürich zum Verbleib beim Ehemann bzw. beim Vater erteilt.
Seit August 1995 war S.S._ infolge einer Krankheit nicht mehr in der Lage, seiner Erwerbstätigkeit nachzugehen. Mit Verfügung vom 19. September 1997 sprach die zuständige IV-Stelle S.S._ aufgrund lang andauernder Krankheit bei einem Invaliditätsgrad von 100% eine Invalidenrente (nebst einer Zusatzrente für die Ehefrau und Kinderrenten) zu; ab August 1997 wurde ihm auch seitens der beruflichen Vorsorge eine Invalidenrente ausgerichtet.
B.- Mit Verfügung vom 17. März 1998 wies die Fremdenpolizei des Kantons Zürich die Gesuche vom 10. November 1997 um Verlängerung der Aufenthaltsbewilligungen von S.S._, seiner Ehefrau und den Kindern ab und setzte ihnen Frist zum Verlassen des Kantonsgebietes. Zur Begründung führte die Fremdenpolizei an, der Invaliditätsgrad von S.S._ sei auf 100% festgelegt worden, weshalb davon auszugehen sei, dass eine Erwerbsaufnahme nicht mehr erfolgen werde. Da S.S._ der Aufenthalt zur Ausübung einer Erwerbstätigkeit und nicht zur erwerbslosen Wohnsitznahme bewilligt worden sei, müsse sein Aufenthaltszweck als "erfüllt betrachtet werden. Im Übrigen sei der Nachweis dafür nicht erbracht, dass S.S._ zwingend der ärztlichen Behandlung im Kanton Zürich bedürfe. In den Entscheid würden auch die Familienangehörigen einbezogen, die ihre Aufenthaltsbewilligung im Rahmen des Familiennachzugs erhalten hätten.
C.- Einen gegen diese Verfügung der Fremdenpolizei erhobenen Rekurs wies der Regierungsrat des Kantons Zürich am 26. Juli 2000 ab, soweit er darauf eintrat. Im Wesentlichen kam er zum Schluss, für eine Verlängerung der Aufenthaltsbewilligung von S.S._, welche ursprünglich zum Zweck der Erwerbstätigkeit erteilt worden sei, bestehe keine Veranlassung, da auch bei einem weiteren Verbleib im Kanton Zürich nicht mit einer Besserung seiner Krankheit und einer massgeblichen Wiedereingliederung ins Erwerbsleben zu rechnen sei. Auch komme die Bewilligung eines erwerbslosen Aufenthaltes nicht in Frage, liessen doch die Umstände nicht auf einen dafür notwendigen Härtefall schliessen. Die Wegweisung von S.S._ und seiner im Rahmen des Familiennachzugs zugelassenen Angehörigen erscheine nicht als unangemessen.
D.- Gegen den Rekursentscheid des Regierungsrates vom 26. Juli 2000 legten S.S._ und R.S._ sowohl staatsrechtliche Beschwerde beim Bundesgericht als auch (kantonale) Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Zürich ein.
Mit Urteil vom 18. Mai 2001 trat das Bundesgericht auf die staatsrechtliche Beschwerde nicht ein. Es entschied, dass Einwendungen, welche auf die Geltendmachung eines Rechtsanspruches auf die anbegehrte fremdenpolizeiliche Bewilligung hinausliefen, dem Bundesgericht mit Verwaltungsgerichtsbeschwerde zu unterbreiten seien; dabei müsse zuerst die nach Art. 98a OG zuständige kantonale Gerichtsinstanz (hier: das Verwaltungsgericht) angerufen werden (BGE 127 II 161).
Daraufhin nahm das Verwaltungsgericht des Kantons Zürich (4. Kammer) das bei ihm bis zur Erledigung der staatsrechtlichen Beschwerde sistierte Verfahren wieder auf.
Mit Beschluss vom 29. August 2001 (versandt am 18. September 2001) trat es auf die Beschwerde nicht ein, da es S.S._ an einem - gemäss kantonalem Verfahrensrecht für die Zulässigkeit dieses Rechtsmittels notwendigen - Rechtsanspruch auf die Aufenthaltsbewilligung fehle. Ein solcher ergibt sich nach Auffassung des Gerichts weder aus dem Recht auf Achtung des Familienlebens noch aus demjenigen auf Achtung des Privatlebens.
E.- Gegen diesen Beschluss des Verwaltungsgerichts haben S.S._ und R.S._ für sich und ihre Kinder mit Eingabe vom 19. Oktober 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Sie stellen den Antrag, der Beschluss des Verwaltungsgerichts vom 29. August 2001 sowie jener des Regierungsrates vom 26. Juli 2000 seien aufzuheben und die Sache an die Direktion für Soziales und Sicherheit zurückzuweisen mit der Auflage, ihre Aufenthaltsbewilligungen zu verlängern bzw. die Erteilung der Niederlassungsbewilligung zu prüfen. Im Weiteren seien die Verfahrenskosten der vorinstanzlichen Verfahren sowie des Verfahrens vor Bundesgericht auf die Gerichtskasse zu nehmen bzw.
dem "Beschwerdegegner" aufzuerlegen und die den Beschwerdeführern entstandenen Anwaltskosten im Verfahren vor den Vorinstanzen und vor Bundesgericht angemessen zu entschädigen.
Die Staatskanzlei des Kantons Zürich (im Auftrag des Regierungsrates) sowie das Bundesamt für Ausländerfragen schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich (4. Abteilung) beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
F.- Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlichrechtlichen Abteilung vom 19. November 2001 entsprochen.
Das Bundesgericht zieht in Erwägung:
1.-a) Die vorliegende Verwaltungsgerichtsbeschwerde richtet sich gegen den Entscheid einer nach Art. 98a OG zuständigen kantonalen Gerichtsinstanz, welche aufgrund einer zu Art. 100 Abs. 1 lit. b Ziff. 3 OG analogen kantonalen Zugangsregelung auf das bei ihr eingereichte Rechtsmittel nicht eingetreten ist, da sie einen Rechtsanspruch auf die streitige fremdenpolizeiliche Bewilligung verneint hat.
Hiegegen kann der Rechtsuchende mit Verwaltungsgerichtsbeschwerde an das Bundesgericht gelangen, wenn er - wie hier - die Verneinung des Rechtsanspruches als bundesrechtswidrig anfechten will (BGE 127 II 161 E. 3a S. 167).
b) Art. 100 Abs. 1 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde auf dem Gebiete der Fremdenpolizei aus gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt.
Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer Aufenthaltsbewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts (einschliesslich Bundesverfassungsrecht) oder eines Staatsvertrages berufen (BGE 127 II 161 E. 1a S. 164, 60 E. 1a S. 62 f.; 126 II 335 E. 1a S. 337 f., 377 E. 2 S. 381, 425 E. 1 S. 427, je mit Hinweisen).
c) Mit der Verwaltungsgerichtsbeschwerde kann vorliegend die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts (Art. 104 lit. a und b OG), nicht jedoch die Unangemessenheit des angefochtenen Entscheids (vgl. Art. 104 lit. c OG) gerügt werden. Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden, ist das Bundesgericht an deren Sachverhaltsfeststellung gebunden, sofern diese nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erfolgt ist (Art. 105 Abs. 2 OG). Damit wird die Möglichkeit, vor Bundesgericht neue Tatsachen vorzubringen und neue Beweismittel einzureichen, weitgehend eingeschränkt.
Das Bundesgericht lässt diesfalls nur solche neuen Tatsachen und Beweismittel zu, welche die Vorinstanz von Amtes wegen hätte berücksichtigen müssen und deren Nichtbeachtung eine Verletzung wesentlicher Verfahrensvorschriften darstellt (BGE 121 II 97 E. 1c S. 99 f., 110 E. 2c S. 114; 107 Ib 167 E. 1b S. 169; 106 Ib 79 E. 2a S. 79 f.; Fritz Gygi, Bundesverwaltungsrechtspflege, 2. Auflage, Bern 1983, S. 286/287).
2.- Die Beschwerdeführer machen geltend, es liege ein Rechtsanspruch auf die anbegehrte Aufenthaltsbewilligung vor. Da die Zulässigkeit der Verwaltungsgerichtsbeschwerde vom grundsätzlichen Vorhandensein eines solchen abhängt (E. 1b), ist diese Frage im Rahmen der Eintretenserwägungen zu behandeln (vgl. BGE 127 II 161 E. 1b S. 165).
a) Dass die Beschwerdeführer aufgrund von Vorschriften des innerstaatlichen Gesetzesrechts oder eines bilateralen Staatsvertrages einen Anspruch auf Erteilung oder Verlängerung der Aufenthaltsbewilligung hätten, wird mit Grund nicht behauptet. Ein allfälliger (indirekter) Anspruch könnte sich einzig aus den herangezogenen Garantien der Bundesverfassung bzw. der Europäischen Menschenrechtskonvention ergeben.
b) aa) Die Beschwerdeführer bringen vor, ein Rechtsanspruch auf die anbegehrte Verlängerung der Aufenthaltsbewilligungen ergebe sich aus dem in Art. 8 Ziff. 1 EMRK (bzw. Art. 13 Abs. 1 BV) garantierten Recht auf Achtung des Privatlebens. Mit einer Anwesenheitsdauer von 15 Jahren (Beschwerdeführer 1) bzw. einer solchen von 8 1/2 Jahren (Beschwerdeführer 2 und 3), wobei alle Kinder sämtliche Schuljahre hierzulande absolviert hätten, bestünden vorliegend weit intensivere Bindungen zur Schweiz, als dies in BGE 126 II 377 der Fall gewesen sei.
bb) Dem Recht auf Achtung des Privatlebens (Art. 8 EMRK bzw. Art. 13 Abs. 1 BV) kann in ausländerrechtlichen Fällen dann eine (selbständige) Auffangfunktion gegenüber dem engeren Schutzbereich des Rechts auf Achtung des Familienlebens zukommen, wenn - wie vorliegend - qualifizierte Familienbande zu einem hier weilenden, über ein gefestigtes Anwesenheitsrecht verfügenden Angehörigen nicht oder nicht mehr bestehen. Allerdings hat das Bundesgericht in ständiger Rechtsprechung dazu festgehalten, aus dem Recht auf Achtung des Privatlebens geradezu ein Anwesenheitsrecht abzuleiten, fiele höchstens dann in Betracht, wenn besonders intensive private Beziehungen in Frage stünden (BGE 120 Ib 16 E. 3b S. 21 f.; 126 II 377 E. 2c/aa S. 384 f., 425 E. 4c/aa S. 432 mit weiteren Hinweisen auf unveröffentlichte Urteile).
cc) Im Falle der Beschwerdeführer reichen die Dauer und Intensität der eingegangen Bindungen nicht aus, um unter diesem Titel ausnahmsweise einen Bewilligungsanspruch zu begründen. Der Beschwerdeführer 1 war zwar ab 1987 als Saisonnier in der Schweiz; die Aufenthaltsbewilligung und damit das Recht zur ständigen und ununterbrochenen Anwesenheit, welche das Eingehen allfälliger intensiver privater Beziehungen hierzulande überhaupt möglich macht, erhielt er aber erst 1991. Seiner Ehefrau und den Kindern wurde der Nachzug 1993 bewilligt. Seit 1995 geht der Beschwerdeführer krankheitshalber keiner Erwerbstätigkeit mehr nach und mit Wirkung ab 1996 bezieht er eine Invalidenrente. Bereits ab diesem Zeitpunkt konnte der zur Erwerbstätigkeit zugelassene Beschwerdeführer 1 - aufgrund der Bedingung der Aufenthaltsbewilligung durch den Aufenthaltszweck - nicht mehr ohne weiteres mit einer weiteren Verlängerung seiner Aufenthaltsbewilligung rechnen. Ebendies muss für seine Ehefrau und die Kinder gelten, welche ihm im Rahmen des Familiennachzugs in die Schweiz gefolgt sind und damit bloss über eine abgeleitete Anwesenheitsberechtigung verfügen. Im März 1998 wurde dem Beschwerdeführer 1 und seiner Familie die Verlängerung der Aufenthaltsbewilligung verweigert und Frist zur Ausreise angesetzt. Die seitherige Anwesenheit beruht lediglich noch auf der aufschiebenden Wirkung der ergriffenen Rechtsmittel und kann insofern für die Würdigung der Zumutbarkeit einer Rückkehr nicht oder nur ganz beschränkt in Betracht fallen.
Eine massgebliche Aufenthaltsdauer des Beschwerdeführers 1 von knapp sieben Jahren (Juli 1991 bis März 1998) bzw. eine solche der Beschwerdeführerin 2 von weniger als fünf Jahren (Mai 1993 bis März 1998) lässt auf keine besonders intensive Bindungen schliessen, welche in den Schutzbereich des Rechts auf Achtung des Privatlebens fielen. Ebenso waren die Verhältnisse bei den Kindern im März 1998 vergleichbar mit jenen in BGE 126 II 377, wo das Bundesgericht festhielt, zwar trete mit der Einschulung eine gewisse Verwurzelung im Land ein und es würden auch Beziehungen über das familiäre Umfeld hinaus geknüpft, doch könne noch nicht von besonders intensiven Bindungen gesprochen werden, denen neben jener zu den nächsten Angehörigen selbständige Bedeutung zukämen (E. 2c/bb S. 386 des zitierten Entscheids). Dies muss auch heute noch gelten: Die Kinder befinden sich nach wie vor in einem anpassungsfähigen Alter und sind durch ihre Eltern mit der Sprache und den Gepflogenheiten ihres Heimatlandes in genügender Weise vertraut, um sich dort rasch wieder integrieren zu können. Was sodann die gesundheitliche Situation des Beschwerdeführers 1 anbelangt, so kann aus dem bei den Akten befindlichen ärztlichen Zeugnis nicht auf die Notwendigkeit einer Behandlung in der Schweiz geschlossen werden, welche ihm nicht in seinem Heimatland gewährt werden könnte.
Der Umstand, dass er aufgrund seiner Krankheit kaum mehr das Haus verlässt, zeigt, dass er in überwiegender Weise von seinen Angehörigen abhängig ist, wogegen soziale Kontakte zum ausserfamiliären bzw. ausserhäuslichen Bereich - auf welche es beim Schutz des Privatlebens in diesem Zusammenhang gerade ankommt - nur noch von untergeordneter Bedeutung sind. Unter diesen Umständen ist das in Art. 8 Ziff. 1 EMRK bzw. Art. 13 Abs. 1 BV verankerte Recht auf Achtung des Privatlebens durch die verweigerte Verlängerung der Aufenthaltsbewilligung nicht tangiert.
dd) Nichts zu Gunsten der Beschwerdeführer liesse sich ableiten, wenn - wie von ihnen behauptet - vorliegend gemäss den von der Praxis entwickelten Kriterien ein schwerwiegender persönlicher Härtefall im Sinne von Art. 13 lit. f der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (Begrenzungsverordnung, BVO; SR 823. 21) zu bejahen wäre. Die Anerkennung eines Härtefalles im Sinne von Art. 13 lit. f BVO bewirkt nur, dass der Ausländer von den Höchstzahlen der Begrenzungsverordnung ausgenommen ist, führt dagegen nicht dazu, dass dadurch ein Anspruch auf Erteilung einer Aufenthaltsbewilligung entstehen würde. Die Fremdenpolizeibehörden bleiben vielmehr in ihrem Entscheid über die Bewilligungserteilung frei (BGE 119 Ib 91 E. 1d S. 95, mit Hinweis). Im Übrigen bedürfte es beim Beschwerdeführer 1 ohnehin keiner Anwendung der erwähnten Härtefallregelung, gelten doch die Bestimmungen über die Höchstzahlen bzw. über die Befreiung hievon nur für Ausländer, die in der Schweiz erwerbstätig sind bzw. sein wollen (unveröffentlichte Urteile des Bundesgerichts vom 27. November 1997 i.S. G., E. 2b, sowie vom 22. April 1997 i.S. A., E. 6b). Aus diesem Grund ist es auch nicht zwingend, dass sich die Voraussetzungen für die Anerkennung eines Härtefalles im Sinne der Begrenzungsverordnung mit jenen für die Bejahung besonders intensiver privater Beziehungen im Rahmen des Rechts auf Achtung des Privatlebens decken.
ee) Die Beschwerdeführer weisen sodann auf Stimmen in der Literatur hin, welche in Fällen wie den vorliegenden aus Art. 8 Ziff. 1 EMRK einen (den Rechtsmittelweg der Verwaltungsgerichtsbeschwerde öffnenden) Rechtsanspruch ableiten wollen (Christoph Mettler/Simon Bangerter, in: AJP 2001 S. 588 ff. sowie Peter Uebersax, Ermessen, Ansprüche und Verfahren bei der Erteilung ausländerrechtlicher Anwesenheitsbewilligungen, in: Bernhard Ehrenzeller [Hrsg. ], Aktuelle Fragen des schweizerischen Ausländerrechts, St. Gallen 2001, S. 31). Die Kritik in der Lehre geht namentlich dahin, dass mit zunehmender Anwesenheitsdauer unvermeidlich ein enges Beziehungsnetz im Inland entstehe, wogegen die gesellschaftlichen Kontakte im Ursprungsland sukzessive lockerer würden, weshalb - zumindest bei jahrzehntelangem Aufenthalt - aufenthaltsbeendende Massnahmen bzw. die Nichtverlängerung der Bewilligung einen Eingriff in das Privatleben darstellten (so etwa: Martina Caroni, Privat- und Familienleben zwischen Menschenrecht und Migration, Diss. Bern 1998, S. 305 f.). Um der fortschreitenden Integration Rechnung zu tragen, sieht der im Juli 2000 in die Vernehmlassung geschickte Vorentwurf zu einem Bundesgesetz für Ausländerinnen und Ausländer (AuG) in Art. 35 Abs. 4 nach einem Aufenthalt von fünf Jahren unter bestimmten Voraussetzungen einen gesetzlichen Anspruch auf Verlängerung der Aufenthaltsbewilligung vor (vgl. dazu S. 18 Ziff. 252 des Begleitberichts zum [Vor-]Entwurf vom Juni 2000). Die erwähnte Bestimmung erwies sich in der Vernehmlassung allerdings als umstritten, wobei sich namentlich eine Vielzahl der Kantone gegen die Gewährung eines Verlängerungsanspruches ausgesprochen haben (S. 67 f. der Zusammenfassung der Ergebnisse des Vernehmlassungsverfahrens vom Juni 2001 des Eidgenössischen Justiz- und Polizeidepartements).
Es wird dem Gesetzgeber obliegen, zu entscheiden, ob und inwieweit das Ermessen der Fremdenpolizeibehörden bei der Bewilligungsverlängerung nach einer bestimmten Aufenthaltsdauer allenfalls gerichtlich klagbaren Rechtsansprüchen zu weichen hat. Das Bundesgericht sieht keinen Anlass, durch eine Änderung der Rechtsprechung zu Art. 8 EMRK der Gesetzgebung vorzugreifen.
c) aa) Die Beschwerdeführer machen geltend, ein Rechtsanspruch auf Verlängerung der Aufenthaltsbewilligung ergebe sich vorliegend auch daraus, dass die Verweigerung der Bewilligung das Diskriminierungsverbot von Art. 8 Abs. 2 BV verletze. Indem an die Arbeitsunfähigkeit Rechtsfolgen geknüpft würden, werde auf ein Kriterium abgestellt, welches ein unverzichtbares Merkmal invalider Menschen darstelle, worin - entgegen BGE 126 II 377 - eine indirekte Diskriminierung liege (vgl. Andreas Zünd, Beendigung der ausländerrechtlichen Anwesenheitsberechtigung, in: Bernhard Ehrenzeller [Hrsg. ], Aktuelle Fragen des schweizerischen Ausländerrechts, St. Gallen 2001, S. 168 f.).
bb) Das Bundesgericht hat sich in BGE 126 II 377 E. 6 S. 392 ff. (bei vergleichbarer Konstellation) eingehend mit dem Diskriminierungsverbot befasst. Es besteht kein Anlass, von der dortigen Rechtsprechung abzuweichen. Ob jemand in der Schweiz eine Erwerbstätigkeit ausüben will, ist ein zulässiges und gebräuchliches Kriterium, von dem die Erteilung wie auch die Aufrechterhaltung einer Aufenthaltsbewilligung abhängig gemacht werden darf. Wer die Erwerbstätigkeit, derentwegen ihm die Aufenthaltsbewilligung in der Schweiz seinerzeit erteilt worden ist, nicht mehr ausübt oder ausüben kann, muss grundsätzlich in Kauf nehmen, dass ihm der weitere Aufenthalt hierzulande nicht mehr gestattet wird, es sei denn, abweichende spezielle Regelungen sähen ein entsprechendes Recht vor (vgl. etwa das Verbleiberecht gemäss Art. 4 des Anhangs I zum Abkommen zwischen der Europäischen Gemeinschaft und ihren Mitgliedstaaten einerseits und der Schweizerischen Eidgenossenschaft andererseits über die Freizügigkeit [BBl 1999 S. 7027 ff.] und dazu die bundesrätliche Botschaft in BBl 1999 S. 6311 sowie Minh Son Nguyen, L'accord bilatéral sur la libre circulation des personnes et le droit de la police des étrangers, in: RDAF 2001 1 S. 168). Dass diese Konsequenz auch invalid gewordene Ausländer treffen kann, wenn sie noch kein festes Anwesenheitsrecht erworben haben, liegt in der Natur der Sache und stellt keine verbotene (direkte oder indirekte) Diskriminierung dieser Bevölkerungsgruppe dar.
cc) Die Beschwerdeführer rügen, die Wegweisung invalid gewordener Arbeitsimmigranten und deren Familien nach derart langem Aufenthalt stelle eine Diskriminierung gegenüber Ehegatten dar, die in gewissen Kantonen nach drei Aufenthaltsjahren eine zivilstandsunabhängige Bewilligung erhielten und in sämtlichen Kantonen nach fünf Aufenthaltsjahren unabhängig vom Bestand der Ehe in der Schweiz verbleiben dürften. Dieser Einwand ist schon deshalb nicht stichhaltig, weil es sich dabei um wesentlich verschiedene Situationen handelt. Bei einem vormals mit einem Schweizer oder einem hier Niedergelassenen verheirateten Ausländer ist die Beziehung zur Schweiz regelmässig anders geartet als bei Ausländern, welche zwecks Ausübung einer Erwerbstätigkeit hier weilen.
dd) Die Beschwerdeführer bringen vor, sie würden im Vergleich zu einer kroatischen Invalidenrentenbezügerin, welcher trotz kürzerer Erwerbstätigkeit die Aufenthaltsbewilligung im Kanton Zürich verlängert worden sei, rechtsungleich behandelt bzw. aufgrund ihrer Herkunft diskriminiert.
Das angefochtene Urteil hat sich mit diesem Vorbringen nicht befasst. Der Einwand stützt sich damit auf eine nach Art. 105 Abs. 2 OG unzulässige Tatsachenbehauptung (oben E. 1c), auf die nicht einzugehen ist, zumal nicht geltend gemacht wird, dass und inwiefern die Nichtbehandlung dieses Vorbringens gegen wesentliche Verfahrensbestimmungen verstosse. Im Übrigen unterscheidet sich der angerufene Vergleichsfall schon nach der Darstellung der Beschwerdeführer vom vorliegenden, als es hier um die Verlängerung der Aufenthaltsbewilligung einer alleinstehenden kroatischen Staatsangehörigen geht, welche zwar nur sechs Jahre in der Schweiz erwerbstätig war, eine Invalidenrente aber erst seit 1999 bezieht. Dies erlaubt den Schluss, dass - entgegen den Behauptungen der Beschwerdeführer - die persönlichen Umstände und nicht die Nationalität der Betroffenen entscheidend waren, was die Anknüpfung an ein vom Diskriminierungsverbot verpöntes Kriterium ausschliesst.
Im Übrigen verschafft das allgemeine Rechtsgleichheitsgebot von Art. 8 Abs. 1 BV - soweit eine rechtsungleiche Rechtsanwendung geltend gemacht wird - für sich allein keine (im Verfahren der staatsrechtlichen Beschwerde) legitimationsbegründende geschützte Rechtsstellung gemäss Art. 88 OG (BGE 126 I 81 E. 3b S. 86; vgl. Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Aufl. , Bern 1994, S. 238). Die Rüge der rechtsungleichen Handhabung des Gesetzes vermag damit ebenso wenig wie die Anrufung des Willkürverbots gemäss Art. 9 BV (vgl. dazu BGE 126 II 377 E. 4 S. 388) einen den Rechtsmittelweg der Verwaltungsgerichtsbeschwerde gemäss Art. 100 Abs. 1 lit. b Ziff. 3 OG öffnenden Rechtsanspruch auf eine fremdenpolizeiliche Bewilligung zu begründen.
ee) Nach dem Gesagten liegt in der streitigen Nichtverlängerung der Aufenthaltsbewilligung der Beschwerdeführer auch keine Verletzung des in Art. 8 Abs. 2 BV verankerten Diskriminierungsverbots.
3.- a) Damit ist nicht zu beanstanden, wenn das Verwaltungsgericht des Kantons Zürich - wenn auch mit etwas knapper Begründung - im Ergebnis das Vorliegen eines Rechtsanspruches verneint hat. Aus dem gleichen Grund ist demzufolge auf die vorliegende Verwaltungsgerichtsbeschwerde nicht einzutreten (vgl. oben E. 2 Ingress).
b) Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen, unter solidarischer Haftung (Art. 156 Abs. 1 und 7 in Verbindung mit Art. 153 sowie 153a OG). Auf die Zusprechung einer Parteientschädigung besteht kein Anspruch (Art. 159 Abs. 2 OG).
Demnach erkennt das Bundesgericht:
1.- Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3.- Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat (Staatskanzlei) und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 29. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: