Verlängerung der Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus der Bundesrepublik Jugoslawien (Kosovo) stammende F.A._, geboren 1959, arbeitete in den Jahren 1991 bis 1994 als Saisonnier im Gartenbau in der Schweiz. Am 10. November 1994 wurde seine Saisonbewilligung in eine Jahresaufenthaltsbewilligung zur Erwerbstätigkeit umgewandelt, die in den folgenden Jahren jeweils verlängert wurde.
Am 24. September 1995 reiste die Ehefrau A.A._, geboren 1966, zusammen mit den Kindern X.A._, geboren 1990, und Y.A._, geboren 1991, in die Schweiz ein. Ihnen sowie der 1996 in der Schweiz geborenen Tochter Z.A._ wurden im Rahmen des Familiennachzugs Aufenthaltsbewilligungen zum Verbleib beim Ehemann bzw. bei den Eltern im Kanton Zürich erteilt.
Ab dem 30. September 1995 war F.A._ aufgrund einer anfangs April 1995 erlittenen Gehirnblutung, seit der er sich in regelmässiger ärztlicher Behandlung befindet, nicht mehr in der Lage, seiner bisherigen Erwerbstätigkeit nachzugehen. In der Folge legte die Sozialversicherungsanstalt des Kantons Zürich als zuständige IV-Stelle den Invaliditätsgrad von F.A._ auf 60% fest und gewährte ihm eine halbe Invalidenrente, eine Zusatzrente für die Ehefrau sowie einfache Kinderrenten; seitens der beruflichen Vorsorge wurde ihm ebenfalls eine halbe Invalidenrente zugesprochen.
Als im Rahmen seiner (Rest-)Arbeitsfähigkeit Vermittlungsfähiger erhielt er ausserdem vorübergehend Taggelder der Arbeitslosenversicherung. Zeitweise musste er auch von der öffentlichen Fürsorge seiner Wohnortsgemeinde finanziell unterstützt werden.
B.- Nachdem F.A._ die Aufenthaltsbewilligung letztmals zum Zweck der Stellensuche bis zum 30. September 1997 verlängert worden war, wies die Fremdenpolizei des Kantons Zürich mit Verfügung vom 1. April 1998 die Gesuche vom 23. September 1997 um erneute Verlängerung der Aufenthaltsbewilligungen von F.A._, seiner Frau und den Kindern ab. Zur Begründung führte die Fremdenpolizei an, F.A._, dem der Aufenthalt zur Ausübung einer Erwerbstätigkeit bewilligt worden sei, gehe seit dem 30. September 1995 aus gesundheitlichen Gründen keiner Beschäftigung mehr nach und erhalte Invalidenrenten, weshalb sein Aufenthaltszweck als erfüllt anzusehen sei. Im Übrigen habe er von der öffentlichen Fürsorge unterstützt werden müssen. In den Entscheid würden auch die Familienangehörigen einbezogen, die ihre Aufenthaltsbewilligung im Rahmen des Familiennachzugs erhalten hätten.
C.- Auf Rekurs von F.A._ und A.A._ vom 4. Mai 1998 hin bestätigte der Regierungsrat des Kantons Zürich mit Entscheid vom 25. August 1999 die Abweisung des Gesuchs um Verlängerung der Aufenthaltsbewilligungen. Er kam dabei zum Schluss, dass vorliegend weder aus dem in Art. 8 der Europäischen Menschenrechtskonvention (EMRK) garantierten Anspruch auf Achtung des Privat- und Familienlebens noch aus der UNO-Kinderrechtekonvention ein Anspruch auf die Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung abgeleitet werden könne. Da aufgrund seines Gesundheitszustandes keine Anhaltspunkte für eine Wiedereingliederung von F.A._ ins Erwerbsleben ersichtlich seien, bestehe kein Anlass, die zum Zwecke der Erwerbstätigkeit erteilte Aufenthaltsbewilligung zu verlängern. Sodann fehle es am Nachweis, dass die ärztliche Behandlung zwingend den Aufenthalt im Kanton Zürich erfordere. Schliesslich komme auch die Bewilligung eines erwerbslosen Aufenthaltes im Kanton Zürich nicht in Frage, fehle es doch F.A._ und seiner Familie an der hiefür erforderlichen langjährigen Anwesenheit und festen Verwurzelung. Zudem sei im Gesuch um Familiennachzug vom 29. September 1995 die Tatsache verschwiegen worden, dass F.A._ die Arbeitsstelle auf den 30. September 1995 gekündigt worden sei, weshalb die Voraussetzungen des Familiennachzugs von Anfang an nicht erfüllt gewesen seien bzw. es zur Bewilligungserteilung bloss deshalb gekommen sei, weil die Gesuchsteller die gesetzlichen Informationspflichten missachtet hätten. Eine Wegweisung erweise sich infolgedessen als zumutbar.
D.- Auf eine gegen den Entscheid des Regierungsrates vom 25. August 1999 gerichtete Beschwerde von F.A._ und A.A._ vom 5. Oktober 1999 trat das Verwaltungsgericht des Kantons Zürich mit Beschluss vom 1. Dezember 1999 nicht ein. Es verneinte das Vorliegen eines Anspruchs auf Verlängerung der Aufenthaltsbewilligungen, weshalb sich die (kantonale) Verwaltungsgerichtsbeschwerde nach Massgabe des zürcherischen Verwaltungsrechtspflegegesetzes als unzulässig erweise.
E.- Mit Eingabe vom 17. Januar 2000 haben F.A._ und A.A._ beim Bundesgericht Verwaltungsgerichtsbeschwerde und staatsrechtliche Beschwerde eingereicht. Mit Verwaltungsgerichtsbeschwerde stellen sie den Antrag, der Beschluss des Verwaltungsgerichts des Kantons Zürich vom 1. Dezember 1999 sei aufzuheben und die Sache zur materiellen Beurteilung an dieses zurückzuweisen. Mit staatsrechtlicher Beschwerde verlangen sie, den Beschluss des Verwaltungsgerichts des Kantons Zürich vom 1. Dezember 1999 sowie den Entscheid des Regierungsrates des Kantons Zürich vom 25. August 1999 aufzuheben und die kantonalen Behörden anzuweisen, die beantragten Aufenthaltsbewilligungen zu verlängern.
Sodann ersuchen sie - mit Bezug auf beide Beschwerden - um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das Verfahren vor Bundesgericht.
Die Staatskanzlei des Kantons Zürich (im Auftrag des Regierungsrates) schliesst auf Nichteintreten auf die Beschwerden. Das Verwaltungsgericht des Kantons Zürich verzichtet auf eine Vernehmlassung. Das Bundesamt für Ausländerfragen stellt den Antrag, auf beide Beschwerden nicht einzutreten, allenfalls sie abzuweisen, soweit darauf eingetreten werden könne.
F.- Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Abteilungspräsidenten vom 14. Februar 2000 entsprochen.

Das Bundesgericht zieht in Erwägung:
1.-Die Beschwerdeführer haben sowohl Verwaltungsgerichtsbeschwerde als auch - für den Fall, dass diese ausgeschlossen wäre - staatsrechtliche Beschwerde eingereicht.
Die beiden Beschwerden stehen sachlich und prozessual in einem engen Zusammenhang, weshalb es sich rechtfertigt, die Verfahren zu vereinigen und ein einziges Urteil zu fällen.
Die beiden Rechtsmittel wurden in der gleichen Beschwerdeschrift erhoben, was grundsätzlich nicht zu beanstanden ist.
Welches Rechtsmittel zulässig und in welchem Umfang darauf einzutreten ist, prüft das Bundesgericht von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1 S. 52 mit Hinweisen).
Entsprechend der subsidiären Natur der staatsrechtlichen Beschwerde (Art. 84 Abs. 2 OG) ist zunächst zu prüfen, ob die Verwaltungsgerichtsbeschwerde (Art. 97 ff. OG) offen steht. Vorauszuschicken ist, dass die Verwaltungsgerichtsbeschwerde gegen den Nichteintretensentscheid des Verwaltungsgerichts auch unter dem Titel der Rechtsverweigerung nur insoweit zulässig ist, als der Entscheid in der Sache selbst mit diesem Rechtsmittel angefochten werden kann (vgl.
Art. 101 lit. a OG).
2.- Art. 100 Abs. 1 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde auf dem Gebiete der Fremdenpolizei aus gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt.
Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung.
Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer Aufenthaltsbewilligung, es sei denn, der Ausländer könne sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrages berufen (<ref-ruling> E. 2a S. 291, 361 E. 1a S. 364; <ref-ruling> E. 1b S. 147, je mit Hinweisen).
a) Keine Ansprüche lassen sich vorliegend aus dem innerstaatlichen Gesetzesrecht ableiten. Der Beschwerdeführer 1 verfügte bisher lediglich über eine Aufenthaltsbewilligung, auf deren Erteilung oder Verlängerung er keinen Anspruch hatte. Insbesondere lässt sich ein solcher nicht aus dem Umstand ableiten, dass er (Ende 1994) die Voraussetzungen für die Umwandlung der Saisonbewilligung in eine Jahresbewilligung erfüllt hatte (vgl. <ref-ruling> E. 1a S. 35). Auch für die übrigen Familienmitglieder (Beschwerdeführerin 2 und Kinder) besteht kein Anspruch, zumal ein Familiennachzug gestützt auf Art. 17 Abs. 2 ANAG nicht in Frage kommt, da der Beschwerdeführer 1 nicht im Besitz einer Niederlassungsbewilligung ist (vgl. zur Verfassungsmässigkeit der Differenzierung zwischen niedergelassenen und anderen in der Schweiz ansässigen Ausländern unter dem Aspekt der Rechtsgleichheit: <ref-ruling> E. 2c S. 638).
b) Die Beschwerdeführer berufen sich zunächst auf das in Art. 8 Ziff. 1 EMRK garantierte Recht auf Achtung des Familienlebens.
aa) Unter gewissen Bedingungen lässt sich aus dem Recht auf Achtung des Familienlebens ein Anspruch auf Erteilung einer Aufenthaltsbewilligung ableiten. Es kann Art. 8 EMRK verletzen, wenn einem Ausländer, dessen Familienangehörige in der Schweiz weilen, die Anwesenheit in der Schweiz untersagt wird. Vorausgesetzt wird nach ständiger bundesgerichtlicher Rechtsprechung, dass der hier weilende Familienangehörige selber ein gefestigtes Anwesenheitsrecht hat (letztmals bestätigt in <ref-ruling> E. 2e S. 639 mit Hinweisen).
Dies ist nicht nur dann der Fall, wenn dieser über das Schweizer Bürgerrecht oder eine Niederlassungsbewilligung verfügt, sondern auch dann, wenn er eine Aufenthaltsbewilligung hat, die ihrerseits auf einem festen Rechtsanspruch beruht (<ref-ruling> E. 1e S. 5; <ref-ruling> E. 1c S. 93 f.). Soweit im Übrigen die familiäre Beziehung tatsächlich gelebt wird und intakt ist (<ref-ruling> E. 1b S. 364 mit Hinweisen), wird das der zuständigen Behörde durch Art. 4 ANAG grundsätzlich eingeräumte freie Ermessen eingeschränkt; in solchen Fällen ist daher die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung ersuchenden Ausländers oder seiner hier anwesenden Angehörigen zulässig (<ref-ruling> E. 1e S. 5 mit Hinweisen).
bb) Die Beschwerdeführer kritisieren die bundesgerichtliche Rechtsprechung, wonach die Zulässigkeit der Verwaltungsgerichtsbeschwerde vom Vorhandensein eines gefestigten Anwesenheitsrechts des in der Schweiz weilenden Familienangehörigen abhängig gemacht wird, als zu restriktiv und mit der Praxis der Konventionsorgane unvereinbar. Sie weisen auf die in einem Teil der neueren Literatur vertretene Auffassung hin, wonach sich auch Ausländer, welche bloss über eine Aufenthaltsbewilligung ohne Rechtsanspruch verfügen, grundsätzlich auf den Schutz von Art. 8 EMRK sollten berufen können (Martina Caroni, Privat- und Familienleben zwischen Menschenrecht und Migration, Berlin 1999, S. 427 und 487 f.; Jörg Paul Müller, Grundrechte in der Schweiz, 3. Auflage, Bern 1999, S. 115, insbesondere Fn. 29; Marc Spescha, Handbuch zum Ausländerrecht, Bern 1999, S. 188; Mark E. Villiger, Handbuch der Europäischen Menschenrechtskonvention [EMRK], 2. Auflage, Zürich 1999, N. 578).
cc) Der in Art. 8 EMRK garantierte Schutz des Familienlebens begründet kein absolutes Recht auf Aufenthalt in einem Konventionsstaat in dem Sinne, dass ein Staat verpflichtet wäre, Nicht-Staatsangehörigen die Einreise, die Aufenthaltsbewilligung oder -verlängerung zu gewähren bzw.
die von Ehepaaren getroffene Wahl des gemeinsamen Wohnsitzes zu respektieren (Jochen Abraham Frowein/Wolfgang Peukert, Europäische Menschenrechtskonvention, EMRK-Kommentar,
2. Auflage, Kehl/Strasbourg/Arlington 1996, Rn. 26 zu Art. 8; Luzius Wildhaber, Internationaler Kommentar zur Europäischen Menschenrechtskonvention, Art. 8, Köln/Berlin/ Bonn/München 1992, Rz. 416 und 420 mit Hinweisen; Arthur Haefliger/Frank Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, 2. Auflage, Bern 1999, S. 262; vgl. auch <ref-ruling> E. 3a S. 640 mit Hinweisen). Vielmehr steht ein Eingriff in das Recht auf Achtung des Familienlebens überhaupt erst zur Diskussion, wenn einem Ausländer durch fremdenpolizeiliche Massnahmen verunmöglicht wird, sich in einen Staat zu begeben bzw. in einem solchen zu bleiben, in welchem Mitglieder seiner Familie leben; andernfalls wird durch die Massnahme die Einheit und das faktische Zusammenleben einer Familie nicht beeinträchtigt. Genau so verhält es sich aber im vorliegenden Fall: Die Nichtverlängerung der Aufenthaltsbewilligungen für die ganze Familie führt zu keiner Trennung derselben und verunmöglicht damit die Fortführung des Familienlebens nicht. Die Beschwerdeführer können sich somit nicht auf den in Art. 8 EMRK garantierten Schutz des Familienlebens berufen (<ref-ruling> E. 1 S. 268, unter Hinweis auf das unveröffentlichte Urteil vom 7. November 1994 i.S. Miletic, E. 1a). Daran würde sich selbst dann nichts ändern, wenn das Bundesgericht - gemäss der Anregung der Beschwerdeführer und in Änderung seiner bisherigen Rechtsprechung - beim Familiennachzug auf die Voraussetzung eines gefestigten Anwesenheitsrechts des in der Schweiz weilenden Familienangehörigen verzichtete. Auch diesfalls hätten die Beschwerdeführerin 2 und die Kinder nur so lange Anspruch auf Erteilung bzw. Verlängerung ihrer (abgeleiteten) Aufenthaltsbewilligungen zum Verbleiben beim Ehemann bzw. den Eltern, als sich der Beschwerdeführer 1 seinerseits im Besitz einer solchen Bewilligung befindet, was vorliegend nicht mehr der Fall ist. Im Übrigen ist ohnehin am Erfordernis des gefestigten Aufenthaltsrechts festzuhalten. Dieser Begriff ist keineswegs unscharf, wie die Beschwerdeführer glauben machen wollen, sondern durch die Rechtsprechung hinreichend klar definiert (vgl. <ref-ruling> E. 2a S. 186; <ref-ruling> E. 2e S. 639; <ref-ruling> E. 1b S. 364; <ref-ruling> E. 1e S. 5, 385 E. 1c S. 389; <ref-ruling> E. 1c S. 93 ff.). Namentlich wurde der von den Beschwerdeführern kritisierte Entscheid in Sachen Gül (BGE <ref-ruling>), bei dem das Bundesgericht in Anwendung der erwähnten Praxis auf die Verwaltungsgerichtsbeschwerde nicht eingetreten war, im Ergebnis vom Europäischen Gerichtshof für Menschenrechte geschützt, wobei dieser in der Urteilsbegründung explizit auf die Voraussetzung des gefestigten Anwesenheitsrechts Bezug genommen hat (EGMR-Entscheid i.S. Gül c.
Schweiz vom 19. Februar 1996, Rec. 1996, S. 159, Ziff. 41 in fine; vgl. dazu auch Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in: RDAF 1997 1 S. 267 ff., S. 286 f.). Von einer konventionswidrigen Praxis kann insofern nicht gesprochen werden.
dd) Nach dem Gesagten können die Beschwerdeführer aus dem in Art. 8 Ziff. 1 EMRK garantierten Schutz des Familienlebens keine Ansprüche ableiten, die gemäss Art. 100 Abs. 1 lit. b Ziff. 3 OG e contrario den Weg ans Bundesgericht mittels Verwaltungsgerichtsbeschwerde öffnen würden.
c) Die Beschwerdeführer berufen sich auf das ebenfalls von Art. 8 Ziff. 1 EMRK umfasste Recht auf Achtung des Privatlebens.
aa) In seiner Rechtsprechung geht der Europäische Gerichtshof für Menschenrechte in Fällen von Ausweisungen erwachsener Ausländer der "zweiten Generation" von einem kombinierten Schutzbereich von Privat- und Familienleben aus (Hinweise finden sich in <ref-ruling> E. 3b/aa S. 440 f.; vgl. ferner: Luzius Wildhaber, The Right to Respect for Private and Family Life, in: The Modern World of Human Rights, Essays in honour of Thomas Buergenthal, San José/ Costa Rica 1996, S. 103 ff., S. 121 ff.; kritisch: Michel Levinet, L'Eloignement des étrangers délinquants et l'article 8 de la convention européenne des droits de l'homme, in:
Revue trimestrielle des droits de l'homme 10 [1999], N° 37, S. 89 ff., Ziff. 24 S. 109 ff.). Dem Recht auf Achtung des Privatlebens kann in ausländerrechtlichen Fällen aber grundsätzlich auch eine (selbständige) Auffangfunktion gegenüber dem engeren Schutzbereich des Rechts auf Achtung des Familienlebens zukommen, wenn qualifizierte Familienbande nicht oder nicht mehr bestehen (vgl. <ref-ruling> E. 3b S. 21 f.; Stephan Breitenmoser, Das Recht auf Achtung des Privat- und Familienlebens in der Schweizerischen Rechtsprechung zum Ausländerrecht, in: EuGRZ 1993 S. 537 ff., S. 542; Villiger, a.a.O., N. 576 und 583; Müller, Grundrechte, a.a.O., S. 159 f.). Das Bundesgericht hat diesbezüglich allerdings festgehalten, aus dem Recht auf Achtung des Privatlebens geradezu ein Anwesenheitsrecht abzuleiten, fiele höchstens dann in Betracht, wenn besonders intensive private Beziehungen in Frage stünden (<ref-ruling> E. 3b S. 22). Bisher hat es nur ganz ausnahmsweise einen derartigen Anspruch anerkannt (vgl.
den zur Publikation bestimmten, eine gleichgeschlechtliche Lebensgemeinschaft betreffenden Entscheid vom 25. August 2000 i.S. P.); bei mit dem vorliegenden Fall vergleichbaren Verhältnissen vermögen indessen selbst eine rund sechzehnjährige Anwesenheit einer erwachsenen Person und die damit verbundenen üblichen privaten Beziehungen allein keinen Bewilligungsanspruch gemäss Art. 100 Abs. 1 lit. b Ziff. 3 OG zu begründen (unveröffentlichtes Urteil vom 3. November 1994 i.S. Canbulat, E. 2b).
bb) Im vorliegenden Fall weilt der Beschwerdeführer 1 seit rund neun Jahren in der Schweiz (wovon die ersten vier Jahre lediglich als Saisonnier), was nach der Rechtsprechung des Bundesgerichts nicht genügt, um aus dem Recht auf Achtung des Privatlebens Ansprüche abzuleiten. Daran vermögen auch die geltend gemachten Bedürfnisse nach medizinischer Behandlung, denen im Übrigen nötigenfalls mit der Erteilung einer Patientenbewilligung (Art. 33 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer, BVO; SR 823. 21) Rechnung getragen werden könnte, nichts zu ändern. Die Beschwerdeführerin 2 lebt seit knapp fünf Jahren in der Schweiz, wobei ihr die Aufenthaltsbewilligung lediglich zum Verbleib bei ihrem Ehemann erteilt worden ist.
Die Europäische Kommission für Menschenrechte hat im Falle des Widerrufs von zum Zweck des Familiennachzugs erteilten Bewilligungen wegen nachträglich weggefallener Familienbande das Vorliegen eines Eingriffs in das Recht auf Achtung des Privatlebens von vornherein verneint (Nichtzulassungsentscheid Nr. 14377/88 vom 10. November 1988 i.S. Zoukit c.
Schweiz; ebenso das Bundesgericht im unveröffentlichten Urteil vom 23. Dezember 1997 i.S. Quispe, E. 2c). Die Beschwerdeführerin 2 wie im Übrigen auch die Kinder verfügten bloss über eine solche zweckgebundene, vom Bestand der Anwesenheitsberechtigung des Beschwerdeführers 1 abhängige Aufenthaltsbewilligung. Diese war - im Unterschied zu jenen Fällen, in denen ursprünglich (gemäss Art. 7 Abs. 1 bzw. 17 Abs. 2 ANAG oder Art. 8 EMRK bzw. nunmehr auch <ref-law>) ein Rechtsanspruch auf Einräumung einer Bewilligung bestand - im freien behördlichen Ermessen (Art. 4 ANAG in Verbindung mit Art. 38 f. BVO) erteilt bzw. verlängert worden. Es konnte deshalb auch zu keinem Zeitpunkt mit letzter Sicherheit mit einer Erneuerung der befristeten Bewilligungen gerechnet werden. Insofern und mit Blick darauf, dass sich die Beschwerdeführer - wie erwähnt - erst seit relativ kurzer Zeit in der Schweiz aufgehalten haben, vermochten sie zu diesem Land keine intensiven gesellschaftlichen oder beruflichen Bindungen zu entwickeln, weshalb kein Eingriff ins Recht auf Achtung des Privatlebens vorliegt. Dies gilt auch für die Kinder: Während beim jüngsten, in der Schweiz geborenen Kind mit nunmehr vier Jahren über den engsten Familienkreis hinaus kaum Bindungen bestehen und damit die Reintegration im Heimatland keine Probleme bieten dürfte, besuchen die älteren beiden (zehn- bzw. neunjährigen) Kinder seit drei bzw. zwei Jahren die Primarschule. Auch wenn in dieser Zeit dank der integrativen Wirkung der Einschulung eine gewisse Verwurzelung im Land eingetreten ist und damit einhergehend Beziehungen über das familiäre Umfeld hinaus geknüpft werden konnten, kann noch nicht von besonders intensiven Bindungen gesprochen werden, denen neben jener - altersadäquat noch im Vordergrund stehenden - zu den nächsten Angehörigen selbständige Bedeutung zukäme (vgl. in diesem Zusammenhang die zurückhaltende Praxis bei der Bejahung eines Härtefalles im Sinne von Art. 13 lit. f BVO bei Kindern dieses Alters in <ref-ruling> E. 4b S. 130 sowie die entsprechenden Hinweise bei Wurzburger, a.a.O., S. 297 f.).
cc) Demnach liegen weder bei den Beschwerdeführern noch bei deren Kindern besonders intensive Bindungen vor, welche in den Schutzbereich des in Art. 8 Ziff. 1 EMRK garantierten Rechts auf Achtung des Privatlebens fallen könnten, womit sich die Verwaltungsgerichtsbeschwerde auch unter diesem Titel als unzulässig erweist.
d) Im Weiteren ist zu prüfen, ob sich ein Rechtsanspruch auf Erteilung der streitigen Aufenthaltsbewilligungen im Sinne von Art. 100 Abs. 1 lit. b Ziff. 3 OG aus jenen Grundrechten ergibt, auf welche sich die Beschwerdeführer zur Begründung der staatsrechtlichen Beschwerde berufen. Die Beschwerdeführer stützen sich dabei in ihrer am 17. Januar 2000 eingereichten Beschwerde - vom Prinzip des "Vertrauensschutzes" abgesehen - ausschliesslich auf Bestimmungen der neuen Bundesverfassung, welche erst nach dem Entscheid des Verwaltungsgerichts vom 1. Dezember 1999 in Kraft getreten ist. Ob im verwaltungsgerichtlichen Beschwerdeverfahren bei der gegebenen intertemporalen Konstellation - abweichend von der bei der staatsrechtlichen Beschwerde entwickelten Praxis, wonach das Bundesgericht grundsätzlich auf das im Zeitpunkt des angefochtenen Entscheids geltende Verfassungsrecht abstellt - bereits die neue Bundesverfassung zur Anwendung kommt, kann im Hinblick darauf, dass auch das neue Verfassungsrecht vorliegend keinen Anspruch zu begründen vermag, offen bleiben.
3.- Die Beschwerdeführer rügen eine Verletzung des Vertrauensgrundsatzes.
a) Der vormals aus Art. 4 aBV abgeleitete und nunmehr - in seiner spezifisch grundrechtlichen Ausprägung (vgl. BBl 1997 I 134) - in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden (<ref-ruling>13 E. 3b/cc S. 123; zu den Voraussetzungen im Einzelnen vgl. <ref-ruling> E. 4b S. 254; <ref-ruling> E. 2b S. 287 mit Hinweisen). Das Bundesgericht hat in seiner Rechtsprechung anerkannt, dass sich aus dem erwähnten Grundsatz unter Umständen auch ein Anspruch auf eine Aufenthaltsbewilligung ergeben kann (vgl.
die Hinweise bei Wurzburger, a.a.O., S. 305 f.), wobei sich die Verwaltungsgerichtsbeschwerde diesfalls als zulässig erweist (<ref-ruling> E. 1 S. 98). Auf das Rechtsmittel ist jedoch nicht bereits aufgrund der Anrufung des Vertrauensgrundsatzes einzutreten; zu prüfen ist vorerst, ob die Sachdarstellung der Beschwerdeführer eine Bindungswirkung und damit einen Anspruch auf Erteilung einer Aufenthaltsbewilligung als möglich erscheinen lassen (unveröffentlichte Urteile vom 8. Juni 1998 i.S. Ringstad, E. 3b/bb, sowie vom 29. Juni 1998 i.S. Radovanovic, E. 2c/bb).
b) Die Beschwerdeführer machen geltend, da sie nicht als Schutzbedürftige in die Schweiz gelangt seien, hätten sie - soweit keine Ausweisungsgründe vorliegen - grundsätzlich damit rechnen können, in der Schweiz bleiben zu dürfen. Diese Sachdarstellung lässt nicht darauf schliessen, dass aufgrund des Vertrauensgrundsatzes eine Bindungswirkung eingetreten wäre. Der vorliegende Fall ist nicht mit jenen zu vergleichen, wo einem Ausländer mittels Visum eine Anwesenheitsbewilligung zugesichert worden ist (unveröffentlichtes Urteil vom 16. Mai 2000 i.S. Radisic), fehlt es doch hier an einem besonderen vertrauensbegründenden Akt der Behörde.
Die blosse Erteilung einer Aufenthaltsbewilligung begründet für sich allein kein schutzwürdiges Vertrauen in die Erneuerung derselben (unveröffentlichtes Urteil vom 25. April 1997 i.S. Araya, E. 2c/bb). Ein Anspruch auf Erteilung einer Aufenthaltsbewilligung aufgrund von Treu und Glauben steht damit vorliegend nicht zur Diskussion. Den Anforderungen des Vertrauensgrundsatzes als allgemeines Verfassungsprinzip (<ref-law>) genügt es im Übrigen, wenn die Fremdenpolizeibehörden den Umstand, dass sich ein Ausländer bereits im Besitze einer Aufenthaltsbewilligung befand, in ihren Ermessensentscheid mit einfliessen lassen und im Falle der Nichtverlängerung derselben eine angemessene Frist zum Verlassen des Kantonsgebietes setzen (vgl.
grundsätzlich zur Nichterneuerung befristeter Verwaltungsakte:
Beatrice Weber-Dürler, Vertrauensschutz im öffentlichen Recht, Basel/Frankfurt a.M. 1983, S. 191-193).
4.- Keine Ansprüche auf Erteilung einer fremdenpolizeilichen Bewilligung lassen sich aus dem in <ref-law> enthaltenen Willkürverbot ableiten. Das Bundesgericht hat hinsichtlich der Legitimation zur staatsrechtlichen Beschwerde festgehalten, dass das Willkürverbot auch unter der Herrschaft der neuen Bundesverfassung vom 18. April 1999 - soweit Mängel in der Rechtsanwendung geltend gemacht werden - für sich allein keine geschützte Rechtsstellung im Sinne von Art. 88 OG verschafft (<ref-ruling> E. 4-6 S. 87 ff.); die Anrufung dieser Garantie setzt vielmehr voraus, dass das Gesetzesrecht, dessen willkürliche Anwendung gerügt wird, dem Beschwerdeführer einen Rechtsanspruch einräumt oder den Schutz seiner Interessen bezweckt. Zwar bedarf es gemäss Art. 103 lit. a OG für die Legitimation zur Verwaltungsgerichtsbeschwerde nicht eines solchen Eingriffs in rechtlich geschützte Positionen; auf dem Gebiete der Fremdenpolizei hängt indessen die Zulässigkeit dieses Rechtsmittels vom Vorliegen einer einen Anspruch auf eine Bewilligung einräumenden Sondernorm ab (Art. 100 Abs. 1 lit. b Ziff. 3 OG; oben E. 2 Ingress). Einen solchen Anspruch vermag das Willkürverbot für sich allein indessen nicht zu begründen.
5.- Die Beschwerdeführer berufen sich im Weiteren auf den in <ref-law> verankerten Anspruch der Kinder und Jugendlichen auf besonderen Schutz ihrer Unversehrtheit und auf Förderung ihrer Entwicklung sowie auf das Übereinkommen vom 20. November 1989 über die Rechte des Kindes (UNO-Kinderrechtekonvention, KRK; SR 0.107).
a) Die neue Bundesverfassung befasst sich an verschiedenen Stellen mit dem Schutz und der Förderung von Kindern und Jugendlichen. Zunächst setzt Art. 41 Abs. 1 lit. f und g BV dem Bund und den Kantonen zum Ziel, dass sich Kinder und Jugendliche u.a. ihren Fähigkeiten gemäss ausbilden können und sie in ihrer Entwicklung zu selbständigen und sozial verantwortlichen Personen gefördert sowie in ihrer sozialen, kulturellen und politischen Integration unterstützt werden. <ref-law> verpflichtet die Kantone, für einen ausreichenden, allen Kindern offen stehenden Grundschulunterricht zu sorgen, welcher obligatorisch und an öffentlichen Schulen unentgeltlich ist; ein entsprechendes - seit Aufhebung von <ref-law> (BG vom 8. Oktober 1999, in Kraft seit 1. März 2000; AS 2000 416) nunmehr in jedem Fall letztinstanzlich vor Bundesgericht geltend zu machendes (BBl 1999 7936 f.) - verfassungsmässiges Recht (Anspruch auf Grundschulunterricht) wurde in <ref-law> im Grundrechtsteil verankert.
Sodann verhält <ref-law> den Bund und die Kantone, bei Erfüllung ihrer Aufgaben den besonderen Förderungs- und Schutzbedürfnissen von Kindern und Jugendlichen Rechnung zu tragen.
b) Die in <ref-law> unter dem Titel "Schutz der Kinder und Jugendlichen" verankerte Bestimmung, wonach Kinder und Jugendliche Anspruch auf besonderen Schutz ihrer Unversehrtheit und auf Förderung ihrer Entwicklung haben, war im bundesrätlichen Entwurf einer nachgeführten Bundesverfassung aus dem Jahre 1996 nicht vorgesehen (BBl 1997 I 138 f.). Sie geht auf einen im Rahmen der parlamentarischen Beratungen seitens einer Minderheit der Verfassungskommission des Nationalrates eingebrachten Antrag zurück (BBl 1998 372, Art. 11a), dem ein Vorschlag der Schweizerischen Arbeitsgemeinschaft der Jugendverbände zugrunde lag (AB 1998 [Separatdruck] N 195, Votum Hubmann). Mit der Aufnahme einer entsprechenden Bestimmung in den Grundrechtskatalog sollte den Kindern und Jugendlichen als soziale Gruppe in der Verfassung ein entsprechender Status zuerkannt und die besondere Bedeutung dieser für die Entwicklung der Persönlichkeit entscheidenden Lebensphase betont werden (AB 1998 [Separatdruck] N 191 f., Votum Zbinden). Damit wurde namentlich bezweckt, die Gleichbehandlung und die Chancengleichheit der Kinder und Jugendlichen zu gewährleisten, die Verpflichtung des Staates und jedes Einzelnen, Kinder vor jeglicher Form von Gewalt und erniedrigender Behandlung zu schützen, zum Ausdruck zu bringen sowie den Begriff des Schutzes, wie er sich aus der UNO-Kinderrechtekonvention ergibt, verfassungsrechtlich zu verankern (AB 1998 [Separatdruck] N 192 f., Votum Maury Pasquier). Es stellt sich die Frage nach der Tragweite von <ref-law>.
c) Von der Lehre wird <ref-law> mit Zurückhaltung aufgenommen und kaum näher erläutert: Jörg Paul Müller (Grundrechte, a.a.O., S. 422) und Andreas Auer/ Giorgio Malinverni/Michel Hottelier (Droit constitutionnel suisse, Volume II, Les droits fondamentaux, Bern 2000, S. 509) begnügen sich mit dem blossen Hinweis auf die Bestimmung; Ulrich Häfelin/Walter Haller (Schweizerisches Bundesstaatsrecht, Supplement zur 4. Auflage, "Die neue Bundesverfassung", Zürich 2000, S. 57 f.) werfen die Frage nach der Justiziabilität auf. René Rhinow (Wirtschafts-, Sozial- und Arbeitsverfassung, in: Ulrich Zimmerli [Hrsg. ], Die neue Bundesverfassung, Konsequenzen für Praxis und Wissenschaft, Berner Tage für die juristische Praxis 1999, Bern 2000, S. 157 ff., S. 172) sieht in <ref-law> zunächst eine blosse "Verheissung" der Sozialstaatlichkeit, während Heinrich Koller (Der Einleitungstitel und die Grundrechte in der neuen Bundesverfassung, in: AJP 1999, S. 656 ff., S. 664) die Bestimmung für juristisch fragwürdig hält, weil sie kaum justiziabel und wohl bloss als Präzisierung zur persönlichen Freiheit zu verstehen sei. Demgegenüber sieht Andreas Kley (Der Grundrechtskatalog der nachgeführten Bundesverfassung, in: ZBJV 1999 S. 301 ff., S. 316) in <ref-law> nicht nur eine Wiederholung der persönlichen Freiheit sondern eine umfassende Handlungsfreiheit verankert, "soweit diese vor allem im Interesse der persönlichen Entwicklung der Kinder und Jugendlichen steht", ein Recht, welches ausserdem auch potentielle Lücken im Grundrechtsschutz abzudecken vermöge.
d) <ref-law> gewährt zunächst einen Anspruch der Kinder und Jugendlichen "auf besonderen Schutz ihrer Unversehrtheit". Dieser Teilgehalt umfasst den Schutz der körperlichen und geistigen Integrität (AB 1998 [Separatdruck] N 420 f., Votum Bundesrat Koller) und "wäre an sich rein verfassungsrechtlich gesehen nicht notwendig" (AB 1998 [Separatdruck] S 156, Votum Inderkum, Berichterstatter), garantiert doch <ref-law> ohnehin allen Menschen das Recht auf persönliche Freiheit; der Ausdruck "besonderer" Schutz soll dabei nicht einschränkend verstanden werden, sondern hervorheben, dass Kindern und Jugendlichen als gesellschaftlicher Gruppe "Anspruch auf einen ganz besonderen Schutz" zukommt (AB 1998 [Separatdruck] S 207, Votum Inderkum, Berichterstatter). Im Weiteren garantiert <ref-law> auch einen Anspruch auf Förderung der Entwicklung, womit allerdings lediglich der Gesetzgeber angehalten werden soll, beim Erlass neuer Rechtssätze auf die Interessen der Kinder und Jugendlichen Rücksicht zu nehmen (AB 1998 [Separatdruck] S 156, Votum Inderkum, Berichterstatter). Dieser Teilgehalt will folglich keine zusätzlichen klagbaren subjektiven Rechte schaffen, wozu es ihm im Übrigen auch an der hiefür erforderlichen normativen Bestimmtheit fehlen würde; als objektive Richtlinie, die es künftig in der Rechtsetzung mit zu berücksichtigen gilt, ist er zur programmatischen Schicht (vgl. Jörg Paul Müller, Kommentar BV, Einleitung zu den Grundrechten, Rz. 41; derselbe, Soziale Grundrechte in der Verfassung?, 2. Auflage, Basel/Frankfurt a.M. 1981, S. 187) des Grundrechts zu zählen.
Mit der Verankerung als Grundrecht wird der Schutz von Kindern und Jugendlichen verfassungsrechtlich zu einem vordringlichen Anliegen erklärt. Im Unterschied zu den in Art. 41 Abs. 1 lit. f und g BV verankerten Sozialzielen, welche sich als Staatszielbestimmungen hauptsächlich an den Gesetzgeber richten (BBl 1997 I 200), nimmt <ref-law> auch die rechtsanwendenden Instanzen in die Pflicht, bei der Handhabung von Gesetzen den besonderen Schutzbedürfnissen von Kindern und Jugendlichen Rechnung zu tragen, was in besonderem Masse dann gilt, wenn ein Rechtssatz Lücken aufweist oder - wie beispielsweise Art. 4 ANAG - den Behörden Ermessensspielräume eröffnet. Ob dem Grundrecht allerdings auch hinsichtlich seines direkt-anspruchsbegründenden Gehalts (vgl. dazu Jörg Paul Müller, Kommentar BV, Einleitung zu den Grundrechten, Rz. 40) neben der persönlichen Freiheit und anderen für Kinder und Jugendliche relevanten (in ihrem Schutzbereich spezifischeren) verfassungsmässigen Rechten eine weitergehende Tragweite zukommt, ist fraglich, braucht indessen vorliegend nicht abschliessend beurteilt zu werden.
Mit <ref-law> verfolgte der Verfassungsgeber unter anderem den Zweck, die in der UNO-Kinderrechtekonvention verbrieften Rechte in allgemeiner Form im Grundrechtsteil zu verankern und diese damit auch durch die Bundesverfassung zu garantieren (oben E. 5b). Die Zielsetzung der Verfassungsbestimmung und jener der Konvention (vgl. die Botschaft hierzu, BBl 1994 V 11 f.) sind denn auch identisch, weshalb zur Konkretisierung von <ref-law> die Rechtsprechung zur UNO-Kinderrechtekonvention beizuziehen ist. Das Bundesgericht hat festgehalten, dass sich der UNO-Kinderrechtekonvention in Bezug auf die Erteilung von fremdenpolizeilichen Bewilligungen keine gerichtlich durchsetzbare Ansprüche entnehmen lassen (<ref-ruling> E. 3b S. 367 mit Hinweisen).
Um über die konkreten Schutztatbestände der Konvention hinaus aus <ref-law> selbst einen solchen Anspruch ableiten zu können, erweist sich dieses Grundrecht indessen als zu unbestimmt.
Nach dem Gesagten vermag weder die UNO-Kinderrechtekonvention noch der in <ref-law> garantierte Anspruch auf Schutz der Kinder und Jugendlichen den Kindern der Beschwerdeführer einen Anspruch auf Erteilung bzw. Verlängerung ihrer Aufenthaltsbewilligung zu vermitteln.
6.- Die Beschwerdeführer werfen den kantonalen Verwaltungsbehörden vor, sie hätten eine Verlängerung der Aufenthaltsbewilligung allein deshalb verweigert, weil der Beschwerdeführer 1 invalid geworden sei, was eine Diskriminierung im Sinne von <ref-law> darstelle, welche auch nicht mit der vormals vorhandenen - im Zeitpunkt des regierungsrätlichen Entscheids entfallenen - Fürsorgeabhängigkeit gerechtfertigt werden könne.
a) Gemäss <ref-law> darf niemand diskriminiert werden, namentlich nicht wegen der Herkunft, der Rasse, des Geschlechts, des Alters, der Sprache, der sozialen Stellung, der Lebensform, der religiösen, weltanschaulichen oder politischen Überzeugung oder wegen einer körperlichen, geistigen oder psychischen Behinderung. Die Bestimmung gibt in angepasster Form den Inhalt von Art. 4 Abs. 1 zweiter Satz aBV wieder (BBl 1997 I 142 f.). Im Unterschied zu <ref-law> (vormals Art. 4 Abs. 2 aBV) enthält das allgemeine Diskriminierungsverbot allein kein Egalisierungsgebot (AB 1998 [Separatdruck] S 36 f., Votum Rhinow, Berichterstatter); der Gesetzgeber wird lediglich angehalten, Massnahmen zur Beseitigung von Benachteiligungen der Behinderten vorzusehen (<ref-law>; ein entsprechender Gesetzesentwurf wurde in die Vernehmlassung geschickt, BBl 2000 3335).
Eine Diskriminierung gemäss <ref-law> liegt dann vor, wenn eine Person rechtsungleich behandelt wird allein aufgrund ihrer Zugehörigkeit zu einer bestimmten Gruppe (AB 1998 [Separatdruck] S 36, Votum Rhinow, Berichterstatter), welche historisch und in der gegenwärtigen sozialen Wirklichkeit tendenziell ausgegrenzt oder sonst als minderwertig behandelt wurde (Jörg Paul Müller, Die Diskriminierungsverbote nach Art. 8 Abs. 2 der neuen Bundesverfassung, in: Ulrich Zimmerli [Hrsg. ], Die neue Bundesverfassung, Konsequenzen für Praxis und Wissenschaft, Berner Tage für die juristische Praxis 1999, Bern 2000, S. 103 ff., S. 110). Die Diskriminierung stellt eine qualifizierte Art von Ungleichbehandlung von Personen in vergleichbaren Situationen dar, indem sie eine Benachteiligung eines Menschen bewirkt, die als Herabwürdigung oder Ausgrenzung einzustufen ist, weil sie an ein Unterscheidungsmerkmal anknüpft, das einen wesentlichen und nicht oder nur schwer aufgebbaren Bestandteil der Identität der betreffenden Person ausmacht (Walter Kälin/Martina Caroni, Das verfassungsrechtliche Verbot der Diskriminierung wegen der ethnisch-kulturellen Herkunft, in:
Walter Kälin [Hrsg. ], Das Verbot ethnisch-kultureller Diskriminierung, ZSR-Beiheft 29, S. 67 ff., S. 76 f.); insofern beschlägt die Diskriminierung auch Aspekte der Menschenwürde (<ref-law>). Das Diskriminierungsverbot des schweizerischen Verfassungsrechts macht aber die Anknüpfung an ein verpöntes Merkmal - wie Herkunft, Rasse, Geschlecht, Sprache und weitere in <ref-law> (in nicht abschliessender Weise) aufgezählte Kriterien - nicht absolut unzulässig. Vielmehr begründet dieser Umstand zunächst den blossen "Verdacht einer unzulässigen Differenzierung" (Kälin/Caroni, a.a.O., S. 78); sich daraus ergebende Ungleichbehandlungen sind infolgedessen "qualifiziert zu rechtfertigen" (AB 1998 [Separatdruck] S 37, Votum Rhinow, Berichterstatter; vgl. auch <ref-ruling> E. 4c S. 73 f.).
b) Vorliegend wurde den Beschwerdeführern die Verlängerung ihrer Aufenthaltsbewilligung nicht deshalb verweigert, weil der Beschwerdeführer 1 invalid geworden ist, sondern aufgrund der Tatsache, dass er seit längerem keine Erwerbstätigkeit mehr ausübt, was dem Zweck der seinerzeit erteilten Aufenthaltsbewilligung widerspricht. Knüpft der ablehnende Entscheid des Regierungsrates nicht an ein gemäss <ref-law> verpöntes Kriterium - hier der Zugehörigkeit zur "Gruppe" der Invaliden bzw. der Behinderten - an, so kann von einer direkten Diskriminierung zum Vornherein nicht gesprochen werden.
c) Zu prüfen bleibt, ob eine indirekte bzw. mittelbare Diskriminierung vorliegt (vgl. zu dieser bereits im Rahmen von Art. 4 Abs. 2 aBV entwickelten Figur: <ref-ruling> E. 7 S. 425 sowie E. 9d S. 428; ferner zu <ref-law>: Kälin/Caroni, a.a.O., S. 86 ff.; Müller, Grundrechte, a.a.O., S. 441 ff.; derselbe, Diskriminierungsverbote, a.a.O., S. 124 ff.). Eine indirekte Diskriminierung ist dann gegeben, wenn eine Regelung, die keine offensichtliche Benachteiligung von spezifisch gegen Diskriminierung geschützter Gruppen enthält, in ihren tatsächlichen Auswirkungen Angehörige einer solchen Gruppe besonders stark benachteiligt, ohne dass dies sachlich begründet wäre. Auch eine indirekte Diskriminierung ist vorliegend zu verneinen, führt doch die Bedingung der Aufenthaltsbewilligung durch den Aufenthaltszweck (Art. 5 Abs. 1 ANAG in Verbindung mit Art. 10 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201), auf welche die von den Beschwerdeführern kritisierte "Figur des erfüllten Aufenthaltszwecks" letztlich zurückgeht, im Ergebnis nicht dazu, dass Behinderte anteilsmässig stärker betroffen sind als andere von dieser Regelung erfasste Personengruppen, wie beispielsweise die im Rahmen des Familiennachzugs eingereisten, über eine Aufenthaltsbewilligung verfügenden Ausländer nach Auflösung der Ehe mit ihrem schweizerischen oder in der Schweiz niedergelassenen Ehegatten.
d) Damit können die Beschwerdeführer auch aus dem in <ref-law> verankerten Diskriminierungsverbot keinen Anspruch auf Erteilung bzw. Verlängerung ihrer Aufenthaltsbewilligung ableiten. Dasselbe gilt im Ergebnis hinsichtlich der Diskriminierungsverbote gemäss Art. 14 EMRK, Art. 2 Abs. 2 des internationalen Pakts vom 16. Dezember 1966 über wirtschaftliche, soziale und kulturelle Rechte (UNO-Pakt I, Sozialpakt; SR 0.103. 1), soweit die Garantien dieses Abkommens überhaupt direkt anwendbar sind (vgl.
BGE 120 Ia 1 E. 5c S. 11 f.), sowie Art. 2 Abs. 1 des internationalen Paktes vom 16. Dezember 1966 über bürgerliche und politische Rechte (UNO-Pakt II, Bürgerrechtspakt; SR 0.103. 2) (vgl. <ref-ruling> E. 4c und d S. 477 ff. mit Hinweisen).
7.- Der in <ref-law> garantierte Anspruch auf Achtung des Privat- und Familienlebens entspricht materiell der Garantie von Art. 8 EMRK (BBl 1997 I 152 ff. sowie AB 1998 [Separatdruck] S 41, Votum Inderkum, Berichterstatter, zu Art. 11) und gewährt darüber hinaus im Bereich des Ausländerrechts keine zusätzlichen Ansprüche. Es kann insofern auf die entsprechenden Ausführungen (oben E. 2) verwiesen werden.
8.- Damit fehlt es an einem Rechtsanspruch auf Erteilung der streitigen Aufenthaltsbewilligungen im Sinne von Art. 100 Abs. 1 lit. b Ziff. 3 OG, weshalb auf die Verwaltungsgerichtsbeschwerde nicht einzutreten ist. Zu prüfen bleibt die Zulässigkeit der staatsrechtlichen Beschwerde.
a) Der angefochtene Nichteintretensbeschluss des Verwaltungsgerichts ist ein letztinstanzlicher kantonaler Endentscheid, gegen den kein anderes eidgenössisches Rechtsmittel zur Verfügung steht (Art. 84 Abs. 2, 86 und 87 OG).
Die staatsrechtliche Beschwerde ist insoweit zulässig.
b) Die Beschwerdeführer beantragen nebst der Aufhebung des Nichteintretensbeschlusses des Verwaltungsgerichts auch die Aufhebung des Entscheids des Regierungsrates. Der Entscheid einer unteren kantonalen Instanz kann nach bundesgerichtlicher Praxis mitangefochten werden, wenn entweder der letzten kantonalen Instanz nicht sämtliche vor Bundesgericht zulässigen Rügen unterbreitet werden konnten oder wenn solche Rügen zwar von der letzten kantonalen Instanz zu beurteilen waren, jedoch mit einer engeren Prüfungsbefugnis, als sie dem Bundesgericht zusteht ("Dorénaz-Praxis", begründet in <ref-ruling>, eingeschränkt in <ref-ruling> E. 1b S. 354 und alsdann bestätigt in <ref-ruling> E. 3a S. 311; <ref-ruling> E. 1 S. 414 f. sowie zuletzt in <ref-ruling> E. 1a/aa S. 493 f. mit weiteren Hinweisen). In diesen Fällen kann der unterinstanzliche Entscheid innert der Frist für die staatsrechtliche Beschwerde gegen den letztinstanzlichen Entscheid noch mitangefochten werden (BGE <ref-ruling> E. 1 S. 415). Dies gilt jedoch nur, wenn die letzte kantonale Instanz die Sache materiell - wenn auch mit eingeschränkter Kognition - geprüft hat. Tritt die angerufene kantonale Instanz darauf nicht ein, so liegt kein neuer Entscheid in der Sache vor, mit welchem zusammen der Entscheid der unteren Instanz mit staatsrechtlicher Beschwerde angefochten werden könnte (<ref-ruling> E. 1 S. 250; bestätigt im unveröffentlichten Urteil vom 8. Oktober 1996 i.S. G., E. 1b); anfechtbar ist in diesem Fall bloss der Nichteintretensentscheid der letzten kantonalen Instanz (Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Auflage, Bern 1994, S. 346).
c) Die staatsrechtliche Beschwerde ist von hier nicht zutreffenden Ausnahmen abgesehen lediglich kassatorischer Natur. Soweit die Beschwerdeführer mehr verlangen als die Aufhebung des angefochtenen Entscheids, kann auf die Beschwerde nicht eingetreten werden (<ref-ruling> E. 1b S. 107 mit Hinweisen).
d) Gegenstand des vorliegenden Verfahrens bildet nach dem Gesagten (oben E. 8b) lediglich die Eintretensfrage (vgl. <ref-ruling> E. 3c S. 153 f. mit Hinweis); es kann nur gerügt werden, das Verwaltungsgericht sei auf das bei ihm eingelegte Rechtsmittel in willkürlicher Anwendung des einschlägigen kantonalen Rechts oder in Missachtung von Verfassungs- oder Konventionsgarantien zu Unrecht nicht eingetreten.
aa) Da die Zuständigkeit des Verwaltungsgerichts nach dem kantonalen Verfahrensrecht von der Zulässigkeit der eidgenössischen Verwaltungsgerichtsbeschwerde (§ 43 Abs. 1 lit. h und Abs. 2 des zürcherischen Verwaltungsrechtspflegegesetzes vom 24. Mai 1959, in der Fassung vom 8. Juni 1997) und damit vom gleichen Kriterium - dem Vorliegen eines bundesrechtlichen Anspruches auf Erteilung einer fremdenpolizeilichen Bewilligung - abhängt, ist der ergangene Nichteintretensentscheid nach dem Gesagten (oben E. 2 bis 7) offensichtlich nicht willkürlich.
bb) Entgegen der Auffassung der Beschwerdeführer verletzt der fehlende Zugang zu einem Richter auch nicht das in Art. 13 EMRK garantierte Recht auf wirksame Beschwerde.
Abgesehen von Art. 5 Ziff. 4 und Art. 6 EMRK besteht keine allgemeine Garantie, dass alle Rechte, die durch die Konvention gewährleistet sind, einer gerichtlichen Überprüfung unterliegen müssen. Art. 13 EMRK verlangt einzig, dass für die Geltendmachung einer Konventionsverletzung eine wirksame Beschwerde bei einer nationalen Instanz zur Verfügung steht, doch braucht es sich dabei nicht notwendigerweise um eine gerichtliche Instanz zu handeln (<ref-ruling> E. 2b/dd S. 30; <ref-ruling> E. 4b/aa S. 413; <ref-ruling> E. 1b S. 90 f.).
Dass das fragliche verwaltungsinterne Rechtsmittel nicht die gleichen Garantien bezüglich Unabhängigkeit und Unparteilichkeit der Beschwerdeinstanz bietet wie ein Gericht, stellt die Tauglichkeit dieses Rechtsmittels unter dem Gesichtswinkel von Art. 13 EMRK jedenfalls solange nicht in Frage, als die rechtsstaatlich notwendigen minimalen Verfahrensrechte, namentlich der Anspruch auf rechtliches Gehör und auf Begründung des Entscheids (<ref-ruling> E. 5b S. 283), gewährleistet sind (vgl. nunmehr auch <ref-law>).
Ebenso wenig verlangt der von den Beschwerdeführern angerufene <ref-law> die Gewährleistung eines generellen gerichtlichen Rechtsschutzes, soweit Grundrechte als beeinträchtigt angerufen werden. Die erwähnte Bestimmung weist nur darauf hin, dass Fälle bestehen, in denen das Völkerrecht (namentlich Art. 6 Ziff. 1 EMRK) den Parteien einen Anspruch auf gerichtliche Überprüfung einräumt; <ref-law> vermittelt dagegen für sich selbst keine solche Garantie (vgl. BBl 1997 I 183 f.). Der Hinweis auf den in der Volksabstimmung vom 12. März 2000 angenommenen (BBl 2000 2990) Bundesbeschluss vom 8. Oktober 1999 über die Reform der Justiz (BBl 1999 8633 ff.), wonach zur Beurteilung von Rechtsstreitigkeiten der Zugang zum Richter - gesetzliche Ausnahmen vorbehalten - generell gewährleistet sein soll (sog. allgemeine Rechtsweggarantie, <ref-law>), ist ohne Belang; diese Regelung war im Zeitpunkt des angefochtenen Entscheids noch nicht in Kraft und ist es auch heute nicht. Im Übrigen sieht das Konzept der Rechtsweggarantie lediglich den Zugang zu einem Gericht vor; entgegen der Auffassung der Beschwerdeführer verlangt es indessen nicht, dass dieser Rechtsschutz vom Bundesgericht selber gewährt werden müsste (BBl 1997 I 503 f.; Walter Kälin, Die Bedeutung der Rechtsweggarantie für die kantonale Verwaltungsjustiz, in: ZBl 100/1999 S. 49 ff., S. 54 f.).
Damit erweist sich die staatsrechtliche Beschwerde, soweit der Nichteintretensentscheid des Verwaltungsgerichts beanstandet wird, als unbegründet.
e) Ist das Verwaltungsgericht auf die Beschwerde gegen den Entscheid des Regierungsrates zu Recht nicht eingetreten, so stellt der regierungsrätliche Sachentscheid einen kantonal letztinstanzlichen Endentscheid dar, welcher selbständig - innert der Frist von Art. 89 Abs. 1 OG seit dessen Eröffnung - mit staatsrechtlicher Beschwerde hätte angefochten werden müssen. Die nachträgliche Mitanfechtung dieses Sachentscheids erweist sich insoweit nach dem Gesagten als unzulässig. Ob ein Anspruch auf eine fremdenpolizeiliche Bewilligung besteht, welcher den Weg für das verwaltungsgerichtliche Verfahren im Kanton und vor Bundesgericht (vgl. Art. 100 Abs. 1 lit. b Ziff. 3 in Verbindung mit Art. 98a Abs. 1 OG) öffnet, kann allerdings häufig sogar für Rechtskundige zweifelhaft sein, was dem Rechtsuchenden die Wahl des zulässigen Rechtsmittels (bzw. des Zeitpunktes zur Ergreifung desselben) erschweren kann. Im vorliegenden Fall haben die Beschwerdeführer den Entscheid des Regierungsrates nicht direkt beim Bundesgericht sondern zuerst beim Verwaltungsgericht angefochten. Sie konnten sich dafür zwar nicht auf eine entsprechende Rechtsmittelbelehrung des Regierungsrates stützen. Bestünde aber der von ihnen behauptete Rechtsanspruch auf die anbegehrten Aufenthaltsbewilligungen - entgegen der im regierungsrätlichen Entscheid vertretenen Auffassung - tatsächlich, so wäre der Weg ans kantonale Verwaltungsgericht offen und aufgrund von Art. 98a Abs. 1 OG vor Anrufung des Bundesgerichts auch zwingend zu beschreiten gewesen. Es fragt sich, ob es Sinn und Zweck der so genannten "Dorénaz-Praxis" (oben E. 8b) entspricht, vom Rechtsuchenden in einem solchen Fall jeweils zu verlangen, dass er gegen den potentiell nicht letztinstanzlichen kantonalen Entscheid über die Verweigerung oder Nichtverlängerung der Aufenthaltsbewilligung neben der kantonalen Verwaltungsgerichtsbeschwerde vorsorglich sofort auch schon eine - zunächst zu sistierende - staatsrechtliche Beschwerde einreicht, oder ob die erst im Anschluss an den allfälligen Nichteintretensentscheid der betreffenden kantonalen Rechtsmittelbehörde erhobene staatsrechtliche Beschwerde gegen den unterinstanzlichen Entscheid - abweichend von der in <ref-ruling> aufgestellten Regel - dann als noch fristgerecht behandelt werden muss, wenn die Zulässigkeit des betreffenden kantonalen Rechtsmittels - wie hier - vom Vorliegen des behaupteten streitigen Anspruches abhängt. Auch wenn die Ergreifung eines "anspruchsabhängigen" kantonalen Rechtsmittels - je nach materieller Beurteilung - mit einem Nichteintretensentscheid enden kann, darf (und muss in der Regel) dieses Verfahren gemäss Art. 86 Abs. 2 und Art. 87 OG zur Erschöpfung des kantonalen Instanzenzuges wohl durchlaufen werden, um mit staatsrechtlicher Beschwerde an das Bundesgericht gelangen zu können. Die Frage kann im vorliegenden Fall indessen offen bleiben. Selbst wenn man die nachträgliche Mitanfechtung des Entscheides des Regierungsrates unter den hier gegebenen Umständen zulassen wollte, würde dies den Beschwerdeführern insofern nichts nützen, als ihnen, nachdem mangels eines Rechtsanspruches der Weg der eidgenössischen Verwaltungsgerichtsbeschwerde verschlossen ist, zugleich die nach Art. 88 OG erforderliche Legitimation fehlt, um die Nichtverlängerung der Aufenthaltsbewilligung anfechten zu können. Verfahrensrügen, welche unabhängig von der Legitimation in der Sache selbst erhoben werden können (<ref-ruling> E. 3c S. 312 f.; vgl. auch: <ref-ruling> E. 3b S. 86 sowie E. 7b S. 94; <ref-ruling> E. 1b S. 270), werden gegen den Entscheid des Regierungsrates nicht vorgebracht.
Die staatsrechtliche Beschwerde vermöchte daher, auch soweit sie sich gegen den Entscheid des Regierungsrates richtet, nicht durchzudringen.
9.- Nach dem Gesagten ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten und die staatsrechtliche Beschwerde als unbegründet abzuweisen, soweit darauf einzutreten ist.
Die Beschwerdeführer haben um Gewährung der unentgeltlichen Rechtspflege und um Verbeiständung für das Verfahren vor Bundesgericht ersucht. Dieses erlaubte aufgrund des Inkrafttretens der neuen Bundesverfassung neue Einwände, weshalb die von den Beschwerdeführern gestellten Rechtsbegehren nicht als von vornherein aussichtslos bezeichnet werden können; die Bedürftigkeit der Beschwerdeführer ist ebenfalls zu bejahen (Art. 152 Abs. 1 OG). Zudem rechtfertigt sich mit Blick auf die besonderen prozessualen Schwierigkeiten des vorliegenden Falles der Beizug eines Rechtsanwaltes (Art. 152 Abs. 2 OG). Dem Gesuch ist daher zu entsprechen.
Damit sind keine Kosten zu erheben (Art. 152 Abs. 1 OG) und der Rechtsvertreter der Beschwerdeführer ist für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse zu entschädigen (Art. 152 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verfahren 2A.23/2000 und 2P.10/2000 werden vereinigt.
2.- Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
3.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
4.- Den Beschwerdeführern wird die unentgeltliche Rechtspflege gewährt.
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Dr. Marc Spescha, Langstrasse 4, Zürich, wird als amtlicher Vertreter der Beschwerdeführer bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse ein Honorar von Fr. 2'000.-- ausgerichtet.
5.- Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat und dem Verwaltungsgericht (4. Abteilung,
4. Kammer) des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 11. September 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: