Aufenthaltsbewilligung, hat sich ergeben:
A.- A._ (geb. 1970) ist Staatsangehörige der Demokratischen Republik Kongo; am 5. September 1996 reiste sie mit ihrem Sohn B._ (geb. 1991) in die Schweiz ein und stellte ein Asylgesuch. Dieses wurde am 13. August 1997 rechtskräftig abgewiesen, worauf das Bundesamt für Flüchtlinge eine Frist zum Verlassen der Schweiz ansetzte, die es infolge einer Schwangerschaft von A._ verlängerte. Am 5. Januar 1998 wurde D._ geboren, den der in der Schweiz niedergelassene italienische Staatsangehörige E._ (geb. 1942) als sein Kind anerkannte.
B.- A._ ersuchte daraufhin für sich und ihre beiden Söhne um eine Aufenthaltsbewilligung im Kanton Zürich. Auf das entsprechende Gesuch vom 24. April 1998 trat die kantonale Fremdenpolizei jedoch ebenso wenig ein, wie auf jenes der Tochter C._ (geb. 1995), die am 7. Mai 1998 in die Schweiz gelangt war (Entscheid vom 24. August 1999). Hiergegen beschwerten sich A._ und ihre drei Kinder erfolglos beim Regierungsrat des Kantons Zürich: Mit Beschluss vom 15. März 2000 wies dieser ihren Rekurs ab (der gleichzeitig eingereichten Aufsichtsbeschwerde gab er keine Folge) und wies die Fremdenpolizei an, die Wegweisungsverfügung des Bundesamtes für Flüchtlingswesen zu vollziehen.
Am 2. Mai 2000 gelangten A._, ihre drei Kinder und E._ an das Verwaltungsgericht des Kantons Zürich, welches den angefochtenen Regierungsratsbeschluss schützte und das Gesuch um Gewährung der unentgeltlichen Rechtspflege abwies (Entscheid vom 27. September 2000).
C.- Mit Verwaltungsgerichtsbeschwerde vom 5. Januar 2001 beantragen A._, B._, C._, D._ und E._ beim Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Zürich aufzuheben und die Direktion für Soziales und Sicherheit des Kantons Zürich (Fremdenpolizei) anzuweisen, den vier Erstgenannten eine Aufenthaltsbewilligung für den Kanton Zürich zu erteilen; eventuell sei die Sache zur neuen Beurteilung an die Direktion zurückzuweisen. Subeventuell sei der angefochtene Entscheid soweit aufzuheben, als den Beschwerdeführern 1 - 4 die unentgeltliche Prozessführung verweigert worden sei.
Letztere ersuchten gleichzeitig um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren.
Das Bundesamt für Ausländerfragen, das Verwaltungsgericht sowie die Staatskanzlei des Kantons Zürich schliessen auf Abweisung der Beschwerde.
D.- Am 18. Januar 2001 erkannte der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts der Beschwerde - antragsgemäss - aufschiebende Wirkung zu.

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 100 Abs. 1 lit. b Ziff. 3 OG ist die Verwaltungsgerichtsbeschwerde auf dem Gebiet der Fremdenpolizei ausgeschlossen gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt oder Niederlassung.
Damit besteht grundsätzlich kein Anspruch auf Erteilung einer Bewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich hierfür auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen (<ref-ruling> E. 1a S. 363 f., mit Hinweisen).
aa) Der Beschwerdeführer 5 verfügt über die Niederlassungsbewilligung für die Schweiz; dessen ungeachtet kann sich sein Sohn, der Beschwerdeführer 4, nicht auf Art. 17 Abs. 2 ANAG berufen: Anspruch auf Einbezug in die Bewilligung eines niedergelassenen Elternteils hat ein (lediges) Kind unter 18 Jahren nur dann, wenn es mit diesem zusammen wohnt. Dies ist vorliegend nicht der Fall, steht D._ doch unter der Obhut seiner Mutter, der Beschwerdeführerin 1, welche - nach eigenen Angaben - weder eine Heirat noch das Zusammenwohnen mit dem Beschwerdeführer 5 in Erwägung zieht.
Der Umstand, dass sein Vater über eine Niederlassungsbewilligung verfügt, eröffnet D._ immerhin die Möglichkeit, sich im fremdenpolizeilichen Verfahren auf Art. 8 EMRK zu berufen: Der Anspruch auf Schutz des Familienlebens, der durch diese Bestimmung garantiert wird, kann vom Ausländer angerufen werden, der nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz hat; wird ihm selber die Anwesenheit in der Schweiz untersagt, kann dies Art. 8 EMRK verletzen. Soweit eine familiäre Beziehung im beschriebenen Sinn tatsächlich gelebt wird und intakt ist, wird deshalb das der zuständigen Behörde durch Art. 4 ANAG grundsätzlich eingeräumte freie Ermessen beschränkt. Die Verweigerung der Bewilligung ist nur gerechtfertigt, wenn sich dies nach der gemäss Art. 8 Ziff. 2 EMRK erforderlichen Abwägung zwischen dem privaten Interesse an ihrer Erteilung und dem öffentlichen Interesse an ihrer Verweigerung als verhältnismässig erweist. In solchen Fällen ist die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung nachsuchenden Ausländers oder seiner hier anwesenden Angehörigen zulässig (<ref-ruling> E. 2 S. 185 ff.; <ref-ruling> E. 1b S. 364, mit weiteren Hinweisen), auch wenn die Beziehung eines Elternteils zum Kind betroffen ist, das nicht unter seiner elterlichen Gewalt oder seiner Obhut steht (<ref-ruling> E. 1d S. 3).
Erforderlich ist auch hier, dass die familiäre Beziehung intakt ist und tatsächlich gelebt wird. Auf die Verwaltungsgerichtsbeschwerde ist allerdings bereits einzutreten, wenn sich der Elternteil, dem nur ein Besuchsrecht zusteht, ernsthaft um einen angemessenen Kontakt bemüht (<ref-ruling>). Dies ist vorliegend der Fall: Der Beschwerdeführer 5 kommt nach der unbestrittenen Darstellung in der Beschwerdeschrift für den Unterhalt seines Sohnes auf und pflegt die Beziehung zu diesem regelmässig. Mithin sind die Beschwerdeführer 4 und 5 zur Verwaltungsgerichtsbeschwerde legitimiert.
bb) Die Beschwerdeführerin 1 kann sich ihrerseits auf keine Norm berufen, die ihr einen (direkten) Bewilligungsanspruch einräumen würde. Für sie stellt sich die Frage einer Bewilligung erst dann, wenn sich die Bewilligungsverweigerung im Falle des Beschwerdeführers 4, ihres Sohns D._, als unverhältnismässig und konventionswidrig erweisen sollte. Ob unter diesen Umständen auch für sie von einem - mittelbaren - Bewilligungsanspruch im Sinne von Art. 100 Abs. 1 lit. b Ziff. 3 OG gesprochen werden kann, braucht vorliegend nicht entschieden zu werden. Gleiches gilt für die Beschwerdeführer 2 und 3, deren Anspruch sich allenfalls mittelbar vom Anspruch ihrer Mutter, der Beschwerdeführerin 1, ableiten würde.
b) Im Verfahren der Verwaltungsgerichtsbeschwerde kann ein Verstoss gegen Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und lit. b OG).
Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden, ist das Bundesgericht allerdings an deren Sachverhaltsfeststellung gebunden, sofern diese nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erfolgt ist (Art. 105 Abs. 2 OG).
2.- a) Der in Art. 8 Ziff. 1 EMRK garantierte Anspruch auf Achtung des Familienlebens gilt nicht absolut. Vielmehr ist nach Art. 8 Ziff. 2 EMRK ein Eingriff in das geschützte Rechtsgut statthaft, soweit dieser gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt insofern eine Abwägung zwischen den privaten Interessen an der Bewilligungserteilung und den öffentlichen an deren Verweigerung, wobei diese in dem Sinne überwiegen müssen, dass sich der Eingriff als "notwendig" erweist (<ref-ruling> E. 2 S. 6, mit Hinweisen). Dabei ist zu berücksichtigen, dass die Schweiz in Bezug auf Niederlassung und Aufenthalt von Ausländern eine restriktive Politik betreibt, dies namentlich im Interesse eines ausgewogenen Verhältnisses zwischen schweizerischer und ausländischer Wohnbevölkerung, der Schaffung günstiger Rahmenbedingungen für die Eingliederung der in der Schweiz ansässigen Ausländer und der Verbesserung der Arbeitsmarktstruktur sowie einer möglichst ausgeglichenen Beschäftigung (vgl. Art. 16 ANAG sowie Art. 1 der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer [BVO; SR 823. 21]).
Diese gesetzgeberischen Ziele sind im Lichte von Art. 8 Ziff. 2 EMRK legitim (vgl. <ref-ruling> E. 3b S. 4, 22 E. 4a S. 24 f.).
b) Der nicht sorgeberechtigte Elternteil kann die familiäre Beziehung zu seinen Kindern zum Vornherein nur in einem beschränkten Rahmen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts, pflegen. Hierzu ist nicht unabdingbar, dass er dauernd im gleichen Land wie die Kinder lebt und dort über eine Aufenthaltsbewilligung verfügt. Den Anforderungen von Art. 8 EMRK ist regelmässig bereits Genüge getan, wenn das Besuchsrecht im Rahmen von bewilligungsfreien Kurzaufenthalten vom Ausland her ausgeübt werden kann, wobei allenfalls dessen Modalitäten entsprechend auszugestalten sind. Dem nicht sorgeberechtigten ausländischen Elternteil eines Kindes, das über ein festes Anwesenheitsrecht in der Schweiz verfügt, kommt (tadelloses Verhalten vorausgesetzt) nur - aber immerhin - dann ein Anspruch auf Aufenthaltsbewilligung zu, wenn zwischen ihm und seinem Kind in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung besteht, die sich zudem wegen der Distanz zwischen der Schweiz und dem Land, in dem der Ausländer leben müsste, praktisch nicht aufrechterhalten liesse (vgl. <ref-ruling> E. 3c S. 5, 22 E. 4a/b S. 25 f.).
Etwas anders verhält es sich, wenn - wie vorliegend - nicht das Kind, sondern umgekehrt (allein) der besuchsberechtigte Elternteil über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügt. In einem solchen Fall ist zu berücksichtigen, dass das Kind unter der Obhut desjenigen Elternteils steht, der in der Schweiz kein selbständiges Anwesenheitsrecht hat. Es ist damit regelmässig in die Familiengemeinschaft dieses Elternteils eingebunden und hat grundsätzlich dessen Lebensschicksal zu teilen, ihm also gegebenenfalls ins Ausland zu folgen. Mit der Erteilung der Aufenthaltsbewilligung an das Kind würde bei einer solchen Ausgangslage in die engere familiäre Beziehung zum obhutsberechtigten Elternteil eingegriffen, es sei denn, auch diesem - und den allfälligen weiteren Familienmitgliedern (Ehemann, Geschwister) - würde eine Aufenthaltsbewilligung erteilt, was jedoch in der Regel eine unverhältnismässige ausländerrechtliche Konsequenz wäre.
c) Dies ist auch vorliegend der Fall: Im Rahmen der vorzunehmenden Interessenabwägung fällt ins Gewicht, dass der Beschwerdeführer 4 nicht eine derart enge Beziehung zu seinem Vater hat, wie sie sich in der Regel im Rahmen einer Wohngemeinschaft entwickelt. Die Obhut über ihn steht allein der Mutter zu, was die Kontakte zum Vater auf das Besuchsrecht nach <ref-law> beschränkt. Dieses nimmt der Vater offenbar regelmässig wahr und kommt auch durch monatliche Beiträge von 550 Franken (zuzüglich Kinderzulagen) für den Unterhalt von D._ auf. So hat sich, wie von den Beschwerdeführern glaubhaft geltend gemacht wird, eine gute Beziehung zwischen Vater und Sohn entwickelt; diese lässt sich jedoch nach objektiven Kriterien nicht als aussergewöhnlich intensiv bezeichnen, sondern hält sich vielmehr in einem Rahmen, wie es für einen Vater üblich ist, der nicht mit der Mutter seines Kindes verheiratet war und nicht mit dieser zusammengelebt hat. D._ ist andererseits heute erst drei Jahre alt und auf die Betreuung durch seine Mutter angewiesen, unter deren Obhut er steht. Damit hätte die Anerkennung eines Anwesenheitsrechts für ihn nur dann einen Sinn, wenn auch die Beschwerdeführerin 1 in der Schweiz bleiben könnte. Das würde wiederum bedingen, dass - wie vorliegend beantragt - zugleich den beiden Geschwistern von D._, den Beschwerdeführern 2 und 3, die ebenfalls auf Betreuung durch ihre Mutter angewiesen sind, die Anwesenheit in der Schweiz gestattet wird. Dies erscheint jedoch unverhältnismässig:
Es ist nicht gerechtfertigt, einzig zur erleichterten Ausübung des Besuchsrechts, das dem Beschwerdeführer 5 gegenüber D._ zukommt, vier Personen eine Aufenthaltsbewilligung zu erteilen. Die Beschwerdeführer haben in Kauf zu nehmen, dass die Beziehung zwischen Vater und Sohn nur noch unter erschwerten Bedingungen gepflegt werden kann. Dies ist eine Konsequenz der von ihnen selber geschaffenen Umstände, schliessen die Eltern doch eine Heirat aus. Bei diesen Gegebenheiten hat D._ der obhutsberechtigten Beschwerdeführerin 1, die in der Schweiz kein Anwesenheitsrecht hat, zusammen mit seinen Geschwistern ins Ausland zu folgen. Dass die Ausübung des Besuchsrechts in der Demokratischen Republik Kongo gänzlich unmöglich sei, machen die Beschwerdeführer zu Recht nicht geltend. Sie bringen lediglich vor, dem Beschwerdeführer 5 könnte es nicht zugemutet werden, mehrmals jährlich in die Demokratische Republik Kongo zu reisen. Zudem seien Ferienaufenthalte des Beschwerdeführers 4 in der Schweiz kein gleichwertiger Ersatz für das heute ausgeübte Besuchsrecht. Selbst wenn die Einwände der Beschwerdeführer sachlich zutreffen mögen, kann dies am Gesagten nichts ändern. Im Übrigen verfügt D._ über die italienische Staatsbürgerschaft, weshalb er allenfalls zusammen mit Mutter und Geschwistern nach Italien (dem Heimatland des Vaters) übersiedeln könnte.
d) Mithin erweist sich die Verwaltungsgerichtsbeschwerde als unbegründet. Die Vorinstanz hat sodann zu Recht erwogen, der bei ihr eingereichten Beschwerde hätten die Erfolgsaussichten gefehlt, welche für die Gewährung der unentgeltlichen Rechtspflege erforderlich seien (vgl. unten). Die Beschwerde ist deshalb vollständig abzuweisen, soweit auf sie eingetreten werden kann (vgl. E. 1a/bb).
3.- (Fehlt im Original)
4.- Da die Beschwerdeführer nicht ernsthaft mit einer Gutheissung ihrer Rechtsbegehren rechnen konnten, ist das Gesuch der Beschwerdeführer 1 - 4 um unentgeltliche Rechtspflege abzuweisen (Art. 152 OG). Die bundesgerichtlichen Kosten sind daher den Beschwerdeführern unter solidarischer Haftbarkeit aufzuerlegen (Art. 156 Abs. 1 OG). Bei der Bemessung der Gerichtsgebühr (Art. 153 Abs. 1 OG) kann ihrer finanziellen Lage Rechnung getragen werden (Art. 153a Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
4.- Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat und dem Verwaltungsgericht (2. Kammer) des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 11. Mai 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: