Ausweisung, hat sich ergeben:
A.- Die dominikanische Staatsangehörige A._, geboren 1977, reiste am 16. Januar 1992 zu ihrer 1957 geborenen Mutter B._, die 1991 in I._ einen Schweizer Bürger geheiratet und damit das Schweizer Bürgerrecht erhalten hatte, in die Schweiz ein. Am 20. Februar 1992 erhielt sie die Niederlassungsbewilligung für den Kanton Schwyz, am 3. August 1998 für den Kanton Zürich. 1995 heiratete A._ in Zürich den 1965 geborenen dominikanischen Staatsangehörigen C._. 1996 kam der gemeinsame Sohn D._ zur Welt.
Am 12. August 1997 wurde A._ in Zürich wegen Verdachts auf Betäubungsmitteldelikte festgenommen. Mit Urteil vom 26. November 1997 schied das Bezirksgericht Zürich ihre Ehe mit C._ und stellte den Sohn D._ unter ihre elterliche Gewalt. Am 20. Mai 1998 verurteilte das Bezirksgericht Zürich A._ wegen Widerhandlung gegen das Bundesgesetz vom 3. Oktober 1951 über die Betäubungsmittel und die psychotropen Stoffe (Betäubungsmittelgesetz; SR 812. 121) zu einer Gefängnisstrafe von 27 Monaten.
Am 10. Februar 1999 wurde A._ bedingt aus dem Strafvollzug entlassen.
Die Stadtpolizei Zürich befragte am 14. April 1999 A._ im Hinblick auf allfällige fremdenpolizeiliche Massnahmen. 1999 heiratete A._ in Zürich den türkischen Staatsangehörigen E._, geboren 1980. Am 22. Dezember 1999 befragte die Stadtpolizei Zürich A._ erneut.
B.- Mit Beschluss vom 7. Juni 2000 wies der Regierungsrat des Kantons Zürich A._ für die Dauer von zehn Jahren aus der Schweiz aus. Dagegen erhob A._ Beschwerde an das Verwaltungsgericht des Kantons Zürich.
Dieses wies die Beschwerde am 20. Dezember 2000 ab.
C.- Dagegen hat A._ am 12. März 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragt, den angefochtenen Entscheid aufzuheben, eventualiter die Ausweisung nur anzudrohen, subeventualiter die Ausweisung auf zwei Jahre zu befristen.
Die Direktion für Soziales und Sicherheit des Kantons Zürich (für den Regierungsrat) schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen beantragt, die Beschwerde abzuweisen.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegen die sich auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) stützende Ausweisungsverfügung ist die Verwaltungsgerichtsbeschwerde zulässig (Art. 100 Abs. 1 lit. b Ziff. 4 OG e contrario; BGE 114 Ib E. 1a S. 2).
b) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhaltes gerügt werden (Art. 104 lit. a und b OG). Ausgeschlossen ist die Rüge, der angefochtene Entscheid sei unangemessen (Art. 104 lit. c OG). Im Fremdenpolizeirecht stellt das Bundesgericht auf die aktuellen tatsächlichen und rechtlichen Umstände ab, ausser wenn eine richterliche Behörde als Vorinstanz entschieden hat. Diesfalls gilt die Regelung von Art. 105 Abs. 2 OG, wonach das Bundesgericht an die Feststellung des Sachverhalts gebunden ist, wenn die richterliche Vorinstanz diesen nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erhoben hat (<ref-ruling> E. 2a S. 365; <ref-ruling> E. 2 S. 390). Da im vorliegenden Fall der angefochtene Entscheid durch ein Gericht erging, gelangt Art. 105 Abs. 2 OG zur Anwendung. Damit können auch nachträgliche Veränderungen des Sachverhalts nicht berücksichtigt werden bzw. sind neue tatsächliche Vorbringen im bundesgerichtlichen Verfahren ausgeschlossen, soweit sie nicht von der Vorinstanz von Amtes wegen hätten beachtet werden müssen und ihre Nichtberücksichtigung auf eine Verletzung wesentlicher Verfahrensbestimmungen hinausläuft (<ref-ruling> E. 5d S. 310 mit Hinweisen; <ref-ruling> S. 99 E. 1c, mit Hinweisen).
2.- a) Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Die Ausweisung soll jedoch nur ausgesprochen werden, wenn sie nach den gesamten Umständen angemessen erscheint (Art. 11 Abs. 3 ANAG). Hierbei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Die Frage, ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig sei, ist eine Rechtsfrage, die vom Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüft wird (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107, mit Hinweisen).
b) Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung zu stellen. Zu berücksichtigen ist auch, in welchem Alter der Ausländer in die Schweiz eingereist ist. Selbst bei einem Ausländer, der bereits hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat (Ausländer der "zweiten Generation"), ist eine Ausweisung nach der bundesgerichtlichen Rechtsprechung nicht ausgeschlossen. Erst recht gilt dies für Ausländer, die - wie die Beschwerdeführerin - als Kind oder Jugendliche(r) in die Schweiz gelangt sind (<ref-ruling> E. 2b S. 523 f., mit Hinweisen). Die Ausweisung ist im Übrigen eher zulässig, wenn der Ausländer, obwohl er seit längerer Zeit in der Schweiz wohnt, sich nicht integriert hat, hauptsächlich mit Landsleuten zusammen ist und enge Beziehungen zu seinem Heimatland pflegt sowie dessen Sprache spricht (vgl. Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 53/1997, S. 314, mit Hinweisen).
3.- Die Beschwerdeführerin rügt, dass die Vorinstanz die Tatsache, dass sie am 10. Juli 2000 einen Arbeitsvertrag mit dem Krankenheim X._ abgeschlossen hat und dort auf den 7. August 2000 mit einem Pensum von 100% als Pflegehelferin SRK auf unbestimmte Zeit eingestellt worden ist, nicht berücksichtigt und damit den rechtserheblichen Sachverhalt nicht vollständig festgestellt habe.
Wie es sich damit verhält, kann offen bleiben, da der angefochtene Entscheid auch vor Bundesrecht standhalten würde, wenn das Verwaltungsgericht den Arbeitsvertrag vom 10. Juli 2000 hätte berücksichtigen müssen.
4.- a) Mit der Verurteilung zu einer Gefängnisstrafe von 27 Monaten ist ein Ausweisungsgrund gemäss Art. 10 Abs. 1 lit. a ANAG gegeben.
Die von der Beschwerdeführerin begangenen Straftaten wiegen nicht leicht: Das Bezirksgericht Zürich ist in seinem Urteil vom 20. Mai 1998 von einem schweren Verschulden ausgegangen. Aus dem Urteil geht hervor, dass sich die Beschwerdeführerin an der Einfuhr von mehreren Kilogramm Kokain beteiligt hat sowie zusammen mit ihrem zwölf Jahre älteren Ehemann auch einen schwunghaften Handel mit Kokain betrieben und neben der Einfuhr auch an der Lagerung und am Verkauf mitgewirkt hat. Sie sei zwar nicht die treibende Kraft im gemeinsam mit ihrem Mann betriebenen Kokainhandel gewesen, habe aber zweifellos im Gefüge um ihren Ehegatten eine nicht zu unterschätzende Rolle gespielt; zu berücksichtigen sei dabei auch, dass die Beschwerdeführerin selber nicht drogensüchtig gewesen sei und offensichtlich aus rein finanziellen Motiven gehandelt habe. Das Gericht hielt der Beschwerdeführerin, die zum Tatzeitpunkt noch nicht 20 Jahre alt gewesen war, hingegen strafmildernd zugute, dass sie ihrer Lebenssituation und den Problemen mit ihrem zwölf Jahre älteren Ehemann sowie der Arbeitslosigkeit aufgrund ihrer Schwangerschaft und der damit zusammen hängenden Abhängigkeit nicht gewachsen war und noch nicht die volle Einsicht in das Unrecht ihrer Taten besessen habe.
Es besteht nach dem Gesagten ein gewichtiges öffentliches Interesse an der Fernhaltung der Beschwerdeführerin von der Schweiz.
b) Die Beschwerdeführerin reiste 1992 im Alter von 14 Jahren zu ihrer Mutter in die Schweiz ein; sie besuchte zuerst die Realschule in I._/SZ und anschliessend eine Privatschule in F._, schloss aber keine Berufsbildung ab. Anschliessend arbeitete sie im Krankenheim X._, im Spital in G._ und in einem Krankenheim in H._. Diese Stelle gab sie wegen ihrer Schwangerschaft auf. Seit ihrer Schwangerschaft war sie als arbeitslos gemeldet und wurde vom Sozialamt unterstützt, arbeitete aber gleichzeitig unregelmässig in verschiedenen Massagesalons.
Sie bezog ab 1996 öffentliche Unterstützung im Umfang von ca. Fr. 74'000.--. Seit der Entlassung aus dem Strafvollzug lebt die Beschwerdeführerin mit ihrer Mutter und dem heute fünfjährigen Sohn, seit ihrer Heirat 1999 zudem mit ihrem Ehemann im gleichen Haushalt.
Eine Trennung der Beschwerdeführerin von ihrer Mutter, die während des Strafvollzugs die Betreuung von D._ übernommen hat und nach wie vor eine sehr wichtige Rolle für den Buben spielt, und die als Schweizer Bürgerin wohl kaum ihrer Tochter ins Ausland folgen würde, wird ohne Zweifel sowohl für die Beschwerdeführerin wie auch für den Sohn D._ schwierig sein. Hingegen kann nicht gesagt werden, dass die Ausweisung der Beschwerdeführerin aus der Schweiz eine Trennung von ihrem zweiten Ehemann bedeuten würde, verfügt dieser doch ohnehin nicht über ein gefestigtes Aufenthaltsrecht in der Schweiz, sondern nur über eine Jahresaufenthaltsbewilligung, und es ist zweifelhaft, ob ihm diese nach der Ausreise seiner Ehefrau noch verlängert würde. Im Übrigen musste dem Ehemann im Zeitpunkt der Heirat klar sein, dass der weitere Aufenthalt seiner zukünftigen Ehefrau in der Schweiz aufgrund ihrer Straftaten nicht gesichert war.
Angesichts der Schwere der begangenen Drogendelikte, zumal die Beschwerdeführerin selber nicht drogenabhängig war, sowie der Tatsache, dass sie in erheblichem Masse von der öffentlichen Hand unterstützt werden musste, überwiegt im vorliegenden Fall das öffentliche Interesse an der Fernhaltung der Beschwerdeführerin aus der Schweiz deren privates Interesse an einem Verbleib in diesem Land. An dieser Beurteilung vermöchte auch die Tatsache, dass sie sich in letzter Zeit beruflich zu stabilisieren scheint und auf den
7. August 2000 eine feste Anstellung im Pflegebereich erhalten hat, nichts zu ändern.
Die Ausweisung der Beschwerdeführerin erweist sich somit grundsätzlich als bundesrechtskonform. Zu einer Verkürzung der Befristung der Ausweisung besteht im Übrigen kein Anlass.
5.- a) Art. 8 EMRK - wie seit dem 1. Januar 2000 auch <ref-law> - gewährleistet das Recht auf Achtung des Privat- und Familienlebens. Darauf kann sich im Rahmen eines ausländerrechtlichen Bewilligungsverfahrens berufen, wer nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz hat. Wird in einem solchen Fall der Aufenthalt untersagt, kann dies Art. 8 EMRK (bzw. <ref-law>) verletzen. Soweit eine familiäre Beziehung tatsächlich gelebt wird und intakt ist, wird das der zuständigen Behörde in Art. 4 ANAG grundsätzlich eingeräumte freie Ermessen beschränkt (<ref-ruling> E. 2a S. 427, mit Hinweisen).
b) aa) Die Beschwerdeführerin kann sich in Bezug auf ihre Beziehung zu ihrer Mutter - die Schweizer Bürgerin ist und damit ein gefestigtes Anwesenheitsrecht in der Schweiz hat - nicht auf Art. 8 Ziff. 1 EMRK berufen, käme doch ein daraus abgeleiteter Aufenthaltsanspruch für eine erwachsene Tochter nur in Frage, wenn ein eigentliches Abhängigkeitsverhältnis im Sinne der Rechtsprechung vorläge.
Die Abhängigkeit eines Menschen von einem andern steht im Gegensatz zu seiner erlangten Selbständigkeit.
Sie kann sich unabhängig vom Alter namentlich aus besonderen Betreuungs- und Pflegebedürfnissen wie bei körperlichen oder geistigen Behinderungen und schwerwiegenden Krankheiten ergeben. Liegen - wie hier - keine solchen Umstände vor, hängt sie regelmässig vom Alter bzw. vom Entwicklungsstand der betreffenden Person ab (<ref-ruling> E. 1e S. 261, mit Hinweis). Die Beschwerdeführerin ist zwar mit ihrer Mutter nahe verbunden, zumal sie mit dieser in gemeinsamem Haushalt lebt und beide gemeinsam - zusammen mit dem zweiten Ehemann der Beschwerdeführerin - das Kind aufziehen. Ein Abhängigkeitsverhältnis im Sinne der Rechtsprechung liegt aber nicht vor.
bb) Aus dem durch Art. 8 EMRK geschützten Recht auf Achtung des Privatlebens konnte die Beschwerdeführerin höchstens dann einen Anspruch auf eine Anwesenheitsbewilligung ableiten, wenn besonders intensive private Beziehungen in Frage stünden (<ref-ruling> E. 4c/aa S. 432, 120 Ib 16 E. 3b S. 22). Die Behauptung, sie verfüge in der Schweiz über ein Beziehungsnetz von Freunden und Bekannten, reicht hiefür nicht aus.
cc) D._ selbst ist zwar im vorliegenden Verfahren nicht formell Partei; seine Situation ist aber mitzuberücksichtigen. Ob die Trennung D._s von seiner Grossmutter - obwohl er eine Mutter hat, die über das Sorgerecht über ihn verfügt und die Erziehung auch (mit)wahrnimmt -, überhaupt einen Eingriff in das von Art. 8 Ziff. 1 EMRK geschützte Rechtsgut darstellt, kann jedoch offen bleiben, da ein solcher Eingriff jedenfalls im Sinne von Art. 8 Ziff. 2 EMRK grundsätzlich gerechtfertigt wäre.
6.- Der in <ref-law> garantierte Anspruch auf Achtung des Privat- und Familienlebens entspricht materiell der Garantie von Art. 8 EMRK und gewährt darüber hinaus im Bereich des Ausländerrechts keine zusätzlichen Ansprüche (<ref-ruling> E. 7 S. 394).
7.- Die Beschwerdeführerin beruft sich auch auf Art. 9 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (UNO-Kinderrechtekonvention; SR 0.107). Das Bundesgericht hat jedoch festgehalten, dass sich der UNO-Kinderrechtekonvention in Bezug auf die Erteilung von fremdenpolizeilichen Bewilligungen keine gerichtlich durchsetzbaren Ansprüche entnehmen lassen (<ref-ruling> E. 5d S. 391 f.; <ref-ruling> E. 3b S. 367, mit Hinweisen).
8.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen. Gemäss diesem Verfahrensausgang wird die unterliegende Beschwerdeführerin kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird der Beschwerdeführerin auferlegt.
3.- Dieses Urteil wird der Beschwerdeführerin, dem Regierungsrat (Direktion für Soziales und Sicherheit), dem Verwaltungsgericht (4. Kammer) des Kantons Zürich und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 15. Oktober 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: