Familiennachzug, hat sich ergeben:
A.- Die 1978 geborene, jugoslawische Staatsangehörige S._ reiste am 30. Juli 1990 in die Schweiz ein und wurde in die Niederlassungsbewilligung ihrer Eltern einbezogen.
Am 21. Februar 1997 heiratete sie in Baden den 1968 geborenen, ebenfalls aus Jugoslawien stammenden L._.
Die beiden gemeinsamen Kinder (geb. 1997 bzw. 2000) wurden in die Niederlassungsbewilligung der Ehefrau einbezogen.
L._ wurde am 5. März 1997 verhaftet. Mit Urteil vom 28. September 1998 sprach ihn das Kreisgericht II Biel-Nidau der Gehilfenschaft zur Widerhandlung gegen das Betäubungsmittelgesetz, der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz, des Inumlaufsetzens falschen Geldes sowie des unvollendeten Versuchs des Inumlaufsetzens falschen Geldes schuldig und verurteilte ihn zu einer Zuchthausstrafe von fünf Jahren und zu einer unbedingten Landesverweisung von acht Jahren. Die gegen dieses Urteil gerichtete Appellation wies das Obergericht des Kantons Bern mit Urteil vom 26. März 1999 ab. Mit Verfügung vom 15. Juni 2000 bewilligte die Abteilung Straf- und Massnahmenvollzug der Polizei- und Militärdirektion des Kantons Bern die bedingte Entlassung von L._ aus dem Strafvollzug auf den 22. Juli 2000 unter Auferlegung einer Probezeit von drei Jahren und lehnte dessen Gesuch um probeweisen Aufschub der Landesverweisung ab. Über die gegen diese Verfügung erhobene Beschwerde des L._ hat die Polizei- und Militärdirektion des Kantons Bern bis anhin noch nicht entschieden.
B.- Am 5. Juli 2000 reichte S._ bei der Fremdenpolizei des Kantons Aargau ein Gesuch um Familiennachzug für ihren Ehemann L._ ein. Mit Verfügung vom 25. Juli 2000 wies die Fremdenpolizei des Kantons Aargau das Gesuch ab und verpflichtete L._, die Schweiz bis spätestens
31. August 2000 zu verlassen. S._ erhob dagegen erfolglos Einsprache.
C.- Mit Urteil vom 8. Dezember 2000 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die Beschwerde von S._ gegen den Einspracheentscheid ab.
D.- Mit Verwaltungsgerichtsbeschwerde vom 29. Januar 2001 beantragt S._, das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 8. Dezember 2000 aufzuheben und das Gesuch um Familiennachzug gutzuheissen.
E.- Die Fremdenpolizei des Kantons Aargau hat unter Hinweis auf die Erwägungen des Rekursgerichts auf eine Vernehmlassung verzichtet. Das Rekursgericht beantragt Abweisung der Verwaltungsgerichtsbeschwerde unter Verzicht auf eine Vernehmlassung. Das Bundesamt für Ausländerfragen hat sich mit dem Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- a) Über die Beschwerde von L._ gegen die Abweisung seines Gesuchs um probeweisen Aufschub der Landesverweisung ist bis anhin nicht entschieden worden. Eine Sistierung des vorliegenden bundesgerichtlichen Verfahrens, wie sie das Bundesamt für Ausländerfragen in seiner Vernehmlassung angeregt hat, erscheint deswegen jedoch nicht angezeigt, da ein ablehnender Entscheid von L._ letztinstanzlich bis an das Bundesgericht weitergezogen werden könnte. Es liegt daher im Interesse einer beförderlichen Behandlung der Sache, über die vorliegende Verwaltungsgerichtsbeschwerde zu befinden, ohne den Ausgang des Beschwerdeverfahrens betreffend Aufschub der Landesverweisung abzuwarten.
b) Hat - wie vorliegend - eine richterliche Behörde als Vorinstanz entschieden, so ist das Bundesgericht an deren tatsächliche Feststellungen gebunden, es sei denn, diese erwiesen sich als offensichtlich unrichtig oder unvollständig oder seien unter Verletzung wesentlicher Verfahrensvorschriften getroffen worden (Art. 105 Abs. 2 OG), was hier nicht zutrifft.
2.- a) Art. 100 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde aus gegen die Erteilung oder Verweigerung von fremdenpolizeilichen Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Damit besteht grundsätzlich kein Anspruch auf Erteilung einer Bewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich hierfür auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen (<ref-ruling> E. 1a; <ref-ruling> E. 1a S. 83, je mit Hinweisen).
b) Nach Art. 17 Abs. 2 ANAG hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Die Beschwerdeführerin verfügt über eine Niederlassungsbewilligung und die Ehegatten wohnen seit der bedingten Entlassung des Ehemannes aus dem Strafvollzug zusammen. Die Beschwerdeführerin kann sich folglich für die Erteilung einer Aufenthaltsbewilligung auf Art. 17 Abs. 2 ANAG berufen. Auf die Verwaltungsgerichtsbeschwerde ist daher einzutreten. Frage der materiellen Beurteilung ist es hingegen, ob unter den konkreten Umständen L._ eine Aufenthaltsbewilligung zu erteilen bzw.
diese zu verlängern ist.
c) Da die Beschwerdeführerin aufgrund der Niederlassungsbewilligung über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügt und die geltend gemachte familiäre Beziehung zum Ehemann nach dessen bedingter Entlassung aus dem Strafvollzug gelebt wird und intakt scheint (<ref-ruling> E. 1b S. 364, mit Hinweisen), kann sich die Beschwerdeführerin zudem auf Art. 8 EMRK berufen.
3.- a) Nach Art. 17 Abs. 2 letzter Satz ANAG erlischt der Anspruch des Ausländers auf Verlängerung seiner Aufenthaltsbewilligung, wenn er gegen die öffentliche Ordnung verstossen hat. Die Voraussetzung für ein Erlöschen des Anspruchs ist damit weniger streng als im Fall des ausländischen Ehegatten eines Schweizer Bürgers oder einer Schweizer Bürgerin, dessen Anspruch auf Bewilligungserteilung gemäss Art. 7 Abs. 1 letzter Satz ANAG nur erlischt, wenn ein Ausweisungsgrund vorliegt und eine Verhältnismässigkeitsprüfung stattgefunden hat (Art. 11 Abs. 3 ANAG, Art. 16 Abs. 3 ANAV). Zwar muss auch die Verweigerung einer Bewilligungsverlängerung gemäss Art. 17 Abs. 2 ANAG nach den allgemeinen Regeln des Verwaltungsrechts verhältnismässig sein; da aber bereits geringere öffentliche Interessen für ein Erlöschen des Anspruchs genügen, sind auch die entgegenstehenden privaten Interessen weniger stark zu gewichten als bei einer Ausweisung (<ref-ruling> E. 4a S. 131, mit Hinweisen).
b) Gemäss dem rechtskräftigen Urteil des Kreisgerichts II Biel-Nidau vom 28. September 1998 wurde L._ zu fünf Jahren Zuchthaus und acht Jahren Landesverweisung verurteilt. Damit hat L._ einen Ausweisungsgrund im Sinne von Art. 10 Abs. 1 lit. a ANAG gesetzt und a fortiori gegen die öffentliche Ordnung im Sinne von Art. 17 Abs. 2 ANAG verstossen.
Ausgangspunkt und Massstab für die Schwere des Verschuldens und die fremdenpolizeiliche Interessenabwägung ist die vom Strafrichter verhängte Strafe. Vorab ist festzuhalten, dass L._ infolge schwerer Betäubungsmitteldelikte verurteilt wurde. Das Bundesgericht verfolgt im Zusammenhang mit solchen Straftaten im Hinblick auf den Kampf gegen den Drogenhandel sowie auf die mit diesen Delikten zusammenhängende Gefährdung der Gesundheit einer Vielzahl von Menschen eine strenge Praxis (vgl. Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, RDAF 1997, S. 308, mit Hinweisen).
L._ entwickelte eine grosse kriminelle Energie, indem er zusammen mit den Mitbeteiligten fast ununterbrochen damit beschäftigt war, Drogengeschäfte einzufädeln, und die Bereitschaft hatte, mit allem zu handeln, wofür eine Nachfrage bestand: zuerst mit Kokain, dann mit Heroin, schliesslich noch mit Falschgeld. Ein Ecstasyhandel war auch schon geplant.
L._ hatte auch keineswegs vor, mit dem Drogenhandel aufzuhören, sondern dieser wurde nur durch seine Verhaftung gestoppt. Verschuldenserhöhend wertete das Kreisgericht II Biel-Nidau zudem, dass L._ und seine Leute einen minderjährigen Landsmann skrupellos für ihre Geschäfte einspannten. Zudem leistete L._ Kurierdienste, indem er Drogengelder in Höhe von Fr. 100'000.-- von der Schweiz nach Jugoslawien brachte. Es besteht somit ein gewichtiges öffentliches Interesse, L._ von der Schweiz fernzuhalten.
c) L._ ist erst im Alter von 21 Jahren in die Schweiz eingereist. Die prägenden Jugendjahre hat er somit in Jugoslawien verbracht. Nach seinen eigenen Angaben hat er dort noch einen Bruder und eine Schwester. Es kann daher davon ausgegangen werden, dass er sich in seiner Heimat wieder wird zurechtfinden können. Die Ehe mit der Beschwerdeführerin ist L._ nur rund zwei Wochen vor seiner Verhaftung eingegangen, so dass auch nicht von einem lange dauernden Familienleben in der Schweiz - insbesondere in Freiheit - gesprochen werden kann. Zudem kann L._ nicht als in den schweizerischen Arbeitsprozess integriert betrachtet werden. Nachdem er im November 1995 einen Autounfall erlitten hatte, der einen sechswöchigen Spitalaufenthalt nötig machte, ist L._ bis zu seiner Verhaftung keiner Arbeit mehr nachgegangen. Spätestens seit Herbst 1996 hat er sich fast ausschliesslich seiner deliktischen Tätigkeit gewidmet, ohne andere Möglichkeiten in Betracht zu ziehen. Im Übrigen hatte L._ schon früher mehrfach zu Klagen Anlass gegeben. Der Verfügung der kantonalen Fremdenpolizei vom 25. Juli 2000 ist zu entnehmen, dass er am 15. November 1996, am 6. Februar 1997, am 3. Juli 1997 und am 13. März 1998 jeweilen wegen Widerhandlungen gegen das Strassenverkehrsgesetz gebüsst wurde und alle Bussen in Haft umgewandelt werden mussten. Damit hat er gezeigt, dass er nicht fähig oder nicht willens ist, sich in die hiesige öffentliche Ordnung einzufügen.
4.- a) Die Beschwerdeführerin beruft sich auf Art. 8 EMRK, der den Schutz des Familienlebens garantiert. Art. 8 EMRK schafft indessen nicht ein absolutes Recht auf Einreise und Erteilung einer fremdenpolizeilichen Bewilligung (<ref-ruling> E. 3a S. 366). Das in Ziff. 1 dieser Bestimmung gewährleistete Recht auf Achtung des Familienlebens kann nur angerufen werden, wenn eine staatliche Entfernungs- oder Fernhaltemassnahme zur Trennung von Familienmitgliedern führt. Ein staatlicher Eingriff in das Recht auf Familienleben liegt indessen nicht vor, wenn es den Familienangehörigen zumutbar ist, ihr Familienleben im Ausland zu führen.
Die Frage der Zumutbarkeit beurteilt sich nicht nach den Wünschen der Betroffenen, sondern ist unter Berücksichtigung ihrer persönlichen Verhältnisse und aller Umstände objektiv zu prüfen, (<ref-ruling> E. 2 S. 6, mit Hinweis). Ist es dem in der Schweiz anwesenheitsberechtigten Familienmitglied in diesem Sinne zumutbar, mit dem Ausländer, dem eine fremdenpolizeiliche Bewilligung verweigert worden ist, auszureisen, ist Art. 8 EMRK von vorneherein nicht verletzt.
b) Die Beschwerdeführerin kam nach den für das Bundesgericht verbindlichen (vgl. E. 1b) Feststellungen der Vorinstanz 1990 im Alter von 12 Jahren in die Schweiz und wurde in die Niederlassungsbewilligung ihrer Eltern einbezogen, die heute noch in ihrer Nähe wohnen. Sie macht geltend, sie habe ab der 4. Klasse in der Schweiz die Schule besucht und sich hier einen Bekanntenkreis aufgebaut, während sie mit ihrem Heimatstaat nichts mehr verbinde. Ferner bringt sie vor, sie habe sich hier eine berufliche Existenz aufgebaut, ohne allerdings darzulegen, worin diese besteht. Die Beschwerdeführerin, die zur Zeit im 23. Lebensjahr steht, hat somit rund die Hälfte ihres bisherigen Lebens und prägende Jugendjahre in der Schweiz verbracht. Eine Rückkehr in die Heimat ist für sie zweifellos einschneidend und entbehrt nicht einer gewissen Härte. Immerhin hat sie jedoch ihre Kindheit in Jugoslawien verbracht und spricht die Sprache ihrer Heimat. Eine Rückkehr erscheint daher nicht als unzumutbar, zumal diese nicht allein, sondern mit ihrem Ehemann erfolgen würde. Als zumutbar erweist sich die Ausreise auch für die beiden 1997 und 2000 geborenen Kinder.
Diese sind noch im anpassungsfähigen Kleinkindesalter und somit ohne weiteres in der Lage, sich mit ihren Eltern in der neuen Umgebung zurecht zu finden (vgl. <ref-ruling> E. 2b).
c) Selbst wenn die Frage der Zumutbarkeit der Ausreise lediglich als Bestandteil einer umfassenden Interessenabwägung nach Art. 8 Ziff. 2 EMRK zu betrachten wäre (vgl. <ref-ruling> E. 3b S. 297), bliebe dies im vorliegenden Fall ohne Auswirkung auf das Ergebnis. Nach Art. 8 Ziff. 2 EMRK ist ein Eingriff in das von Ziff. 1 dieser Bestimmung geschützte Rechtsgut statthaft, insoweit er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutze der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Angesichts der vom Ehemann begangenen schweren Straftaten, überwiegt das öffentliche Interesse an dessen Fernhaltung das private Interesse der Beschwerdeführerin, das Familienleben in der Schweiz zu führen.
d) Zusammenfassend ergibt sich, dass das angefochtene Urteil weder Bundesrecht noch Art. 8 EMRK verletzt.
5.- a) Die Verwaltungsgerichtsbeschwerde erweist sich somit als unbegründet und ist abzuweisen.
b) Bei diesem Ausgang hat die Beschwerdeführerin die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1 OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird der Beschwerdeführerin auferlegt.
3.- Dieses Urteil wird der Beschwerdeführerin, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 3. April 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: