Familiennachzug, hat sich ergeben: A.- Die 1978 geborene, jugoslawische Staatsangehörige S._ reiste am 30. Juli 1990 in die Schweiz ein und wurde in die Niederlassungsbewilligung ihrer Eltern einbezogen. Am 21. Februar 1997 heiratete sie in Baden den 1968 geborenen, ebenfalls aus Jugoslawien stammenden L._. Die beiden gemeinsamen Kinder (geb. 1997 bzw. 2000) wurden in die Niederlassungsbewilligung der Ehefrau einbezogen. L._ wurde am 5. März 1997 verhaftet. Mit Urteil vom 28. September 1998 sprach ihn das Kreisgericht II Biel-Nidau der Gehilfenschaft zur Widerhandlung gegen das Betäubungsmittelgesetz, der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz, des Inumlaufsetzens falschen Geldes sowie des unvollendeten Versuchs des Inumlaufsetzens falschen Geldes schuldig und verurteilte ihn zu einer Zuchthausstrafe von fünf Jahren und zu einer unbedingten Landesverweisung von acht Jahren. Die gegen dieses Urteil gerichtete Appellation wies das Obergericht des Kantons Bern mit Urteil vom 26. März 1999 ab. Mit Verfügung vom 15. Juni 2000 bewilligte die Abteilung Straf- und Massnahmenvollzug der Polizei- und Militärdirektion des Kantons Bern die bedingte Entlassung von L._ aus dem Strafvollzug auf den 22. Juli 2000 unter Auferlegung einer Probezeit von drei Jahren und lehnte dessen Gesuch um probeweisen Aufschub der Landesverweisung ab. Über die gegen diese Verfügung erhobene Beschwerde des L._ hat die Polizei- und Militärdirektion des Kantons Bern bis anhin noch nicht entschieden. B.- Am 5. Juli 2000 reichte S._ bei der Fremdenpolizei des Kantons Aargau ein Gesuch um Familiennachzug für ihren Ehemann L._ ein. Mit Verfügung vom 25. Juli 2000 wies die Fremdenpolizei des Kantons Aargau das Gesuch ab und verpflichtete L._, die Schweiz bis spätestens 31. August 2000 zu verlassen. S._ erhob dagegen erfolglos Einsprache. C.- Mit Urteil vom 8. Dezember 2000 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die Beschwerde von S._ gegen den Einspracheentscheid ab. D.- Mit Verwaltungsgerichtsbeschwerde vom 29. Januar 2001 beantragt S._, das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 8. Dezember 2000 aufzuheben und das Gesuch um Familiennachzug gutzuheissen. E.- Die Fremdenpolizei des Kantons Aargau hat unter Hinweis auf die Erwägungen des Rekursgerichts auf eine Vernehmlassung verzichtet. Das Rekursgericht beantragt Abweisung der Verwaltungsgerichtsbeschwerde unter Verzicht auf eine Vernehmlassung. Das Bundesamt für Ausländerfragen hat sich mit dem Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde vernehmen lassen.