Ausweisung, hat sich ergeben:
A.- J._, geb. 1970, dominikanischer Staatsangehöriger, heiratete am 9. August 1991 die Schweizer Bürgerin M._. Er erhielt deshalb die Aufenthaltsbewilligung und später die Niederlassungsbewilligung. Er ist Vater eines ausserehelichen Kindes, F._, das am 11. Mai 1997 geboren wurde.
Das Bezirksgericht Zürich sprach J._ mit Urteil vom 2. Oktober 1998 der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz schuldig und verurteilte ihn zu 5 Jahren Zuchthaus. Das Obergericht des Kantons Zürich bestätigte am 31. August 1999 den Schuldspruch, reduzierte die Strafe jedoch auf 3 3/4 Jahre Zuchthaus.
J._ befand sich vom 14. April 1998 bis zu seiner bedingten Entlassung am 8. April 2000 im Strafvollzug.
B.- Am 7. Februar 2000 verfügte die Fremdenpolizei des Kantons Aargau die Ausweisung aus der Schweiz auf den Zeitpunkt der Haftentlassung. Eine Einsprache gegen diese Verfügung wies die Fremdenpolizei am 10. April 2000 ab.
Mit Urteil vom 23. Februar 2001 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die von J._ und seiner Ehefrau M._ erhobene Beschwerde ab.
C.- J._ und M._ haben mit Eingabe vom 28. März 2001 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Sie beantragen, das Urteil des Rekursgerichts aufzuheben und von einer Ausweisung abzusehen.
Für das bundesgerichtliche Verfahren beantragen sie die unentgeltliche Rechtspflege und Verbeiständung.
Die Fremdenpolizei des Kantons Aargau hat auf eine Vernehmlassung verzichtet. Das Rekursgericht verweist auf den angefochtenen Entscheid und beantragt die Abweisung der Verwaltungsgerichtsbeschwerde. Ohne sich ausführlich vernehmen zu lassen, beantragt auch das Bundesamt für Ausländerfragen, die Beschwerde abzuweisen.
D.- Der Präsident der II. öffentlichrechtlichen Abteilung hat der Beschwerde mit Verfügung vom 7. Mai 2001 die aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- Gegen Ausweisungsverfügungen steht gemäss Art. 97 Abs. 1 OG die Verwaltungsgerichtsbeschwerde offen. Ein Ausschlussgrund im Sinne der Art. 99 - 102 OG liegt nicht vor; insbesondere fällt die Ausweisung nicht unter die in Art. 100 Abs. 1 lit. b OG genannten, von der Verwaltungsgerichtsbeschwerde ausgenommenen Verfügungen, sofern sie - wie im vorliegenden Fall - gestützt auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) angeordnet worden ist (<ref-ruling> E. 1a S. 2).
Zur Erhebung der Beschwerde ist nicht nur der Ausländer selbst legitimiert, sondern auch dessen Ehefrau, die ihrerseits im Sinne von Art. 103 lit. a OG ein schutzwürdiges Interesse an der Überprüfung des angefochtenen Urteils hat.
2.- a) Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde.
Die Ausweisung darf jedoch nur ausgesprochen werden, wenn sie nach den gesamten Umständen angemessen erscheint (Art. 11 Abs. 3 ANAG). Hierbei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Die Frage, ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig sei, ist eine Rechtsfrage, die vom Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüft werden kann (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b S. 356 f.) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107; <ref-ruling> E. 2a S. 523).
b) Der Beschwerdeführer wurde vom Obergericht des Kantons Zürich mit einer Zuchthausstrafe von 3 3/4 Jahren belegt, so dass der Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG gegeben ist. Zu prüfen ist damit, ob die Ausweisung als verhältnismässig erscheint, d.h. insbesondere, ob die in Art. 16 Abs. 3 ANAV genannten Gesichtspunkte von den kantonalen Behörden bei ihrem Entscheid berücksichtigt und richtig angewandt worden sind. Dabei ist vorab festzustellen, dass der Beschwerdeführer in schwerwiegender Weise straffällig geworden ist. Er ist als eigentlicher "Kleinunternehmer" im Drogenhandel tätig geworden, der alle notwendigen Verrichtungen vom Import bis zum Verkauf der Drogen selber organisierte. Zunächst nahm er ab Anfang/Frühjahr 1995 bis Februar 1996 in Zürich insgesamt 260 Gramm Kokain in Kommission, welches er in und um Olten weiterverkaufte.
Ab Februar 1996 bis zur Verhaftung am 8. Oktober 1997 führte er insgesamt 2510 Gramm Kokain durch Kuriere/Schlucker aus Kolumbien, einmal per Briefpost, in die Schweiz ein und verkaufte davon 1610 Gramm (der Rest wurde beschlagnahmt) an Drogendealer und Drogenkonsumenten ebenfalls im Raum Olten.
Der Beschwerdeführer ist über längere Zeit mit erheblicher krimineller Energie seiner deliktischen Tätigkeit nachgegangen.
Es ist mithin von einem schweren Verschulden auszugehen und einem grossen öffentlichen Interesse an der Ausweisung des Beschwerdeführers, wie das Rekursgericht zutreffend festgestellt hat.
c) aa) Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung zu stellen. Zu berücksichtigen ist auch, in welchem Alter der Ausländer in die Schweiz eingereist ist (BGE <ref-ruling> E. 2b S. 523 f.).
Der Beschwerdeführer ist im August 1991 im Alter von 21 Jahren in die Schweiz gekommen. Unter Abzug der in Unfreiheit verbrachten Zeit ist von einer Aufenthaltsdauer von rund sieben Jahren auszugehen, wobei er allerdings schon nach vier Jahren im Drogenhandel tätig wurde. Der Beschwerdeführer lebt zwar nicht erst seit kurzer Zeit in der Schweiz, aber auch nicht besonders lange. Von einer ausgeprägten Integration kann aufgrund der frühen Aufnahme der kriminellen Tätigkeit und ihrer Fortführung über eine relativ lange Zeitspanne nicht gesprochen werden.
bb) Das Rekursgericht hat in seinem Entscheid berücksichtigt, dass der Beschwerdeführer mit einer Schweizer Bürgerin verheiratet ist und eine aussereheliche Tochter hat. Für die Ehefrau, die Beschwerdeführerin 2, wäre es äusserst schwierig, ihrem Mann in seine Heimat zu folgen.
Sie ist erwerbstätig und arbeitet als Rayonchefin in einem Verkaufsgeschäft. Einen Bezug zur Dominikanischen Republik scheint sie nicht zu haben. Es muss mithin davon ausgegangen werden, dass die eheliche Beziehung nicht mehr gelebt werden könnte, wenn der Beschwerdeführer ausgewiesen würde. Aufgrund der grossen Distanz würde eine Ausweisung aber auch die Beziehung des Beschwerdeführers zur ausserehelichen Tochter schwer beeinträchtigen, wenn nicht verunmöglichen.
Der Pflege der Grosseltern der Ehefrau hat das Rekursgericht zu Recht kein besonderes Gewicht beigemessen. In der Tat ist nicht ersichtlich, welchen Beitrag der Beschwerdeführer diesbezüglich in der Vergangenheit geleistet hätte.
In der Verwaltungsgerichtsbeschwerde wird dazu zwar vorgebracht, auf sich allein gestellt könnte sich auch die Ehefrau nicht mehr gut um die Grosseltern kümmern. Doch erscheint auch diese Behauptung umso weniger schlüssig, als der Beschwerdeführer sich während längerer Zeit im Strafvollzug befand und er seiner Ehefrau folglich kaum eine Hilfe sein konnte. In einer kurzen Bemerkung bezweifelt das Bundesamt für Ausländerfragen, ob die Ehe der Beschwerdeführer noch intakt sei. Die Frage stellt sich tatsächlich, hat der Beschwerdeführer doch mit einer anderen Frau ein Kind gezeugt und wird im Schlussbericht der Kantonspolizei eine dritte Frau als seine aktuelle Freundin bezeichnet. Die kantonalen Behörden haben jedoch keine weiteren Abklärungen vorgenommen, namentlich auch nicht die Ehefrau befragt, was umso mehr angezeigt gewesen wäre, weil es nicht nur darauf ankommt, ob die Ehe überhaupt noch gelebt wird, sondern für die Interessenabwägung auch die Intensität der ehelichen Beziehung bedeutsam ist (Alfred Koller, Die Reneja-Praxis des Bundesgerichts, in: ZBl 86/1985 S. 517).
cc) Indessen führt dies nicht zur Rückweisung der Sache an die Vorinstanz, denn selbst wenn unterstellt wird, dass die eheliche Beziehung heute intakt ist und es sich bei der im Schlussbericht erwähnten Freundin nicht um eine intime Bekanntschaft gehandelt hat, lässt sich die Interessenabwägung des Rekursgerichts nicht beanstanden und zwar auch dann nicht, wenn es der Ehefrau nicht zumutbar wäre, mit ihrem Gatten in der Dominikanischen Republik zu leben.
Dem Beschwerdeführer selber ist zuzumuten, in seine Heimat zurückzukehren, in welcher er aufgewachsen war und wo er bis zum 21. Lebensjahr gelebt hatte. Die Beziehung zur Ehefrau und zum Kind wird durch die Ausweisung zwar erheblich tangiert oder gar verunmöglicht. Doch wiegt das öffentliche Interesse an der Fernhaltung des Beschwerdeführers schwerer und kann dem Rekursgericht jedenfalls nicht eine bundesrechtswidrige Gewichtung der relevanten Faktoren vorgehalten werden.
d) Einer Ausweisung des Beschwerdeführers steht auch der in Art. 8 EMRK (und <ref-law>) verankerte Anspruch auf Achtung des Familienlebens nicht entgegen. Selbst wenn es der Ehefrau nicht zumutbar wäre, ihrem Mann in dessen Heimatland zu folgen, ergäbe sich daraus - entgegen der Meinung der Beschwerdeführer - nicht, dass die Ausweisung mit der Garantie von Art. 8 EMRK unvereinbar wäre. Der Anspruch nach Art. 8 EMRK kann nämlich zur Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen eingeschränkt werden.
Angesichts des schwerwiegenden Verschuldens des Beschwerdeführers durfte das Rekursgericht, ohne Bundesrecht zu verletzen, die einer Ausweisung entgegenstehenden Interessen der Ehefrau und des Kindes geringer werten als das öffentliche Interesse an der Ausweisung des Beschwerdeführers.
3.- Die Verwaltungsgerichtsbeschwerde ist deshalb als unbegründet abzuweisen.
Die Beschwerdeführer haben zwar ein Gesuch um unentgeltliche Rechtspflege gestellt (Art. 152 OG), ohne sich aber - trotz entsprechender Aufforderung - über ihre Bedürftigkeit auszuweisen, weshalb sie entsprechend dem Prozessausgang die bundesgerichtlichen Kosten zu tragen haben (Art. 156 Abs. 1 und 7 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt.
4.- Dieses Urteil wird den Beschwerdeführern, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 25. Juni 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: