Ausweisung, hat sich ergeben: A.- J._, geb. 1970, dominikanischer Staatsangehöriger, heiratete am 9. August 1991 die Schweizer Bürgerin M._. Er erhielt deshalb die Aufenthaltsbewilligung und später die Niederlassungsbewilligung. Er ist Vater eines ausserehelichen Kindes, F._, das am 11. Mai 1997 geboren wurde. Das Bezirksgericht Zürich sprach J._ mit Urteil vom 2. Oktober 1998 der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz schuldig und verurteilte ihn zu 5 Jahren Zuchthaus. Das Obergericht des Kantons Zürich bestätigte am 31. August 1999 den Schuldspruch, reduzierte die Strafe jedoch auf 3 3/4 Jahre Zuchthaus. J._ befand sich vom 14. April 1998 bis zu seiner bedingten Entlassung am 8. April 2000 im Strafvollzug. B.- Am 7. Februar 2000 verfügte die Fremdenpolizei des Kantons Aargau die Ausweisung aus der Schweiz auf den Zeitpunkt der Haftentlassung. Eine Einsprache gegen diese Verfügung wies die Fremdenpolizei am 10. April 2000 ab. Mit Urteil vom 23. Februar 2001 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die von J._ und seiner Ehefrau M._ erhobene Beschwerde ab. C.- J._ und M._ haben mit Eingabe vom 28. März 2001 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Sie beantragen, das Urteil des Rekursgerichts aufzuheben und von einer Ausweisung abzusehen. Für das bundesgerichtliche Verfahren beantragen sie die unentgeltliche Rechtspflege und Verbeiständung. Die Fremdenpolizei des Kantons Aargau hat auf eine Vernehmlassung verzichtet. Das Rekursgericht verweist auf den angefochtenen Entscheid und beantragt die Abweisung der Verwaltungsgerichtsbeschwerde. Ohne sich ausführlich vernehmen zu lassen, beantragt auch das Bundesamt für Ausländerfragen, die Beschwerde abzuweisen. D.- Der Präsident der II. öffentlichrechtlichen Abteilung hat der Beschwerde mit Verfügung vom 7. Mai 2001 die aufschiebende Wirkung zuerkannt.