Ausweisung, hat sich ergeben:
A.- Der aus der Bundesrepublik Jugoslawien (Kosovo) stammende A._ (geb. 1952) arbeitete in den Jahren 1981-1985 als Saisonnier bei einer Bauunternehmung im Kanton Aargau. Per 11. Dezember 1985 erhielt er die Jahresaufenthaltsbewilligung.
Seine Ehefrau, B._ und die fünf Kinder kamen im November 1989 bzw. Dezember 1991 in die Schweiz. Seit dem 20. Juli 1992 hat die ganze Familie die Niederlassungsbewilligung.
B.- Das Bezirksamt Zurzach verurteilte A._ am 16. August 1988 wegen Gebrauchs eines gefälschten Führerausweises sowie wegen versuchter Erschleichung eines schweizerischen Führerausweises zu 4 Tagen Gefängnis unter Gewährung des bedingten Strafvollzugs bei 2 Jahren Probezeit sowie zu einer Busse von Fr. 300.-- und am 24. September 1993 wegen wiederholten Führens eines Motorfahrzeuges trotz Entzugs des Lernfahrausweises sowie Mitverschuldens einer Kollision infolge Nichtanpassens der Geschwindigkeit auf einer Strassenverzweigung zu 14 Tagen Haft und Fr. 150.-- Busse.
Mit Urteil vom 9. Juli 1996 erkannte das Bezirksgericht Baden A._ schuldig der qualifizierten Widerhandlung (Art. 19 Ziff. 2 lit. a und b) gegen das Bundesgesetz vom 3. Oktober 1951 über die Betäubungsmittel und die psychotropen Stoffe (Betäubungsmittelgesetz, BetmG; SR 812. 121), begangen im Jahre 1993, und verurteilte ihn zu 21⁄2 Jahren Zuchthaus sowie zu 7 Jahren unbedingter Landesverweisung.
Die vom Verurteilten hiegegen erhobene Beschwerde wies das Obergericht des Kantons Aargau am 27. August 1998 ab. A._ trat die Strafe am 25. April 2000 an. Am 19. April 2001 wurde er bedingt aus dem Strafvollzug entlassen und gleichzeitig die Landesverweisung von 7 Jahren probeweise aufgeschoben unter Ansetzung einer Probezeit von 2 Jahren.
C.- Die Fremdenpolizei des Kantons Aargau wies A._ mit Verfügung vom 9. Juni 1999 für unbestimmte Zeit aus der Schweiz aus. Die dagegen erhobene Einsprache wies sie am 10. August 1999 ab. Das Rekursgericht im Ausländerrecht des Kantons Aargau (im Folgenden: Rekursgericht) bestätigte diesen Entscheid mit Urteil vom 6. April 2001.
D.- Hiegegen hat A._ am 9. Mai 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht.
Er stellt die folgenden Begehren:
"1. Das Urteil des Rekursgerichts im Ausländerrecht
des Kantons Aargau vom 6. April 2001 sei aufzuheben.
2. Es sei neu wie folgt zu entscheiden:
a.) Von einer Ausweisung des Beschwerdeführers
sei abzusehen.
b.) Der Beschwerdeführer sei zu verwarnen, und
es sei ihm die Ausweisung anzudrohen.
Unter Kosten- und Entschädigungsfolgen.. "
E.- Das Rekursgericht und die Fremdenpolizei des Kantons Aargau sowie das Bundesamt für Ausländerfragen schliessen auf Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Gegen kantonal letztinstanzliche Ausweisungsverfügungen steht gemäss Art. 97 Abs. 1 OG die Verwaltungsgerichtsbeschwerde an das Bundesgericht offen. Ein Ausschlussgrund im Sinne der Art. 99 - 102 OG liegt nicht vor; insbesondere fällt die Ausweisung nicht unter die in Art. 100 Abs. 1 lit. b OG genannten, von der Verwaltungsgerichtsbeschwerde ausgenommenen Verfügungen, sofern sie - wie im vorliegenden Fall - gestützt auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) angeordnet worden ist (Art. 100 Abs. 1 lit. b Ziff. 4 OG e contrario; <ref-ruling> E. 1a S. 2). Der von der Ausweisung direkt betroffene Beschwerdeführer ist zur Beschwerde legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist demnach einzutreten.
2.- a) Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde.
Laut Art. 11 Abs. 3 ANAG soll die Ausweisung jedoch nur verfügt werden, wenn sie nach den gesamten Umständen angemessen erscheint. Hiebei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Ob sich die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV als "angemessen", d.h. verhältnismässig, erweist (<ref-ruling> E. 2a S. 107, 521 E. 2a S. 523; <ref-ruling> E. 2a S. 4; <ref-ruling> E. 1b S. 2), ist eine Rechtsfrage, die vom Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüft werden kann (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b S. 356 f.) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107, 521 E. 2a S. 523, mit Hinweisen). Das Bundesgericht ist an die Sachverhaltsfeststellung der Vorinstanz gebunden, wenn - wie hier - eine richterliche Behörde entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt hat (Art. 105 Abs. 2OG).
3.- Der Beschwerdeführer wurde wegen eines Verbrechens gerichtlich bestraft. Der Ausweisungsgrund des Art. 10 Abs. 1 lit. a ANAG ist damit gegeben. Der Beschwerdeführer macht aber geltend, die Ausweisung sei nicht im Sinne von Art. 11 Abs. 3 ANAG angemessen.
a) Der Beschwerdeführer wurde zu Zuchthaus, das heisst zur schwersten Freiheitsstrafe (<ref-law>), verurteilt. Im Strafurteil wird sein Verschulden als erheblich eingestuft: Er habe vorsätzlich und ohne jeglichen Anlass in schwerwiegender Weise gegen das Betäubungsmittelgesetz verstossen. Straferhöhend berücksichtigte das Obergericht, dass er den qualifizierten Tatbestand nicht nur mengenmässig erfüllt, sondern zudem - wenn auch in untergeordneter Funktion - bandenmässig gehandelt hatte. Auch habe er, ohne selber Drogenkonsument zu sein, aus rein egoistischen Motiven gehandelt, um möglichst rasch viel Geld zu verdienen; es handle sich bei ihm um einen skrupellosen Täter, der auf Kosten der Gesundheit anderer seine finanzielle Situation habe verbessern wollen (Strafurteil S. 28/29).
Zu Recht hat demnach die Vorinstanz das Verschulden des Beschwerdeführers als schwer erachtet und das öffentliche Interesse an der Ausweisung bejaht.
b) Anderseits ist zu berücksichtigen, dass der Beschwerdeführer sich schon lange in der Schweiz aufhält und hier nun seit mehreren Jahren mit seiner Familie die Niederlassungsbewilligung hat. Sein privates Interesse, in der Schweiz bleiben zu können, ist damit entsprechend gross.
Noch schwerer dürfte es der Ehefrau und den Kindern - von denen drei allerdings bereits volljährig sind - fallen, in die Heimat zurückzukehren. In Verbindung mit seinen sprachlichen Fähigkeiten hat das Rekursgericht den Beschwerdeführer zwar als integriert bezeichnet, dies in der Folge dann jedoch wieder relativiert: Auf den Vorhalt, er verkehre grösstenteils mit Landsleuten und sei vom persönlichen Umfeld her kaum integriert, hat er keine konkreten Angaben, die vom Gegenteil zu überzeugen vermögen, gemacht.
c) Bei der Abwägung der widerstreitenden Interessen fällt u.a. ins Gewicht, dass der Beschwerdeführer Glied einer weit verzweigten kriminellen Organisation war, weshalb sich eine Ausweisung auch aus generalpräventiven Gründen aufdrängt. Zwar haben die Strafbehörden den Beschwerdeführer aus dem Strafvollzug bedingt entlassen und die Landesverweisung probeweise aufgeschoben, dies steht der fremdenpolizeilichen Ausweisung nach Art. 10 Abs. 1 lit. a ANAG indes nicht entgegen (<ref-ruling> E. 3a S. 3 f.; <ref-ruling> E. 2b S. 435; <ref-ruling> E. 2b S. 107), sind doch die Voraussetzungen für die beiden Entfernungsmassnahmen nicht identisch.
So ist für den Entscheid über die Gewährung des bedingten Vollzugs einer strafrechtlichen Landesverweisung auf die Prognose hinsichtlich eines künftigen Wohlverhaltens des Ausländers in der Schweiz (vgl. <ref-law>; <ref-ruling> E. 4a S. 111 f.) und für denjenigen über den probeweisen Aufschub nach <ref-law> auf die Resozialisierungschancen abzustellen, wobei regelmässig die Aussichten auf Wiedereingliederung in der Schweiz denjenigen im Heimatland gegenüberzustellen sind (vgl. <ref-ruling> E. 3a S. 59 f., mit Hinweisen). Demgegenüber steht für den Entscheid über die fremdenpolizeiliche Ausweisung das allgemeine Interesse der öffentlichen Ordnung und Sicherheit im Vordergrund (<ref-ruling> E. 2c S. 110). Der konkreten Prognose über das Wohlverhalten sowie dem Resozialisierungsgedanken des Strafrechts ist zwar im Rahmen der umfassenden fremdenpolizeilichen Interessenabwägung ebenfalls Rechnung zu tragen, die beiden Umstände geben aber nicht den Ausschlag (<ref-ruling> E. 2c S. 110; <ref-ruling> E. 2b S. 435 f. sowie die dort zitierte weitere Rechtsprechung und Literatur). Auch sind die Prognosen der Strafbehörden für die Fremdenpolizeibehörden nicht bindend. Nicht zu beanstanden, ist die Folgerung des Rekursgerichts, die Resozialisierung des Beschwerdeführers sei auch in seiner Heimat möglich. Nach den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz (vgl. Art. 105 Abs. 2 OG) verfügt der Beschwerdeführer nicht über besondere berufliche Kenntnisse, die er nur in der Schweiz verwerten könnte; abgesehen von seinen vornehmlich mit Landsleuten gepflegten sozialen Kontakten, leben in der Heimat noch seine Eltern und die Mehrzahl seiner Geschwister; er hat sich dort auch bis weit ins Erwachsenenalter hinein aufgehalten; ihm sind daher die kulturellen und gesellschaftlichen Gepflogenheiten seiner Heimat bekannt.
In Würdigung aller Umstände erweist sich die vom Rekursgericht bestätigte Ausweisung als verhältnismässig, auch wenn sie den Beschwerdeführer und insbesondere dessen Angehörige hart treffen mag. Der Beschwerdeführer hat in schwerwiegender Weise gegen die öffentliche Ordnung verstossen und zur Gesundheitsschädigung Dritter beigetragen.
Wie das Obergericht im Strafurteil festgehalten hat, be-stand für den - übrigens bereits durch Vorstrafen gewarn-ten - Beschwerdeführer, der wie auch seine Ehefrau eine feste Arbeitsstelle hatte, überhaupt "kein Anlass, in den Drogenhandel einzusteigen" (S. 29). Er hat es trotzdem und ohne Rücksicht auf seine Familie getan und muss nun entsprechend die Konsequenzen der gegenüber Drogenhändlern zu Recht strengen Praxis der Fremdenpolizeibehörden tragen. Das Interesse an der Fernhaltung von Ausländern, die an der Verbreitung von Drogen teilnehmen, ist als überaus gewichtig zu beurteilen (vgl. auch Urteil des Europäischen Gerichtshofs für Menschenrechte vom 19. Februar 1998 i.S. Dalia, PCourEDH 1998 S. 76). Selbst allfällige bessere Chancen einer Resozialisierung des Beschwerdeführers in der Schweiz führen hiebei nicht zu einem anderen Ergebnis.
4.- Die Ausweisung des Beschwerdeführers verletzt auch nicht Art. 8 der Konvention vom 4. November 1950 zum Schutze der Menschenrechte und Grundfreiheiten (Europäische Menschenrechtskonvention, EMRK; SR 0.101), der den Schutz des Familien- und Privatlebens garantiert und auf den sich der Beschwerdeführer berufen kann (vgl. <ref-ruling> E. 1d/aa S. 64, mit Hinweisen). Der Eingriff in das Recht auf Achtung des Privat- und Familienlebens ist nämlich vorliegend gemäss Ziff. 2 dieser Bestimmung gerechtfertigt: Er stützt sich auf Art. 10 ANAG und verfügt damit über eine gesetzliche Grundlage im Landesrecht. Er bezweckt die Aufrechterhaltung der hiesigen Ordnung sowie die Verhinderung weiterer strafbarer Handlungen und verfolgt damit öffentliche Interessen, die in Art. 8 Ziff. 2 EMRK ausdrücklich genannt sind; schliesslich ist der Eingriff nach dem Gesagten (E. 3) auch verhältnismässig (vgl. <ref-ruling> E. 5 S. 529 und erwähntes Urteil des EuGMR vom 19. Februar 1998). Der ebenfalls das Privat- und Familienleben schützende <ref-law> gewährt in diesem Zusammenhang keine weiter gehenden Rechte (<ref-ruling> E. 7 S. 394).
5.- Die Verwaltungsgerichtsbeschwerde erweist sich demnach als unbegründet. Dementsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1, 153 und 153a OG). Parteientschädigungen sind nicht geschuldet (vgl. Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 13. Juli 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: