Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus der Bundesrepublik Jugoslawien (Kosovo) stammende X._ (geb. 1969) kam 1992 als Asylsuchender in die Schweiz. Am 15. Mai 1993 heiratete er die Schweizer Bürgerin Y._ (geb. 1964), worauf ihm eine Aufenthaltsbewilligung zum Verbleib bei dieser erteilt wurde.
Am 19. März 1998 verhaftete die Stadtpolizei Zürich X._ im Zusammenhang mit dem Transport von rund 5 Kilogramm Heroin (Reinheitsgrad: 55 %). Das Bezirksgericht Zürich verurteilte ihn hierfür am 25. Februar 1999 zu einer Zuchthausstrafe von dreieinviertel Jahren.
Am 29. März 2000 gebar Y._ den Sohn Z._. X._ wurde am 18. Mai 2000 bedingt aus dem Strafvollzug entlassen.
B.- Die Direktion für Soziales und Sicherheit des Kantons Zürich verfügte am 25. Juni 1999, dass die Aufenthaltsbewilligung von X._ nicht verlängert werde und er nach Entlassung aus dem Strafvollzug das Kantonsgebiet zu verlassen habe. Der Regierungsrat des Kantons Zürich bestätigte diesen Entscheid auf Rekurs hin am 22. November 2000.
Das Verwaltungsgericht des Kantons Zürich wies die hiergegen gerichtete Beschwerde am 9. Mai 2001 mit der Begründung ab, dass die Gesamtwürdigung der Verhältnisse den Schluss des Regierungsrats, wonach die privaten Interessen an einer Erteilung der Aufenthaltsbewilligung hinter die öffentlichen an einer Fernhaltung zurückzutreten hätten, "gerade noch als vertretbar" erscheinen lasse.
C.- X._ hat hiergegen am 21. Juni 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben und ihm weiterhin eine Aufenthaltsbewilligung im Kanton Zürich zu erteilen. Die Nichtverlängerung der Aufenthaltsbewilligung stelle einen unzulässigen Eingriff in sein durch Art. 8 EMRK geschütztes Recht auf Familienleben dar.
Die Staatskanzlei (für den Regierungsrat) und das Verwaltungsgericht des Kantons Zürich beantragen, die Beschwerde abzuweisen bzw. abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen regt an, "das Verfahren an die Vorinstanz zur nochmaligen Beurteilung unter Berücksichtigung des Entscheides des Europäischen Gerichtshofs für Menschenrechte vom 2. August 2001 [in Sachen Boultif] zurückzuweisen".

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 7 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers grundsätzlich Anspruch auf Erteilung und Verlängerung seiner Aufenthaltsbewilligung. Das Gleiche ergibt sich aus dem in Art. 8 Ziff. 1 EMRK (bzw. <ref-law>) garantierten Schutz des Familienlebens, wenn die Beziehung zum Ehegatten bzw. zum hier über ein gefestigtes Anwesenheitsrecht verfügenden Kind tatsächlich gelebt wird (<ref-ruling> ff.; <ref-ruling> E. 1c S. 292).
b) Der Beschwerdeführer ist mit einer Schweizerin verheiratet, wobei ihre Beziehung intakt ist. Er kann sich für die Erneuerung der verlangten Aufenthaltsbewilligung damit sowohl auf Art. 7 ANAG als auch auf Art. 8 EMRK berufen.
Ebenfalls unter den Schutzbereich dieser Bestimmung fällt die Beziehung zu seinem Sohn Z._. Auf die Verwaltungsgerichtsbeschwerde ist deshalb einzutreten (vgl.
Art. 100 Abs. 1 lit. b Ziff. 3 OG in Verbindung mit Art. 4 ANAG). Ob die Bewilligung verweigert werden durfte, weil einer der in Art. 7 ANAG vorbehaltenen Ausnahmetatbestände vorliegt, bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1 S. 8; <ref-ruling> E. 1b S. 266, mit Hinweisen).
2.- a) Der Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung gemäss Art. 7 Abs. 1 ANAG erlischt, falls ein Ausweisungsgrund vorliegt. Gemäss Art. 10 Abs. 1 lit. a ANAG ist dies der Fall, wenn der Ausländer wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde. Die Ausweisung soll aber nur angeordnet werden, wenn sie nach den gesamten Umständen verhältnismässig erscheint (Art. 11 Abs. 3 ANAG). Dabei ist namentlich auf die Schwere des Verschuldens, auf die Dauer der Anwesenheit in der Schweiz sowie auf die dem Betroffenen und seiner Familie drohenden Nachteile abzustellen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV; SR 142. 201]).
b) Die Nichterneuerung einer Aufenthaltsbewilligung des wegen eines Verbrechens oder Vergehens verurteilten ausländischen Ehegatten eines Schweizer Bürgers setzt ebenfalls eine derartige Interessenabwägung voraus. Dies ergibt sich einerseits aus dem Verweis in Art. 7 Abs. 1 ANAG auf den Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG und andererseits aus Art. 8 EMRK. Danach ist ein Eingriff in das Rechtsgut des Familienlebens (Ziff. 1) nur statthaft, falls er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutze der Gesundheit und Moral sowie der Rechte und Freiheiten anderer notwendig erscheint (Ziff. 2). Der Anspruch auf Erteilung der Bewilligung gemäss Art. 7 Abs. 1 ANAG und Art. 8 EMRK erlischt deshalb nicht bereits, wenn ein Ausländer wegen eines Verbrechens oder Vergehens verurteilt worden ist, sondern bloss, wenn auch die Interessenabwägung ergibt, dass die Bewilligung verweigert werden muss (<ref-ruling> E. 4a S. 12 f., mit Hinweis).
3.- a) aa) Der Beschwerdeführer ist wegen des Transports von Betäubungsmitteln zu dreieinviertel Jahren Zuchthaus verurteilt worden. Nach der Rechtsprechung des Bundesgerichts ist Ausgangspunkt und Massstab für die fremdenpolizeiliche Interessenabwägung die vom Strafrichter verhängte Freiheitsstrafe. Bei einem mit einer Schweizerin verheirateten Ausländer, der erstmals um eine Bewilligung ersucht oder nach bloss kurzer Aufenthaltsdauer deren Erneuerung beantragt, nimmt die Rechtsprechung an, dass die Grenze, von der an in der Regel selbst dann keine Bewilligung mehr erteilt wird, wenn dem Ehepartner die Ausreise nur schwer zumutbar erscheint, bei einer Freiheitsstrafe von zwei Jahren liegt (<ref-ruling> E. 4b S. 14). Dabei handelt es sich zwar nicht um einen festen Wert; es bedarf jedoch besonderer Umstände, wenn die Bewilligung trotz einer höheren Strafe erteilt oder erneuert werden soll. Dabei ist im Einzelfall zu entscheiden, ob das öffentliche (Sicherheits-)Interesse an der Fernhaltung oder das private Interesse des Betroffenen, mit seiner Familie hier leben zu können, vorzugehen hat.
bb) Der Europäische Gerichtshof für Menschenrechte stellt seinerseits bei der Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK auf die Schwere des begangenen Delikts, auf den seit der Tat vergangenen Zeitraum, auf das Verhalten des Ausländers während dieser Periode, auf die Staatsangehörigkeit der betroffenen Personen sowie auf deren familiäre Situation ab. Er berücksichtigt zudem die Dauer der ehelichen Beziehung und weitere Gesichtspunkte, welche Rückschlüsse auf deren Intensität zulassen (Geburt und Alter allfälliger Kinder; Kenntnis der Tatsache, dass die Beziehung wegen der Straftat unter Umständen nicht im entsprechenden Land gelebt werden könnte usw.), sowie die Nachteile, welche dem Ehepartner erwachsen würden, müsste er dem Betroffenen in dessen Heimatstaat nachfolgen. Allein die Tatsache, dass der Nachzug mit gewissen Schwierigkeiten verbunden ist, schliesst eine Ausweisung bzw. Nichterneuerung der Bewilligung noch nicht aus (Urteil des Europäischen Gerichtshofs für Menschenrechte vom 2. August 2001 i.S. Boultif c. Schweiz, Rz. 48).
b) Die dem Beschwerdeführer auferlegte Strafe überschreitet den vom Bundesgericht entwickelten Richtwert von zwei Jahren deutlich, auch wenn dieser hier etwas zu relativieren ist, da sich der Beschwerdeführer bei Tatbegehung bereits seit rund sechs Jahren in der Schweiz aufhielt und seine Anwesenheit deshalb nicht mehr als kurz bezeichnet werden kann. Die von ihm begangene Straftat wiegt schwer:
Der Beschwerdeführer wurde schuldig erkannt, zusammen mit einem Landsmann rund 4,8 kg Heroin mit einem Reinheitsgrad von 55 % von Luzern nach Zürich transportiert zu haben. Das Bezirksgericht Zürich hat sein Verschulden als "noch etwas schwerer" als jenes seines Mittäters bezeichnet, welches es seinerseits als "zwischen nicht mehr leicht und eher schwer" einstufte. Als Drogentransporteur habe der selbst nicht drogenabhängige Beschwerdeführer in der Hierarchie der Organisation, die hinter dem Transport stand, zwar eine eher bescheidene Rolle gespielt, doch habe er zu seinem Auftraggeber in einem Vertrauensverhältnis gestanden, da ihm dieser eine Heroinmenge mit beachtlichem Marktwert anvertraut habe.
Zu Lasten des Beschwerdeführers falle weiter ins Gewicht, dass er für die Abwicklung des Transports an einen anderen Kollegen herangetreten sei; zudem habe er sich in keiner finanziellen Notlage befunden, da er Arbeitslosengelder von Fr. 2'700.-- monatlich bezogen und seine Ehefrau über ein Einkommen von rund Fr. 6'000.-- verfügt habe. Schulden hätten sie keine gehabt. Mit dem Drogentransport habe er rund Fr. 3'000.-- - 5'000.-- für die Eröffnung eines Lebensmittelgeschäfts hinzuverdienen wollen. Gestützt hierauf besteht an der Fernhaltung des Beschwerdeführers ein gewichtiges öffentliches Interesse. Das Bundesgericht wie der Europäische Gerichtshof für Menschenrechte verfolgen bei Straftaten der vorliegenden Art im Kampf gegen den Betäubungsmittelhandel wegen der davon ausgehenden Gefährdung für eine Grosszahl von Personen grundsätzlich eine strenge Praxis (<ref-ruling> E. 4a S. 527; jüngst bestätigt im unveröffentlichten Entscheid vom 17. September 2001 i.S. Perforvi, E. 3b; Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in: RDAF 1997 I 267 S. 308, mit Hinweisen; Urteil vom 19. Februar 1998 i.S. Dalia c.
France, Rz. 54; PCourEDH 1998 76).
c) Von dieser abzuweichen, besteht hier keine Veranlassung:
aa) Der Beschwerdeführer lebte bis zu seinem
23. Altersjahr in Jugoslawien, wo er zuletzt im elterlichen Betrieb als Landwirt tätig war. Auch wenn sich seine Mutter und zwei Geschwister heute in Albanien aufhalten und er von seinem Vater bzw. seinen weiteren Geschwistern nichts mehr gehört hat, ist ihm eine Rückkehr nach Jugoslawien dennoch zumutbar. Er hat den Kontakt mit seinem Heimatland und seinen Angehörigen nie abgebrochen. Bis 1997 besuchte er diese jeweils einmal jährlich, seither bestehen telefonische Kontakte.
Zu seiner angeheirateten Familie unterhält er zwar gute Beziehungen, was etwa die Tatsache belegt, dass er auch von den Eltern und den Schwestern seiner Frau im Strafvollzug besucht wurde. Einen eigenen Freundeskreis hat er sich aber nach eigenen Angaben hier nicht aufgebaut. Wie die Verurteilung nahelegt (gemeinsamer Drogentransport mit einem jugoslawischen Kollegen für einen jugoslawischen Drogenring), beschränken sich seine Kontakte im Wesentlichen auf solche zu Landsleuten. Im Strafvollzug war der Beschwerdeführer in der Landwirtschaft tätig, was ihm in seinem Heimatland zugute kommen und seine Umsiedlung erleichtern kann.
bb) Unbestrittenermassen dürfte die Pflicht zur Rückkehr die Ehefrau des Beschwerdeführers schwer treffen:
Sie hat mit ihm bis zu seiner Verhaftung ein intaktes Familienleben geführt und ihn auch während des Strafvollzugs regelmässig besucht. Bis zur Geburt des Sohnes Z._ war sie in guter Stellung erwerbstätig; nach eigenen Angaben ist sie der im Heimatland ihres Ehemanns üblichen Sprachen nicht mächtig, weshalb sie ein Leben dort - ohne Berufsaussichten sowie ohne "Rechte und Pflichten" als Frau - kategorisch ausschliesst. Umgekehrt ist sie aufgrund ihrer Tätigkeit als Sozialarbeiterin im Asylwesen mit den Verhältnissen im Heimatland ihres Ehemanns doch nicht ganz unvertraut.
Zwar hat sie erklärt, keinen Kontakt zur Familie ihres Mannes zu unterhalten; dieser hat aber seinerseits am 15. Juni 1999 zu Protokoll gegeben, dass sie seine Mutter nach deren Flucht in Albanien besucht habe, was darauf hinweist, dass doch gewisse Beziehungen und Kommunikationsmöglichkeiten bestehen. Hinsichtlich des Sohnes Z._ ist zu berücksichtigen, dass er sich noch in einem anpassungsfähigen Alter befindet und zudem zu einer Zeit gezeugt wurde, als die Ehegatten, wegen der Straftat des Beschwerdeführers, damit rechnen mussten, ihr Familienleben nicht hier leben zu können; dies wurde ihnen von der Fremdenpolizei bereits am 27. Oktober 1998 so in Aussicht gestellt.
cc) Wohl können familiäre Beziehungen dazu führen, dass von einer Ausweisung oder einer Nichtverlängerung der Aufenthaltsbewilligung abzusehen ist, auch wenn sich der Ausländer strafbar gemacht hat. Die Schwere des hier begangenen Delikts lässt eine solche Rücksichtnahme indessen nicht zu. Der Beschwerdeführer wurde im Frühjahr 1998 straffällig, seine Straftat liegt damit noch nicht sehr weit zurück.
Sein korrektes Verhalten und seine Integrationsbemühungen während des Strafvollzugs sind zwar positiv zu würdigen, doch ist dabei auch zu berücksichtigen, dass die bedingte Entlassung aus dem Strafvollzug anderen Massstäben und Kriterien folgt als die Entscheidung über die fremdenpolizeiliche Verweigerung der Aufenthaltsbewilligung. So stellt der Resozialisierungsgedanke aus fremdenpolizeilicher Sicht nur einen unter mehreren zu berücksichtigenden Faktoren dar (Urteil vom 13. Mai 1992 in ZBl 93/1992 S. 569 E. 2d). Wie sich aus den verschiedenen, in Art. 10 Abs. 1 ANAG genannten, bereits weit unterhalb der Schwelle strafbaren Verhaltens beginnenden Ausweisungsgründen ergibt, steht hier das Interesse der öffentlichen Ordnung und Sicherheit im Vordergrund. Es können daher bei der Prognose strengere Massstäbe angesetzt und einem Wohlverhalten in Un- oder Halbfreiheit geringere Bedeutung beigemessen werden (<ref-ruling> E. 3b S. 4/5). Dass der Beschwerdeführer im Strafvollzug zu keiner Kritik Anlass gegeben hat, ist ausländerrechtlich nicht (allein) ausschlaggebend (<ref-ruling> E. 2c S. 109 f.; <ref-ruling> E. 3b S. 4 f.); ebenso wenig vermag seine bedingte Entlassung wesentlich ins Gewicht zu fallen, bildet diese im schweizerischen Strafvollzug doch die Regel (<ref-ruling> ff.). Bei einem allzu starken Abstellen allein auf die seit der Tat verflossene - straflose und für irgendeine berufliche Tätigkeit genutzte - Zeit (inklusive Strafvollzug) würde die Bewilligungserneuerung umso wahrscheinlicher, je schwerer die Straftat war und je länger die ausgesprochene Strafe ausfiel, was nicht Sinn und Zweck von Art. 7 Abs. 1 ANAG entspricht.
dd) Zwar hat der Europäische Gerichtshof für Menschenrechte die Schweiz am 2. August 2001 wegen einer Verletzung von Art. 8 EMRK verurteilt, doch kann der damalige Fall mit dem vorliegenden nicht verglichen werden: Erfolgte hier eine Verurteilung zu 39 Monaten Zuchthaus, waren es dort lediglich 24 Monate. Zwar hielt sich der Beschwerdeführer - im Gegensatz zu jenem Fall, wo es im Übrigen nicht wie hier um ein qualifiziertes Drogendelikt ging - bereits längere Zeit in der Schweiz auf, bevor er straffällig wurde, doch ist umgekehrt nicht zu übersehen, dass ihn weder dies noch die Beziehung zu seiner schweizerischen Frau davon abhalten konnte, im Frühjahr 1998 ohne Not aus rein finanziellen Interessen im Rahmen eines jugoslawischen Drogenrings hier massiv straffällig zu werden.
4.- a) Unter Berücksichtigung sämtlicher Umstände und insbesondere der Tatsache, dass der Beschwerdeführer seine familiären Beziehungen im Rahmen besuchsweiser Aufenthalte weiter wird pflegen können, da er nicht ausgewiesen, sondern lediglich seine Bewilligung nicht erneuert wurde (vgl. <ref-ruling> E. 4a), verletzt der angefochtene Entscheid kein Bundesrecht (Art. 7 ANAG; Art. 8 EMRK). Die Beschwerde ist deshalb abzuweisen.
b) Dem Ausgang des Verfahrens entsprechend wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Parteientschädigungen sind nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 22. Oktober 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: