Aufenthaltsbewilligung, hat sich ergeben:
A.- Die jugoslawische Staatsangehörige A._ liess sich im Jahre 1990 in Jugoslawien von ihrem Ehemann B._ scheiden und erhielt das Sorgerecht für den aus dieser Ehe hervorgegangenen (damals) rund vierjährigen Sohn C._, geb. 1986, zugesprochen. B._ heiratete am 28. Februar 1992 in Freiburg (Deutschland) die im Kanton Basel-Stadt aufenthaltsberechtigte Schwester von A._ und erhielt in der Folge die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau in der Schweiz. Mit Urteil des Amtsgerichts Kragujevac vom 24. April 1992 liess er sich das Sorgerecht für den Sohn C._ übertragen, worauf dieser ebenfalls in die Schweiz nachreiste. Am 19. Juli 1993 heiratete A._ ihrerseits den Schweizer Bürger D._, worauf ihr die Fremdenpolizei des Kantons Basel-Stadt die Aufenthaltsbewilligung zum Zwecke des Verbleibs beim Ehegatten erteilte, welche letztmals bis zum 12. Juli 1998 verlängert wurde.
B.- Mit Verfügung vom 7. November 1997 widerrief die Fremdenpolizei des Kantons Basel-Stadt die Aufenthaltsbewilligung, im Wesentlichen mit der Begründung, A._ wohne seit längerer Zeit nicht mehr mit ihrem Ehemann, sondern mit dem früheren Ehegatten B._ sowie dem gemeinsamen Sohn C._ zusammen. Es sei rechtsmissbräuchlich, wenn sie sich für ihre Aufenthaltsbewilligung weiterhin auf die Ehe mit D._ berufe.
Einen Rekurs gegen diese Verfügung wies das Polizei- und Militärdepartement des Kantons Basel-Stadt am 3. November 2000 ab, und auch eine dagegen erhobene Beschwerde beim Appellationsgericht des Kantons Basel-Stadt blieb erfolglos (Urteil vom 21. Juni 2001).
C.- A._ hat mit Eingabe vom 6. August 2001 gegen das Urteil des Appellationsgerichts Verwaltungsgerichtsbeschwerde an das Bundesgericht eingereicht. Sie beantragt, das angefochtene Urteil aufzuheben und die Aufenthaltsbewilligung zu verlängern. Ein zunächst gestelltes Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wurde am 2. Oktober 2001 wieder zurückgezogen.
Das Polizei- und Militärdepartement sowie das Appellationsgericht des Kantons Basel-Stadt verweisen je auf ihre Entscheide und verzichten auf eine ausführliche Stellungnahme.
Das Bundesamt für Ausländerfragen beantragt die Abweisung der Verwaltungsgerichtsbeschwerde mit dem kurzen Hinweis, das Festhalten an der Ehe sei missbräuchlich.

Das Bundesgericht zieht in Erwägung:
1.- a) Auf dem Gebiete der Fremdenpolizei ist die Verwaltungsgerichtsbeschwerde unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt (Art. 100 Abs. 1 lit. b Ziff. 3 OG). Gemäss Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt oder Niederlassung. Der Ausländer hat damit grundsätzlich keinen Anspruch auf Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung, es sei denn, er könne sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen, die ihm einen Anspruch auf eine solche Bewilligung einräumt (<ref-ruling> E. 1a, mit Hinweisen).
b) Nach Art. 7 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Abs. 1 erster Satz); nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er Anspruch auf die Niederlassungsbewilligung (Abs. 1 zweiter Satz); der Anspruch erlischt, wenn ein Ausweisungsgrund vorliegt (Abs. 1 dritter Satz). Kein Anspruch besteht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen (Abs. 2). Im Zusammenhang mit der Eintretensfrage ist aber einzig darauf abzustellen, ob formell eine eheliche Beziehung besteht; anders als bei Art. 8 EMRK ist nicht erforderlich, dass die Ehe intakt ist und tatsächlich gelebt wird (<ref-ruling> E. 1b, mit Hinweisen). Die Frage, ob die Bewilligung zu verweigern sei, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1b; <ref-ruling> E. 2b; <ref-ruling> E. 1d, mit Hinweisen).
c) Die Beschwerdeführerin ist mit einem Schweizer verheiratet. Auf die Verwaltungsgerichtsbeschwerde ist mithin einzutreten, unbesehen darum, ob die eheliche Beziehung tatsächlich gelebt wird oder nicht.
2.- a) Nach Art. 7 Abs. 2 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers dann keinen Anspruch auf die ihm nach Abs. 1 dieser Bestimmung grundsätzlich zustehende Bewilligungserteilung, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen. Erfasst wird davon insbesondere die so genannte Scheinehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen (<ref-ruling> E. 4a, mit Hinweisen).
b) Vorliegend bestehen Anhaltspunkte, dass die Ehe zwischen der Beschwerdeführerin und ihrem Schweizer Ehemann ausschliesslich deshalb eingegangen worden sein könnte, um der Beschwerdeführerin ein Anwesenheitsrecht in der Schweiz zu verschaffen. Die Beschwerdeführerin war zuvor mit einem Landsmann verheiratet, von dem sie sich hat scheiden lassen.
Dieser ehemalige Ehemann seinerseits hat nach der Scheidung die in der Schweiz wohnhafte Schwester der Beschwerdeführerin geheiratet, was ihm ermöglicht hat, in der Schweiz eine Aufenthaltsbewilligung zu erhalten. Die entsprechende Ehe wurde, wie sich den Akten entnehmen lässt, im Jahre 1997 ebenfalls wieder geschieden. Die Beschwerdeführerin und ihr jetziger Ehemann haben seit längerer Zeit getrennten Wohnsitz, wenngleich sie erklären, ihre Beziehung, wenn auch locker, aufrechterhalten zu haben. Die Beschwerdeführerin ihrerseits hat sich häufig in der von ihrem früheren Ehemann und dem gemeinsamen Sohn bewohnten Wohnung aufgehalten, derart, dass verschiedene Personen der Meinung waren, sie lebten als Familie zusammen. Die kantonalen Behörden haben allerdings darauf verzichtet, weitere Abklärungen zu treffen; sie haben namentlich weder die Beteiligten befragt noch bezüglich der Ehe des früheren Ehemannes mit der Schwester der Beschwerdeführerin eine nähere Überprüfung vorgenommen.
Im angefochtenen Urteil hält das Appellationsgericht denn auch fest, dass trotz gewisser Hinweise eine Scheinehe nicht nachgewiesen sei, wovon im Übrigen auch die kantonale Verwaltung ausgeht.
3.- a) Auch wenn die Ehe nicht bloss zum Schein eingegangen worden ist, bedeutet dies nach der Rechtsprechung nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist, ob sich die Berufung auf die Ehe nicht als rechtsmissbräuchlich erweist. Rechtsmissbrauch liegt insbesondere dann vor, wenn ein Rechtsinstitut zweckwidrig zur Verwirklichung von Interessen verwendet wird, die dieses Rechtsinstitut nicht schützen will (<ref-ruling> E. 5a S. 56; <ref-ruling> E. 3b S. 375; <ref-ruling> E. 4 S. 103; <ref-ruling> E. 3a S. 336 f.; <ref-ruling> E. 4 S. 667). Rechtsmissbrauch darf aber nicht leichthin angenommen werden, im vorliegenden Zusammenhang namentlich nicht schon deshalb, weil die Ehegatten nicht mehr zusammen leben oder ein Eheschutz- oder Scheidungsverfahren eingeleitet worden ist, zumal der Gesetzgeber in Art. 7 ANAG bewusst darauf verzichtet hat, die Erteilung der Aufenthaltsbewilligung vom ehelichen Zusammenleben abhängig zu machen (<ref-ruling> E. 5a S. 56; <ref-ruling> E. 2 und 4a S. 100 f. bzw. 103; ausführlich: <ref-ruling> E. 3 S. 149 ff). Rechtsmissbrauch liegt aber immerhin dann vor, wenn der ausländische Ehegatte sich auf eine Ehe beruft, die nur noch formell aufrechterhalten wird mit dem einzigen Ziel, die Aufenthaltsbewilligung erhältlich zu machen (<ref-ruling> E. 5a S. 56; <ref-ruling> E. 4a am Ende S. 104).
b) Das Appellationsgericht nimmt an, die Ehe werde nur noch aus fremdenpolizeilichen Gründen aufrechterhalten, weshalb Rechtsmissbrauch gegeben sei. Die Zweifel an der Echtheit der ehelichen Beziehung beruhen teilweise darauf, dass die Beschwerdeführerin und ihr früherer Ehemann sich lediglich zum Schein geschieden haben könnten, um sich mit Personen zu verheiraten, welche in der Schweiz über ein Anwesenheitsrecht verfügen, und um so ihre Beziehung in der Schweiz leben zu können. Damit wird zwar auf die These der Scheinehe zurückgegriffen, wofür, wie dargelegt, die Beweise nicht ausreichen. Das ist aber nicht unzulässig, wenn weitere Indizien hinzu kommen. Genügt die Beweislage für die Annahme einer Scheinehe ab initio nicht, schliesst dies nicht aus, dass unter Berücksichtigung späterer Ereignisse eine - erst nachträglich eingetretene - rechtsmissbräuchliche Berufung auf die Ehe angenommen wird.
Im vorliegenden Fall weist die spätere Entwicklung denn auch deutlich in diese Richtung. Wohl bewegen sich die Sachverhaltsabklärungen der kantonalen Behörden an der unteren Grenze. Sie erscheinen jedoch noch nicht als ungenügend.
Dementsprechend ist es dem Bundesgericht verwehrt, im Sinne von Art. 105 Abs. 2 OG von der Unvollständigkeit der Sachverhaltsfeststellungen der Vorinstanz auszugehen. Da die Beschwerdeführerin sodann nicht einmal versucht, im Detail aufzuzeigen, weshalb die Schlüsse der Vorinstanz völlig falsch sein sollten, und da dafür ebenfalls keine Hinweise bestehen, ist das Bundesgericht auch inhaltlich an die tatsächlichen Feststellungen des Verwaltungsgerichts gebunden (vgl. Art. 105 Abs. 2 OG sowie eingehend BGE <ref-ruling> E. 1c).
c) Die Beschwerdeführerin und ihr Ehemann haben 1993 geheiratet und später, nach einer gewissen Zeit des Zusammenlebens, getrennte Wohnungen bezogen. Zu welchem Zeitpunkt steht nicht fest. Jedenfalls hat die Beschwerdeführerin selbst im September 1995 ihrer Arbeitgeberin den Wohnsitz ihrer Eltern als ihre Wohnadresse angegeben. Nach der Darstellung des Ehemannes haben sie sich im Dezember 1996 getrennt, was die Beschwerdeführerin bestätigt, wobei sie aber bei ihrer Befragung im Oktober 1997 festhielt, dass sie ihren Mann noch liebe und sie sich immer wieder sähen. Fest steht ferner, dass die Beschwerdeführerin - jedenfalls zeitweise - zusammen mit ihrem früheren Mann und dem gemeinsamen Sohn lebte, wie die Abklärungen der Einwohnerdienste im August 1997 ergeben haben. Am 30. Januar 2001 hat die Beschwerdeführerin gemeinsam mit ihrem heutigen Ehemann einen Mietvertrag über eine Wohnung abgeschlossen.
Der Ehemann, der als Wirt tätig ist, hält dazu fest, dass er seine Frau liebe, aus beruflichen Gründen behalte er aber auch seine bisherige Wohnung bei. Dies und der Umstand, dass der neue Mietvertrag abgeschlossen wurde, kurz nachdem die Beschwerdeführerin beim Verwaltungsgericht Beschwerde erhoben hatte (Anmeldung der Beschwerde am 13. November 2000, Einreichung der Beschwerdebegründung am 24. Januar 2001, Abschluss des Mietvertrags am 30. Januar 2001), lassen erheblich daran zweifeln, dass wirklich die Wiederaufnahme der ehelichen Wohngemeinschaft bezweckt war. Immerhin scheinen sich die Beschwerdeführerin und ihr Ehemann auch heute noch recht gut zu verstehen.
Werden alle Gegebenheiten in Betracht gezogen und insgesamt abgewogen, erweist sich der Schluss als zulässig, die Beschwerdeführerin berufe sich rechtsmissbräuchlich auf die Ehe mit einem Schweizer. Die Beschwerdeführerin kann nicht mit ihrem ehemaligen Ehemann ein enges eheähnliches Verhältnis unterhalten und gleichzeitig eine Aufenthaltsbewilligung zur Fortsetzung der lediglich formellen Ehe mit ihrem jetzigen Ehemann verlangen, zu dem sie in keiner echten ehelichen Beziehung steht. Allenfalls freundschaftliche Kontakte genügen für einen Anspruch auf Aufenthaltsbewilligung gemäss Art. 7 ANAG, der sich eben aus ehelichen und nicht aus sonstigen Beziehungen ableitet, nicht.
d) Der Umstand, dass sich die Beschwerdeführerin missbräuchlich auf die Ehe zu ihrem Schweizer Ehegatten beruft, hat an sich nicht zwingend zur Folge, dass die Bewilligung verweigert werden muss. Die kantonalen Behörden hätten die Bewilligung trotz Fehlens eines Anspruchs gestützt auf ihr Ermessen nach Art. 4 ANAG verlängern können, etwa im Hinblick auf den hier beim ehemaligen Ehemann lebenden und anwesenheitsberechtigten Sohn der Beschwerdeführerin.
Da dieser lediglich über eine Aufenthaltsbewilligung ohne Anspruch auf Verlängerung und damit nicht über ein gefestigtes Anwesenheitsrecht verfügt, lässt sich aus dessen Anwesenheit indessen nicht gestützt auf Art. 8 EMRK ein Bewilligungsanspruch für die Mutter ableiten (<ref-ruling> E. 1; <ref-ruling> E. 2a, mit Hinweisen). Im Übrigen war der Sohn bereits im Zeitpunkt des angefochtenen Urteils über 15 Jahre alt, womit er sich der Grenze von 18 Jahren für ein ordentliches Familiennachzugsgesuch nähert (vgl. Art. 17 Abs. 2 dritter Satz ANAG) und nicht mehr unbedingt auf eine besondere Betreuung durch die Mutter angewiesen ist; ohnehin lebt er seit rund neun Jahren bei seinem Vater, dem auch das elterliche Sorgerecht zusteht. So oder so waren die kantonalen Behörden jedoch nicht zu einer Bewilligungserteilung an die Beschwerdeführerin wegen ihrer Beziehung zum Sohn verpflichtet, weshalb insofern eine Überprüfung der Bewilligungsverweigerung durch das Bundesgericht ausgeschlossen ist (Art. 100 Abs. 1 lit. b Ziff. 3 OG).
e) Die Nichtverlängerung der Bewilligung hält damit vor Bundesrecht stand.
4.- Die Verwaltungsgerichtsbeschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird die Beschwerdeführerin kostenpflichtig (Art. 156 Abs. 1, Art 153 und 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 1'500.-- wird der Beschwerdeführerin auferlegt.
3.- Dieses Urteil wird der Beschwerdeführerin, dem Polizei- und Militärdepartement und dem Appellationsgericht des Kantons Basel-Stadt sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 12. Dezember 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: