Aufenthaltsbewilligung, hat sich ergeben: A.- Die jugoslawische Staatsangehörige A._ liess sich im Jahre 1990 in Jugoslawien von ihrem Ehemann B._ scheiden und erhielt das Sorgerecht für den aus dieser Ehe hervorgegangenen (damals) rund vierjährigen Sohn C._, geb. 1986, zugesprochen. B._ heiratete am 28. Februar 1992 in Freiburg (Deutschland) die im Kanton Basel-Stadt aufenthaltsberechtigte Schwester von A._ und erhielt in der Folge die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau in der Schweiz. Mit Urteil des Amtsgerichts Kragujevac vom 24. April 1992 liess er sich das Sorgerecht für den Sohn C._ übertragen, worauf dieser ebenfalls in die Schweiz nachreiste. Am 19. Juli 1993 heiratete A._ ihrerseits den Schweizer Bürger D._, worauf ihr die Fremdenpolizei des Kantons Basel-Stadt die Aufenthaltsbewilligung zum Zwecke des Verbleibs beim Ehegatten erteilte, welche letztmals bis zum 12. Juli 1998 verlängert wurde. B.- Mit Verfügung vom 7. November 1997 widerrief die Fremdenpolizei des Kantons Basel-Stadt die Aufenthaltsbewilligung, im Wesentlichen mit der Begründung, A._ wohne seit längerer Zeit nicht mehr mit ihrem Ehemann, sondern mit dem früheren Ehegatten B._ sowie dem gemeinsamen Sohn C._ zusammen. Es sei rechtsmissbräuchlich, wenn sie sich für ihre Aufenthaltsbewilligung weiterhin auf die Ehe mit D._ berufe. Einen Rekurs gegen diese Verfügung wies das Polizei- und Militärdepartement des Kantons Basel-Stadt am 3. November 2000 ab, und auch eine dagegen erhobene Beschwerde beim Appellationsgericht des Kantons Basel-Stadt blieb erfolglos (Urteil vom 21. Juni 2001). C.- A._ hat mit Eingabe vom 6. August 2001 gegen das Urteil des Appellationsgerichts Verwaltungsgerichtsbeschwerde an das Bundesgericht eingereicht. Sie beantragt, das angefochtene Urteil aufzuheben und die Aufenthaltsbewilligung zu verlängern. Ein zunächst gestelltes Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wurde am 2. Oktober 2001 wieder zurückgezogen. Das Polizei- und Militärdepartement sowie das Appellationsgericht des Kantons Basel-Stadt verweisen je auf ihre Entscheide und verzichten auf eine ausführliche Stellungnahme. Das Bundesamt für Ausländerfragen beantragt die Abweisung der Verwaltungsgerichtsbeschwerde mit dem kurzen Hinweis, das Festhalten an der Ehe sei missbräuchlich.