wird festgestellt und in Erwägung gezogen:
1.- a) Der aus dem Kosovo stammende A._ (geb.
17. Februar 1979) reiste, nachdem er 1998 an der Grenze ein erstes Mal zurückgewiesen worden war, am 8. März 1999 in die Schweiz ein und ersuchte hier um Asyl. Am 26. November 1999 wies das Bundesamt für Flüchtlinge sein Gesuch ab und forderte ihn auf, die Schweiz bis zum 31. Mai 2000 zu verlassen.
Am 26. Mai 2000 heiratete er die Schweizerin B._ (geb.
19. Januar 1960). Die Fremdenpolizei des Kantons Thurgau lehnte es am 20. September/27. Oktober 2000 ab, A._ gestützt hierauf eine Aufenthaltsbewilligung zu erteilen, da es sich dabei um eine "Gefälligkeitsehe" handle.
b) Das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau bestätigten diesen Entscheid auf Beschwerde hin am 23. Januar bzw. 4. April 2001. Hiergegen haben die Eheleute am 20. Juli 2001 Verwaltungsgerichtsbeschwerde eingereicht. Das Departement für Justiz und Sicherheit, das Verwaltungsgericht sowie das Bundesamt für Ausländerfragen beantragen, diese abzuweisen.
c) Am 21. September 2001 teilten die Eheleute mit, dass sie tags zuvor eine Scheidungskonvention unterschrieben hätten, welche dem Bezirksgerichtspräsidium Frauenfeld eingereicht werde. Am 28. September 2001 bestätigten sie, dass an der beantragten Aufenthaltsbewilligung für den Ehemann kein Interesse mehr bestehe und das Verfahren deshalb insofern gegenstandslos erscheine. Sie seien aber nach wie vor überzeugt, ursprünglich eine echte Ehe eingegangen zu sein, weshalb an der Beurteilung der Eingabe wegen der "mittlerweile doch beträchtlichen Kostenfolgen der mehrinstanzlichen Verfahren" festgehalten werde.
2.- Die Beschwerdeführer stehen inzwischen in Scheidung und haben kein Interesse mehr an der Erteilung der Aufenthaltsbewilligung; ihr Ersuchen ist damit an sich insofern gegenstandslos geworden. Ob sie wegen der in den kantonalen Verfahren aufgelaufenen Kosten an ihrer Eingabe - wie sie geltend machen - dennoch ein eigenständiges aktuelles Interesse haben (vgl. Art. 103 lit. a OG; <ref-ruling> f), kann dahingestellt bleiben, nachdem ihre Beschwerde so oder anders unbegründet erscheint und im vereinfachten Verfahren nach Art. 36a OG abgewiesen werden kann:
a) Der ausländische Ehegatte eines Schweizer Bürgers hat nach Art. 7 Abs. 2 ANAG dann keinen Anspruch auf die ihm nach Absatz 1 dieser Bestimmung grundsätzlich zustehende Bewilligung, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen. Ob dies der Fall ist, entzieht sich in der Regel einem direkten Beweis und kann - wie früher bei der Bürgerrechtsehe (vgl. dazu <ref-ruling> ff.) - nur aufgrund von Indizien beurteilt werden. Das Bundesgericht ist dabei an die Feststellung des Sachverhalts gebunden, wenn als Vorinstanz eine richterliche Behörde diesen nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen ermittelt hat (Art. 105 Abs. 2 OG). Gestützt auf die vorhandenen Indizien durften die kantonalen Vorinstanzen hier eine "Ausländerrechtsehe" bejahen (vgl. <ref-ruling> E. 2b S. 295): A._ versuchte bereits vor seiner Ehe wiederholt, in der Schweiz eine Aufenthaltsmöglichkeit zu erwirken. Seine Heirat erfolgte nur wenige Tage vor Ablauf der ihm vom Bundesamt für Flüchtlinge gesetzten Ausreisefrist, wobei sich die Ehepartner kaum kannten. Sie sollen sich anfangs Februar 2000 im Restaurant "Central" in Winterthur begegnet sein; bereits am 6. oder 7. Februar 2000 sei die Rede dann auf eine Heirat gekommen, nachdem - so die Aussage der Gattin - A._ ihr gesagt habe, dass er Ende Mai die Schweiz verlassen müsse. Gestützt hierauf seien sie, "das heisst er", auf das "Gespräch von der Hochzeit" gekommen. In der getrennt erfolgten Einvernahme erklärte A._ seinerseits, seine Frau bereits im Juli 1999 noch vor dem Asylentscheid kennen gelernt zu haben, wobei diese zu weinen begonnen habe, als sie dann erfuhr, dass er die Schweiz bis zum 31. Mai 2000 werde verlassen müssen. Zwar hat der Beschwerdeführer inzwischen zugestanden, dass dem nicht so gewesen ist; aus seinem Aussageverhalten, das nicht einfach mit einer Unerfahrenheit erklärt werden kann, durfte jedoch geschlossen werden, dass es ihm bei der Einvernahme darum ging, die wahren Umstände des Eheschlusses zu verschleiern. Offenbar hatte er sich diesbezüglich zuvor durch einen Kollegen entsprechend beraten lassen. Zwischen den Eheleuten besteht mit 19 Jahren ein relativ grosser Altersunterschied, was als weiteres Indiz auf eine "Ausländerrechtsehe" hindeutet. Bei gesamthafter Betrachtung aller Indizien erscheint deshalb die Annahme des Verwaltungsgerichts, die Ehe sei - zumindest seitens des ausländischen Ehegatten - lediglich zur Umgehung der ausländerrechtlichen Vorschriften eingegangen worden, nicht bundesrechtswidrig.
b) Was die Beschwerdeführer hiergegen einwenden, überzeugt nicht: Fremdenpolizeiliche Bewilligungsverfahren fallen nicht in den Anwendungsbereich von Art. 6 EMRK (Frowein/Peukert, EMRK-Kommentar, Kehl/Strassburg/Arlington 1996, S. 190; Urteil des Europäischen Gerichtshofs für Menschenrechte vom 7. April 1994, in: VPB 1994 (58) 99 S. 719), weshalb das Verwaltungsgericht nicht gehalten war, eine mündliche, öffentliche Verhandlung durchzuführen. Die Tatsache, dass es das Vorliegen einer "Ausländerrechtsehe" bejahte, tangierte die zivilrechtlichen Wirkungen der Ehe als solche nicht. Weder aus der Europäischen Menschenrechtskonvention noch aus dem Verfassungsrecht des Bundes ergab sich ein Anspruch darauf, vom Verwaltungsgericht mündlich angehört zu werden (vgl. <ref-ruling> E. 9b S. 219; Michele Albertini, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, Bern 2000, S. 337), nachdem hinreichend aussagekräftige Einvernahmeprotokolle bei den Akten lagen und die Beschwerdeführer sich umfassend zum Vorliegen einer "Ausländerrechtsehe" hatten äussern können. Ihr Antrag, die Trauzeugen zu befragen, durfte willkürfrei im Rahmen einer antizipierten Beweiswürdigung (vgl. <ref-ruling> E. 4a S. 469) mit der Begründung abgelehnt werden, dass diese kaum relevante Angaben würden machen können, nachdem sie gemäss den Aussagen der Ehegattin keine engen Bekannten oder Freunde des Paares und erst im letzten Moment - ersatzweise - als Trauzeugen eingesprungen waren. Die kantonalen Instanzen haben schliesslich nicht verkannt, dass es auch Aspekte gab, die gegen eine "Ausländerrechtsehe" sprachen; sie durften diese im Rahmen der Beweiswürdigung aber anders werten, als dies die Beschwerdeführer tun: Dass die Begründung einer wirklichen Lebensgemeinschaft gewollt war, kann nach der Rechtsprechung nicht schon daraus abgeleitet werden, dass die Ehegatten während einer gewissen Zeit zusammenlebten und intime Beziehungen unterhielten; ein derartiges Verhalten kann auch nur vorgespiegelt sein (<ref-ruling> E. 2b S. 3). Wenn die Ehefrau darauf hinweist, dass sie sich als gebildete, beruflich angesehene und reife Persönlichkeit charakterisiere, was die kantonalen Instanzen anerkannt hätten, durften diese es umso eher als "auffällig" erachten, dass sie kaum drei Tage nach der Bekanntschaft eines ihr bis dahin völlig Fremden den Entschluss fasste, diesen zu heiraten, obwohl es sich dabei um einen erheblich jüngeren Mann aus einem ganz anderen Kulturkreis handelte, mit dem sie sich nur eingeschränkt verständigen konnte. Die ursprüngliche Verfügung der Fremdenpolizei war schliesslich tatsächlich nur rudimentär motiviert; die Entscheidgründe ergaben sich daraus und aus den entsprechenden Unterlagen indessen in verfassungsrechtlich zureichender Weise (vgl. <ref-ruling> E. 2a). Eine damit verbundene Verletzung des Anspruchs auf rechtliches Gehör wäre geheilt, nachdem das Departement für Justiz und Sicherheit die Einwände der Beschwerdeführer seinerseits umfassend geprüft und seinen Entscheid einlässlich begründet hat. Lag somit kein grober Verfahrensfehler der Vorinstanzen des Verwaltungsgerichts vor, durfte dieses ohne Verfassungsverletzung davon absehen, den Beschwerdeführern - trotz ihres Unterliegens - für das Verwaltungsverfahren eine Parteientschädigung zuzusprechen.
3.- a) Die Beschwerde ist nach dem Gesagten abzuweisen, soweit sie nicht gegenstandslos geworden ist.
b) Dem Verfahrensausgang entsprechend werden die unterliegenden Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Parteientschädigungen sind nicht geschuldet (vgl. Art. 159 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit sie nicht gegenstandslos geworden ist.
2.- Die Gerichtsgebühr von Fr. 2000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
3.- Dieses Urteil wird den Beschwerdeführern, dem Departement für Justiz und Sicherheit sowie dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 9. Oktober 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: