Ausweisung bzw. Wegweisung, hat sich ergeben:
A.- Der aus Mazedonien stammende J._ (albanischer Ethnie), geboren am 22. Mai 1976, reiste 1990 im Rahmen des Familiennachzugs in die Schweiz ein und wurde in die Niederlassungsbewilligung seiner Eltern einbezogen.
Am 15. Februar 1997 heiratete er seine Landsfrau R._, geboren am 3. April 1980, welche in der Folge eine Aufenthaltsbewilligung zwecks Verbleib bei ihrem Ehemann erhielt.
B.- Am 7. Juli 1994 bestrafte das Bezirksamt Frauenfeld J._ wegen Beteiligung an einem Raufhandel mit einer Busse von Fr. 180.--. Das Bezirksgericht Frauenfeld verurteilte ihn am 13. September 1995 wegen sexueller Nötigung, sexuellen Handlungen mit einem Kind, Freiheitsberaubung und mehrfachen Fahrens ohne Führerausweis zu einer Gefängnisstrafe von vier Monaten bedingt und einer Busse von Fr. 1'000.--. Unter Bezugnahme auf dieses Urteil wurde J._ von der Fremdenpolizei des Kantons Thurgau am 25. Oktober 1995 verwarnt und ausdrücklich darauf hingewiesen, dass von ihm in Zukunft nunmehr ein klagloses Verhalten erwartet werde.
Mit Strafverfügung vom 18. Dezember 1995 verurteilte das Bezirksamt Frauenfeld J._ zu einer Busse von Fr. 300.-- wegen Führens eines zum Gebrauch entwendeten Motorfahrzeugs. Am 7. Januar 1999 erkannte das Bezirksgericht Münchwilen J._ u.a. der groben Verletzung von Verkehrsregeln, des Führens eines Motorfahrzeuges in angetrunkenem Zustand sowie des pflichtwidrigen Verhaltens bei einem Unfall schuldig und bestrafte ihn mit einer bedingten Gefängnisstrafe von drei Wochen und einer Busse von Fr. 1'000.--.
Am 15. September 1999 schliesslich wurde J._ vom Bezirksgericht Frauenfeld wegen Inumlaufsetzens falschen Geldes zu einer Gefängnisstrafe von einem Monat unbedingt verurteilt, als Zusatzstrafe zum Urteil des Bezirksgerichts Münchwilen vom 7. Januar 1999.
C.-Am 19. Mai 1999 verfügte die Fremdenpolizei des Kantons Thurgau die Ausweisung von J._ aus der Schweiz für die Dauer von drei Jahren. Zugleich lehnte sie die Erneuerung der abgelaufenen Aufenthaltsbewilligung von R._ ab und wies diese aus der Schweiz weg.
Ein gegen diese Verfügung erhobener Rekurs beim Departement für Justiz und Sicherheit des Kantons Thurgau blieb ohne Erfolg, und am 17. November 1999 wies das Verwaltungsgericht des Kantons Thurgau die gegen den Rekursentscheid erhobene Beschwerde ab.
D.- J._ und R._ führen mit Eingabe vom 25. Januar 2000 Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 17. November 1999 aufzuheben. Ferner sei von einer Ausweisung von J._ abzusehen, und R._ sei die Aufenthaltsbewilligung zu verlängern. Sodann beantragen die Eheleute, ihrer Beschwerde sei aufschiebende Wirkung zu gewähren.
Das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen stellt denselben Antrag.
E.- Mit Verfügung vom 24. Februar 2000 hat der Abteilungspräsident der Beschwerde die aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegen die fremdenpolizeiliche Ausweisung steht gemäss Art. 97 Abs. 1 OG die Verwaltungsgerichtsbeschwerde offen. Ein Ausschlussgrund im Sinne der Art. 99 - 102 OG liegt nicht vor; insbesondere fällt die Ausweisung nicht unter die in Art. 100 Abs. 1 lit. b OG genannten, von der Verwaltungsgerichtsbeschwerde ausgenommenen Verfügungen, sofern sie - wie hier - gestützt auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) angeordnet worden ist. Die Verwaltungsgerichtsbeschwerde ist daher zulässig. Dies gilt auch, soweit sie von der Ehefrau des Beschwerdeführers gegen die Nichtverlängerung ihrer eigenen Aufenthaltsbewilligung erhoben wird (vgl. Art. 17 Abs. 2 ANAG). Auf die frist- und formgerecht eingereichte Beschwerde ist daher einzutreten.
b) Mit Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat jedoch - wie hier - eine richterliche Behörde als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt, ist das Bundesgericht an die Sachverhaltsfeststellung gebunden (Art. 105 Abs. 2 OG). Damit wird die Möglichkeit, vor Bundesgericht neue Tatsachen vorzubringen und neue Beweismittel einzureichen, weitgehend eingeschränkt. Das Bundesgericht lässt diesfalls nur solche neuen Tatsachen und Beweismittel zu, welche die Vorinstanz von Amtes wegen hätte berücksichtigen müssen und deren Nichtbeachtung eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> E. 3a S. 221; <ref-ruling> E. 1c S. 99 f.). Soweit vorliegend neue, zusätzliche Beweismittel eingereicht worden sind (vgl. die mit Eingabe vom 28. Januar 2000 nachgereichten Arbeitszeugnisse bzw.
Arbeitsbestätigungen), sind diese nicht weiter zu berücksichtigen.
2.- a) Gemäss Art. 10 Abs. 1 ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a) oder wenn sein Verhalten im allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (lit. b). Die Ausweisung soll jedoch nur verfügt werden, wenn sie nach den gesamten Umständen angemessen erscheint (Art. 11 Abs. 3 ANAG). Hierbei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig sei, ist eine Rechtsfrage, die vom Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüft werden kann (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b S. 356 f.) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107; <ref-ruling> E. 1b S. 2).
b) Verübt ein Ausländer ein Verbrechen oder Vergehen, hat bereits der Strafrichter grundsätzlich die Möglichkeit, die strafrechtliche Landesverweisung anzuordnen (<ref-law>). Sieht er hievon ab oder wird im Falle einer bedingten Entlassung aus dem Strafvollzug die Landesverweisung probeweise aufgeschoben, steht dies der fremdenpolizeilichen Ausweisung nach Art. 10 Abs. 1 lit. a ANAG nicht entgegen (BGE <ref-ruling> E. 3a S. 3 f.; <ref-ruling> E. 2b S. 435), sind doch die Voraussetzungen für die beiden Entfernungsmassnahmen nicht identisch. Wenn der Beschwerdeführer vortragen lässt, noch kein Strafrichter habe es für notwendig erachtet, ihn des Landes zu verweisen (S. 12 der Beschwerdeschrift), so kann er deshalb nichts zu seinen Gunsten ableiten.
c) Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung zu stellen. Zu berücksichtigen ist auch, in welchem Alter der Ausländer in die Schweiz eingereist ist. Selbst bei einem Ausländer, der bereits hier geboren wurde und sein ganzes bisheriges Leben in der Schweiz verbracht hat (Ausländer der "zweiten Generation"), ist eine Ausweisung nach der bundesgerichtlichen Rechtsprechung aber nicht ausgeschlossen (BGE <ref-ruling> E. 2 und 3 S. 435 ff.). Erst recht gilt dies für Ausländer, die - wie der Beschwerdeführer - erst als Kind oder Jugendlicher in die Schweiz gelangt sind. Entscheidend ist aber in jedem Fall die Verhältnismässigkeitsprüfung, die gestützt auf die gesamten wesentlichen Umstände des Einzelfalles vorzunehmen ist (vgl. BGE <ref-ruling> E. 2c S. 436 f.).
3.- a) Der Beschwerdeführer trägt vor, die Ausweisung sei unverhältnismässig: Zwar habe er wiederholt gegen die Rechtsordnung verstossen, doch wiege sein Verschulden nicht schwer. Nach der Verwarnung durch die Fremdenpolizei habe er sich "merklich gebessert"; heute sei er überdies sowohl beruflich wie privat in der Schweiz gut integriert. Hier habe er sich niedergelassen, gehe einer regelmässigen Arbeit nach und pflege einen intensiven Kontakt zu seiner Familie.
b) Bestritten wird zu Recht nicht, dass die formellen Voraussetzungen für eine Ausweisung nach Art. 10 Abs. 1 lit. a ANAG erfüllt sind, ist der Beschwerdeführer doch mehrmals wegen eines Verbrechens bzw. Vergehens gerichtlich bestraft worden. Wie sich aus den nachfolgenden Erwägungen ergibt, greift zudem subsidiär der Ausweisungsgrund von Art. 10 Abs. 1 lit. b ANAG Platz.
aa) Der Beschwerdeführer ist seit 1994 immer wieder straffällig geworden. Zwar handelt es sich, wenn von der Verurteilung wegen sexueller Nötigung abgesehen wird, nicht um allzu gravierende Delikte. Doch häuften sich im Laufe der Jahre die Anzeigen und strafrechtlichen Verurteilungen. Ausserdem hatte sich der Beschwerdeführer nicht an die Bedingungen eines Arbeitslosen-Beschäftigungsprogramms gehalten; und er kam darüber hinaus auch mit der Arbeitslosenversicherungskasse in Konflikt (S. 4 des angefochtenen Entscheides).
bb) Ins Gewicht fällt sodann, dass sich der Beschwerdeführer trotz ausdrücklicher Verwarnung durch die Fremdenpolizei nicht von weiteren Straftaten hat abhalten lassen und rückfällig geworden ist. Unbeeindruckt davon, dass von ihm in Zukunft ein klagloses Verhalten gefordert wurde, missachtete der Beschwerdeführer nach kurzer Zeit erneut Vorschriften des Strassenverkehrsgesetzes. Später führte er u.a. ein Motorfahrzeug in angetrunkenem Zustand und wurde auch noch wegen Inumlaufsetzens von Falschgeld verurteilt. Mit Blick auf den unmissverständlichen Wortlaut der Verfügung vom 25. Oktober 1995 erscheint die These des Beschwerdeführers, er habe davon ausgehen müssen, die Verwarnung der Fremdenpolizei beziehe sich ausschliesslich auf gravierende Verstösse gegen die Rechtsordnung (S. 9 f. der Beschwerde) als haltlose Schutzbehauptung. Sein bisheriges Verhalten erlaubt keine gute Prognose, zu welchem Schluss auch das Bezirksgericht Frauenfeld in seinem Urteil vom 15. September 1999 gekommen ist. Es ist zu befürchten, dass der Beschwerdeführer immer wieder mit dem Gesetz in Konflikt geraten wird.
Nach dem Gesagten besteht ein gewichtiges öffentliches Interesse, den Beschwerdeführer von der Schweiz fernzuhalten.
c) Den öffentlichen Interessen sind die privaten Interessen an einem Verbleib gegenüberzustellen. Der Beschwerdeführer reiste 1990 im Alter von 14 Jahren in die Schweiz ein und hat hier einen Teil seiner Schulzeit verbracht.
Seine Familie (Ehefrau, Eltern und Geschwister) lebt ebenfalls hier, weshalb ihn eine Ausweisung zweifellos hart treffen wird. Zu berücksichtigen ist andererseits, dass der Beschwerdeführer nicht in der Schweiz geboren ist. Er hat die ganze Kindheit und einen Teil seiner Jugend in Mazedonien verbracht, weshalb er sich dort rasch wieder ein soziales Umfeld aufbauen kann: Wie seine engen Kontakte zu Landsleuten zeigen (vgl. S. 9 des angefochtenen Entscheides bzw.
S. 11 der Beschwerdeschrift), hat er sich der Kultur seines Heimatlandes nicht entfremdet und beherrscht auch dessen Sprache nach wie vor. Ferner hat der Beschwerdeführer in der Schweiz keine berufliche Laufbahn begonnen, deren zwangsweise Beendigung durch die fremdenpolizeilichen Behörden allenfalls eine besondere Härte darstellen könnte.
Die Beschwerdeführerin, welche bei Ausweisung ihres Ehemannes den Anspruch auf eine Aufenthaltsbewilligung verliert (Art. 17 ANAG), lebt noch keine drei Jahre in der Schweiz. Sie stammt ebenfalls aus Mazedonien, weshalb auch ihr eine Rückkehr dorthin zuzumuten ist und die Möglichkeit der Weiterführung der Ehe insoweit nicht beeinträchtigt wird. Eine Verletzung von Art. 8 EMRK wird mit Grund nicht behauptet.
d) Trotz nachteiliger Auswirkungen der Ausweisung bzw. Wegweisung auf die persönliche Situation der Beschwerdeführer erscheint die Massnahme auf Grund der dargelegten konkreten Umstände nicht unverhältnismässig. Der angefochtene Entscheid verstösst somit nicht gegen Bundesrecht (vgl. E. 1b).
4.- Nach dem Gesagten erweist sich die Verwaltungsgerichtsbeschwerde als unbegründet. Dem Ausgang des Verfahrens entsprechend sind die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und 153a OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3.- Dieses Urteil wird den Beschwerdeführern, dem Departement für Justiz und Sicherheit und dem Verwaltungsgericht des Kantons Thurgau sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 1. Mai 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: