Ausweisung bzw. Wegweisung, hat sich ergeben: A.- Der aus Mazedonien stammende J._ (albanischer Ethnie), geboren am 22. Mai 1976, reiste 1990 im Rahmen des Familiennachzugs in die Schweiz ein und wurde in die Niederlassungsbewilligung seiner Eltern einbezogen. Am 15. Februar 1997 heiratete er seine Landsfrau R._, geboren am 3. April 1980, welche in der Folge eine Aufenthaltsbewilligung zwecks Verbleib bei ihrem Ehemann erhielt. B.- Am 7. Juli 1994 bestrafte das Bezirksamt Frauenfeld J._ wegen Beteiligung an einem Raufhandel mit einer Busse von Fr. 180.--. Das Bezirksgericht Frauenfeld verurteilte ihn am 13. September 1995 wegen sexueller Nötigung, sexuellen Handlungen mit einem Kind, Freiheitsberaubung und mehrfachen Fahrens ohne Führerausweis zu einer Gefängnisstrafe von vier Monaten bedingt und einer Busse von Fr. 1'000.--. Unter Bezugnahme auf dieses Urteil wurde J._ von der Fremdenpolizei des Kantons Thurgau am 25. Oktober 1995 verwarnt und ausdrücklich darauf hingewiesen, dass von ihm in Zukunft nunmehr ein klagloses Verhalten erwartet werde. Mit Strafverfügung vom 18. Dezember 1995 verurteilte das Bezirksamt Frauenfeld J._ zu einer Busse von Fr. 300.-- wegen Führens eines zum Gebrauch entwendeten Motorfahrzeugs. Am 7. Januar 1999 erkannte das Bezirksgericht Münchwilen J._ u.a. der groben Verletzung von Verkehrsregeln, des Führens eines Motorfahrzeuges in angetrunkenem Zustand sowie des pflichtwidrigen Verhaltens bei einem Unfall schuldig und bestrafte ihn mit einer bedingten Gefängnisstrafe von drei Wochen und einer Busse von Fr. 1'000.--. Am 15. September 1999 schliesslich wurde J._ vom Bezirksgericht Frauenfeld wegen Inumlaufsetzens falschen Geldes zu einer Gefängnisstrafe von einem Monat unbedingt verurteilt, als Zusatzstrafe zum Urteil des Bezirksgerichts Münchwilen vom 7. Januar 1999. C.-Am 19. Mai 1999 verfügte die Fremdenpolizei des Kantons Thurgau die Ausweisung von J._ aus der Schweiz für die Dauer von drei Jahren. Zugleich lehnte sie die Erneuerung der abgelaufenen Aufenthaltsbewilligung von R._ ab und wies diese aus der Schweiz weg. Ein gegen diese Verfügung erhobener Rekurs beim Departement für Justiz und Sicherheit des Kantons Thurgau blieb ohne Erfolg, und am 17. November 1999 wies das Verwaltungsgericht des Kantons Thurgau die gegen den Rekursentscheid erhobene Beschwerde ab. D.- J._ und R._ führen mit Eingabe vom 25. Januar 2000 Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 17. November 1999 aufzuheben. Ferner sei von einer Ausweisung von J._ abzusehen, und R._ sei die Aufenthaltsbewilligung zu verlängern. Sodann beantragen die Eheleute, ihrer Beschwerde sei aufschiebende Wirkung zu gewähren. Das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen stellt denselben Antrag. E.- Mit Verfügung vom 24. Februar 2000 hat der Abteilungspräsident der Beschwerde die aufschiebende Wirkung zuerkannt.