Sachverhalt:
A. Der aus dem Kosovo stammende A.X._ (geb. 1967) heiratete im Jahre 1990 seine Landsfrau Y._. Aus dieser Ehe entstammen der Sohn B.X._ (geb. 26. August 1991) und die Tochter C.X._ (geb. 25. August 1995). Die Ehe wurde im September 2001 geschieden, wobei die elterliche Sorge der Kinder dem Vater anvertraut wurde.
Im Dezember 2006 heiratete A.X._ in Steckborn (TG) die Schweizer Staatsbürgerin Z._ (geb. 1950), worauf er im Januar 2007 eine - in der Folge jährlich verlängerte - Aufenthaltsbewilligung für den Kanton Thurgau erhielt.
Am 26. März 2007 ersuchte A.X._ um den Nachzug seiner beiden Kinder. Nachdem das Migrationsamt des Kantons Thurgau die Ablehnung des Gesuchs in Aussicht gestellt hatte, zog A.X._ dieses mit Schreiben vom 9. November 2007 zurück und bat um Erstattung des insoweit geleisteten Kostenvorschusses.
Mit schriftlicher Eingabe vom 27. Dezember 2007 beantragte er erneut die Bewilligung des Familiennachzugs der Kinder. Kurz zuvor hatte er sich deswegen bereits mündlich an das kantonale Migrationsamt gewendet. Dieses lehnte das Gesuch am 28. Mai 2008 ab. Die hiegegen erhobenen Rechtsmittel wurden vom Thurgauer Departement für Justiz und Sicherheit am 7. April 2009 und vom Verwaltungsgericht des Kantons Thurgau am 25. November 2009 abgewiesen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. Januar 2010 beantragen A.X._ und seine beiden Kinder B.X._ und C.X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts aufzuheben und das Familiennachzugsgesuch "vom 26.3.2007 gutzuheissen", den Kindern die Einreise in die Schweiz und ihren Verbleib beim Vater zu gestatten. Eventuell sei die Sache an das Verwaltungsgericht zurückzuweisen mit der Weisung, neu zu entscheiden.
Sämtliche kantonalen Vorinstanzen - mithin das Migrationsamt, das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht - stellen den Antrag, die Beschwerde abzuweisen. Das Bundesamt für Migration hat sich nicht vernehmen lassen.
Mit Eingabe vom 27. Mai 2010 hat der Verfahrensvertreter der Beschwerdeführer aufforderungsgemäss eine Vollmacht nachgereicht.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen das Urteil des Verwaltungsgerichts ist nur zulässig, soweit das Bundesrecht oder das Völkerrecht den Beschwerdeführern einen Bewilligungsanspruch auf den begehrten Familiennachzug einräumt (vgl. Art. 83 lit. c Ziff. 2 BGG).
1.1 Am 1. Januar 2008 ist das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Da das Nachzugsgesuch vor dem 1. Januar 2008 gestellt wurde, ist vorliegend in materieller Hinsicht noch das bis zum 31. Dezember 2007 geltende Recht, namentlich das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) anwendbar (Art. 126 Abs. 1 AuG). Davon gehen auch alle Verfahrensbeteiligten aus. Auch wenn sich das Verfahren gemäss Art. 126 Abs. 2 AuG bereits nach dem neuen Recht richtet, gilt das alte Recht hier ebenfalls für die prozessuale Frage, ob ein Bewilligungsanspruch im Sinne von Art. 83 lit. c Ziff. 2 BGG besteht (<ref-ruling> E. 1.2 S. 145 mit Hinweis). Die Vorinstanz sowie die Beschwerdeführer erwähnen sowohl Art. 17 ANAG als auch Art. 8 EMRK und Art. 13 Abs. 1 BV als Anspruchsgrundlagen, ohne sich - im Gegensatz zum kantonalen Departement - festzulegen.
1.2 Gemäss Art. 17 Abs. 2 Satz 3 ANAG (in der Fassung vom 23. März 1990, AS 1991 1034 1043) haben ledige Kinder unter 18 Jahren Anspruch auf Einbezug in die Niederlassungsbewilligung, wenn sie mit ihren Eltern zusammen wohnen. Der Vater (Beschwerdeführer 1) verfügt über keine Niederlassungsbewilligung. Er ist nur Inhaber einer Aufenthaltsbewilligung, weshalb gestützt auf seine Rechtsposition kein Nachzugsanspruch nach Art. 17 Abs. 2 Satz 3 ANAG besteht (vgl. <ref-ruling> E. 2a-d S. 636 ff.; <ref-ruling> E. 2.2 S. 284 mit Hinweisen). Zwar wird diese Bestimmung analog auf ausländische Kinder von Schweizern angewendet (<ref-ruling> E. 1b S. 155 f.; <ref-ruling> E. 2.1 S. 141). Die Ehefrau des Vaters und damit Stiefmutter der Kinder ist denn auch Schweizer Staatsbürgerin. Die erwähnte Analogie gilt allerdings nicht für Stiefkinder von Schweizern, zumal wenn - wie hier - ein gemeinsames Familienleben mit den Stiefeltern noch nie stattgefunden hat und die Grosseltern väterlicherseits bisher die Erziehung der Kinder wahrgenommen haben (vgl. Urteil des Bundesgerichts 2A.425/2003 vom 5. März 2004 E. 4.1.4 mit Hinweisen, in: ZBl 106/ 2005 S. 532).
1.3 Da der Vater aufgrund des Zusammenlebens mit seiner Schweizer Ehefrau über ein gefestigtes Anwesenheitsrecht - nach Art. 7 ANAG bzw. Art. 42 Abs. 1 AuG - verfügt, kommt ein Nachzugsanspruch gestützt auf den Schutz des Familienlebens gemäss Art. 8 EMRK und Art. 13 Abs. 1 BV in Betracht (<ref-ruling> E. 1.3.1 S. 146; <ref-ruling> E. 3.1 und 3.2 Ingress S. 285 f.). Sofern nicht ein besonderes Abhängigkeitsverhältnis wegen Behinderung oder dergleichen besteht, dürfen die Kinder aber noch nicht über 18 Jahre alt sein (vgl. <ref-ruling> E. 1e S. 261 f.). Dabei ist gemäss ständiger Praxis das Alter der Kinder im Zeitpunkt der Fällung des bundesgerichtlichen Urteils massgebend (<ref-ruling> E. 2 S. 13; <ref-ruling> E. 2.1 S. 141).
Der Sohn (Beschwerdeführer 2) ist seit Ende August 2009 über 18 Jahre alt. Ein besonderes Abhängigkeitsverhältnis ist weder geltend gemacht worden noch sonst wie ersichtlich. Daher ist eine Berufung auf Art. 8 EMRK und Art. 13 Abs. 1 EMRK für ihn nicht mehr möglich. Demzufolge ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten bezüglich des Sohnes nicht einzutreten. Im Übrigen würde sich im Ergebnis nichts günstigeres ergeben als bei der Tochter (Beschwerdeführerin 3). Diese wird demnächst 15 Jahre alt. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend ihren Nachzug ist demnach zulässig.
1.4 Betreffend den Sohn (Beschwerdeführer 2) käme allenfalls die subsidiäre Verfassungsbeschwerde in Betracht. Wegen fehlender Legitimation in der Sache (Art. 115 lit. b BGG) selber kann jedoch nur die Verletzung von Parteirechten geltend gemacht werden, deren Missachtung auf eine formelle Rechtsverweigerung hinausläuft. Doch auch diesbezüglich sind Rügen nicht zu hören, die im Ergebnis auf eine materielle Überprüfung des Bewilligungsentscheids abzielen, wie die Behauptung, dass die Begründung des angefochtenen Entscheids unvollständig oder zu wenig differenziert ausgefallen sei oder sich nicht mit sämtlichen von der Partei vorgetragenen Argumenten auseinandersetze oder dass die Parteivorbringen willkürlich gewürdigt worden seien. Ebenso wenig ist der Vorwurf zu hören, der Sachverhalt sei unvollständig, aktenwidrig oder sonstwie willkürlich ermittelt bzw. festgestellt worden (sog. Star-Praxis; vgl. <ref-ruling>; Urteil des Bundesgerichts 2D_13/2007 vom 14. März 2007 E. 2.2 und 2.3.1). Die Beschwerdeführer erheben keine Rügen, die nach dem Dargelegten im Rahmen der Verfassungsbeschwerde zulässig sind. Deswegen scheidet in Bezug auf den Sohn auch eine Behandlung der Eingabe als subsidiäre Verfassungsbeschwerde aus.
2. Die Beschwerdeführer beantragen die Gutheissung des Familiennachzugsgesuchs vom 26. März 2007. Wie in Litera A hievor ausgeführt, wurde dieses Gesuch jedoch zurückgezogen. Es kann hier demnach nur um das am Ende des Jahres 2007 neu gestellte Nachzugsbegehren gehen.
3. Die in der Rechtsprechung zu Art. 17 ANAG entwickelten und parallel dazu ebenso bei Art. 8 EMRK und Art. 13 Abs. 1 BV angewendeten Voraussetzungen für den zeitlich gestaffelten Familiennachzug von Kindern unterscheiden sich danach, ob dieser zu den gemeinsamen Eltern oder bloss zu einem Elternteil erfolgen soll. Anders als bei zusammenlebenden Eltern besteht beim Nachzug zu einem Elternteil kein bedingungsloser Anspruch auf Familienvereinigung. Für eine solche müssen besondere familiäre Gründe bzw. eine zwingend nötig gewordene Änderung in den Betreuungsverhältnissen sprechen. Das ist in der Regel nicht der Fall, wenn im Heimatland alternative Pflegemöglichkeiten gegeben sind, die dem Kindeswohl besser entsprechen, weil dadurch vermieden wird, dass die Kinder aus ihrer bisherigen Umgebung und dem ihnen vertrauten Beziehungsnetz gerissen werden. An den Nachweis der fehlenden Betreuungsmöglichkeit im Heimatland sind umso höhere Anforderungen zu stellen, je älter das nachzuziehende Kind ist bzw. je grösser die Integrationsschwierigkeiten erscheinen, die ihm hier drohen. Dabei unterliegt die Beurteilung des Nachzugsbegehrens einer Gesamtwürdigung der relevanten Umstände (vgl. <ref-ruling> E. 3.1, 5.3 und 5.5 S. 9 ff.; <ref-ruling> E. 2.1 S. 123 f. mit Hinweisen).
4. Die Vorinstanz zeigt Verständnis für den Wunsch, die Kinder nachzuziehen. Sie meint aber, dass der Beschwerdeführer seine Kinder im Jahr 2001 im Kosovo zurückliess, als diese seiner väterlichen Betreuung viel mehr bedurft hätten. Sie lehnt den Nachzug der Kinder deshalb ab, weil sie davon ausgeht, dass heute keine triftigen Gründe für eine Änderung der Betreuungsverhältnisse vorlägen. Die Eltern väterlicherseits, die sich mindestens seit der Ehescheidung um die Kinder kümmerten, seien nicht in einem Alter (Jahrgänge 1945 und 1944), das der weiteren altersgerechten Betreuung der Kinder entgegenstünde. Konkrete Gesundheitsgründe würden keine genannt. Auch das Wohl der Kinder spreche nicht zwingend für deren Nachzug, würden sie doch aus einem ihnen sehr vertrauten Rahmen herausgerissen und in der Schweiz mit Problemen konfrontiert, die zu meistern, ihnen nicht leicht fallen dürfte. Dass der Beschwerdeführer 1 und seine Ehefrau beste Gelegenheit bieten würden, die Kinder zu integrieren, sei angesichts ihrer beidseitigen Berufstätigkeit nicht erstellt.
5. 5.1 Die Beschwerdeführer rügen eine Verletzung des Anspruchs auf rechtliches Gehör nach Art. 29 Abs. 2 BV. Die Vorinstanz habe ihnen keine Gelegenheit geboten, sich dazu zu äussern, wie die Betreuung der Kinder in der Schweiz sichergestellt werden solle. Dieses Thema sei weder beim kantonalen Migrationsamt noch beim Departement für Justiz und Sicherheit Gegenstand des Verfahrens gewesen. Der Familiennachzug dürfe zudem nicht verweigert werden, nur weil die Schweizer Ehegattin des Beschwerdeführers 1 voll arbeitstätig sei.
5.2 Die Beschwerdeführer übersehen, dass es beim nachträglichen Familiennachzug getrennt lebender Eltern - wie in Erwägung 3 hievor ausgeführt - vornehmlich auf die Änderung der Betreuungsverhältnisse ankommt. Entgegen ihrer Darstellung wird der Nachzug nicht verweigert, nur weil der Beschwerdeführer 1 und seine Ehefrau einer Vollzeitbeschäftigung nachgehen. Vielmehr wird ihnen in erster Linie entgegengehalten, eine altersgerechte Betreuung bei den Grosseltern sei weiterhin gewährleistet.
Dass eine Änderung in den Betreuungsverhältnissen zwingend nötig geworden ist, haben die Beschwerdeführer nachzuweisen. Diesen Nachweis haben sie nicht erbracht. Daher ist nicht zu beanstanden, wenn die Vorinstanz den Nachzug ablehnt und sie sich ergänzend fragt, ob die Betreuung in der Schweiz besser als bisher im Kosovo stattfinden könnte. Zudem liegt es angesichts der langjährigen bundesgerichtlichen Praxis auf der Hand, dass es nicht nur auf die Betreuungsmöglichkeiten in der Heimat, sondern letztlich auch auf diejenigen in der Schweiz ankommt, wenn ein nachträglicher Kindernachzug durch einen Elternteil verlangt wird. Strebt dieser nach jahrelanger Trennung ein Zusammenleben an, muss er den Kindern eine bessere Betreuung als in der Heimat bieten können. Dem Dargelegten zufolge ist der Vorinstanz eine Verletzung des Anspruchs auf rechtliches Gehör nicht vorzuwerfen.
5.3 Auch wenn die Vorinstanz den Beschwerdeführern attestiert, das Nachzugsgesuch nicht rechtsmissbräuchlich gestellt zu haben, heisst das noch nicht, dass die Bewilligungsvoraussetzungen erfüllt sind.
Entgegen der Behauptung der Beschwerdeführer ist das Bundesgericht nicht der Auffassung, rund 15-jährige Kinder bedürften überhaupt keiner Betreuung mehr. Vielmehr hat es lediglich ausgeführt, dass Jugendliche regelmässig nicht mehr die gleich intensive Betreuung wie Kleinkinder brauchen. Eine altersgerechte Betreuung bleibt aber notwendig. Wenn die Vorinstanz davon ausgeht, 64 bzw. 65-jährige Grosseltern, bei denen keine besonderen Gesundheitsgebrechen bestehen, könnten ihre über 14-jährige Enkelin weiter betreuen, so ist das nicht zu beanstanden. Der blosse Einwand, "anthropologisch" gehörten Kinder zu den Eltern und nicht zu den Grosseltern, ist deshalb unbehelflich, weil der Beschwerdeführer 1 selber den Entscheid traf, die Kinder den Grosseltern über einen langen Zeitraum anzuvertrauen. Er mag zwar wegen den Kriegswirren und den schwierigen wirtschaftlichen Verhältnissen aus dem Kosovo ausgereist sein. Das hielt ihn jedoch nicht davon ab, seine Kinder dort viele Jahre zurückzulassen. Gründe für eine persönliche Verfolgung in der Heimat, die ihn zur Flucht veranlasst hätten, hat der Beschwerdeführer 1 nicht geltend gemacht.
Weder Art. 17 Abs. 2 Satz 3 ANAG noch Art. 8 EMRK berechtigen den einzelnen Elternteil unter diesen Umständen, nachträglich die Kinder zu sich holen zu können. Wie erwähnt, bleibt beim zeitlich gestaffelten Nachzug durch einen einzigen Elternteil ausschlaggebend, dass eine Änderung der Betreuungsverhältnisse notwendig geworden ist.
5.4 Im Grunde kritisieren die Beschwerdeführer die bisherige Rechtsprechung, welche auf die Betreuungssituation abstellt. Sie berufen sich auf Art. 8 und 9 BV sowie Art. 14 EMRK. Es verletze das Willkürverbot und das Rechtsgleichheitsgebot, wenn ihnen der Nachzug verweigert werde, während es viele einheimische Familien gebe, bei welchen beide Elternteile arbeiteten. Zudem würden Kinder geschiedener Ausländer gegenüber Kindern nicht geschiedener Ausländer diskriminiert bzw. ungleich behandelt. Art. 8 EMRK sehe ebenso wenig eine derartige Unterscheidung vor. Diese verstosse ausserdem gegen das nach Art. 3 der UNO-Kinderrechtskonvention vom 20. November 1989 (KRK; SR 0.107) geschützte Interesse der Kinder.
Das Bundesgericht wendet das Recht von Amtes wegen an. Die Verletzung von Grundrechten bzw. von verfassungsmässigen Rechten prüft es jedoch nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und hinreichend begründet worden ist (Art. 106 BGG).
Wie schon ausgeführt, wird den Beschwerdeführern der Nachzug nicht allein deshalb verweigert, weil der Kindsvater und seine Ehefrau arbeiten. Zudem wird mit einem Nachzugsantrag für bisher im Ausland lebende Kinder eine Änderung der bestehenden Situation verlangt, die tiefgreifender ist als bei einem reinen Inlandsachverhalt. Das rechtfertigt es, die Verfügbarkeit der Eheleute in die Gesamtwürdigung einzubeziehen. In diese fliesst zudem das in Art. 3 KRK erwähnte Interesse der Kinder. Darin ist weder eine Verletzung des Willkürverbots noch des Rechtsgleichheitsgebots zu erblicken (vgl. zu diesen Grundrechten allg. <ref-ruling> E. 4.2 S. 6 f.; <ref-ruling> E. 5.4 S. 148, je mit Hinweisen).
Auch für die unterschiedliche Behandlung der Kinder aus geschiedenen Ehen und solchen aus intakten Ehen bestehen sachliche Gründe. Im letztgenannten Fall ist die Zusammenführung der Gesamtfamilie beabsichtigt, was auch Art. 17 Abs. 2 Satz 3 ANAG zugrunde liegt ("mit ihren Eltern zusammen wohnen"). Bei getrennten Eltern liegen die Verhältnisse anders. Es geht nicht um die Vereinigung der aus Vater, Mutter und Kind bestehenden Kernfamilie. Das rechtfertigt eine unterschiedliche Behandlung vor allem dann, wenn das Zusammen-leben eines einzelnen Elternteils mit dem Kind erst nach längerer Trennung stattfinden soll (vgl. auch <ref-ruling> E. 3.1 S. 14 f.; Urteil 2P.224/ 2006 vom 26. April 2007 E. 5, in: RtiD 2007 II S. 181). Aus Art. 8 EMRK und der dazu ergangenen Praxis ist das Erfordernis einer Gesamtwürdigung abzuleiten, nicht jedoch eine Gleichbehandlung getrennter und zusammenlebender Eltern. Im Übrigen kann der Beschwerdeführer das bisherige Familienleben mit den Kindern trotz der Verweigerung ihres Nachzugs weiterführen. Fehl geht mithin auch die von den Beschwerdeführern gezogene Parallele zur Rechtsprechung des Europäischen Gerichtshofs für Menschenrechte (EGMR) betreffend das Besuchsrecht von Vätern ehelicher Kinder einerseits und ausserehelicher Kinder anderseits.
Zwar mag der EGMR bisher nicht ausdrücklich darüber befunden haben, ob die in der Schweizer Praxis vorgenommene Unterscheidung zwischen Gesamt- und Teilfamilien konventionskonform ist. In dem von den Beschwerdeführern zitierten Urteil des EGMR Tuquabo-Tekle gegen Niederlande vom 1. Dezember 2005, mit dem sich das Bundesgericht in <ref-ruling> E. 5 S. 14 ff. ausführlich befasst hat, zog dieser aber durchaus die familiäre Situation als Kriterium heran. Der EGMR stellte denn auch regelmässig darauf ab, wie es ursprünglich zur Trennung von Eltern und Kind gekommen war und wo bzw. von wem das Kind aufgezogen wurde (vgl. das Urteil des EGMR Gül gegen Schweiz vom 19. Februar 1996, Recueil CourEDH 1996-I S. 159 §§ 38 ff.).
5.5 Soweit die Beschwerdeführer rügen, die Vorinstanz habe sich nicht mit dem durch Art. 3 KRK geschützten Kindesinteresse auseinandergesetzt und hierdurch ihre Begründungspflicht nach Art. 29 Abs. 2 BV verletzt, übersehen sie, dass diese sich sehr wohl damit befasst hat, auch wenn sie Art. 3 KRK nicht explizit erwähnt. Es verletzt die Begründungspflicht jedoch nicht, wenn die Vorinstanz das Kindesinteresse anders einschätzt oder wertet als die Beschwerdeführer.
5.6 Diese beziehen sich schliesslich auf ein Urteil des Bundesgerichts vom 5. Januar 2010 (2C_269/2009, teilweise amtlich publiziert in <ref-ruling>) und machen eine rechtsungleiche Behandlung geltend. Der Sachverhalt sei "praktisch" identisch.
Im Gegensatz zum vorliegenden Fall war das Nachzugsbegehren im zitierten Urteil nach dem Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA; SR 0.142.112.681) zu beurteilen. Nach dem Freizügigkeitsabkommen sind die Voraussetzungen für die Familienzusammenführung weitaus grosszügiger (dazu <ref-ruling> E. 5 S. 76 f., 120 E. 3.3.1 S. 127 mit Hinweisen). Sie sind jedoch nicht entsprechend für den Nachzug nach dem nationalen Ausländerrecht bzw. nach Art. 8 EMRK und Art. 13 Abs. 1 BV anzuwenden (vgl. BGE <ref-ruling> E. 2 und 3 S. 123 ff.).
6. Nach dem Dargelegten erweist sich die Verweigerung des Kindernachzugs als bundesrechts- und konventionskonform. Daher ist die Beschwerde abzuweisen, soweit auf sie einzutreten ist.
Diesem Ausgang entsprechend haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens unter solidarischer Haftung zu tragen (Art. 65 f. BGG. Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 27. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz