Sachverhalt:
A. Der 1968 geborene türkische Staatsangehörige A._ war bis zur Scheidung am 14. Januar 2000 in der Türkei mit einer Landsfrau verheiratet. Aus dieser ersten Ehe gingen vier Kinder hervor (geb. 8. Februar 1991, 2. März 1992, 20. Dezember 1995 und 26. Februar 1998).
Im Januar 2002 reiste er alleine in die Schweiz ein und stellte hier ohne Erfolg ein Asylgesuch. Der ihm angesetzten Ausreisefrist bis zum 4. Februar 2003 leistete er keine Folge. Stattdessen heiratete er am 25. März 2003 eine hier niederlassungsberechtigte Türkin, worauf ihm eine Aufenthaltsbewilligung erteilt wurde. Diese zweite Ehe blieb kinderlos und wurde am 26. April 2006 geschieden. In der Folge wurde A._ eine Frist bis zum 3. Mai 2007 angesetzt, um die Schweiz zu verlassen. Anstatt auszureisen heiratete dieser am 21. Mai 2007 eine 1948 geborene, d.h. 20 Jahre ältere Schweizerin, worauf er erneut eine Aufenthaltsbewilligung erhielt.
Am 10. August 2007 stellte A._ ein Gesuch um Nachzug seiner beiden ältesten Kinder aus erster Ehe. Mit Verfügung vom 17. September 2007 wies die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) das Gesuch ab. Das Gesuch von A._ vom 19. Oktober 2007 um Nachzug seiner beiden jüngeren Kinder wurde am 6. Februar 2008 ebenfalls abgewiesen.
B. Gegen beide Verfügungen des Migrationsamts rekurrierte A._ beim Regierungsrat des Kantons Zürich. Dieser vereinigte die beiden Verfahren und wies die Rekurse mit Beschluss vom 21. Januar 2009 ab. Daraufhin beschwerte sich A._ beim Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde mit seinem Urteil vom 10. August 2009 ab.
C. Mit Eingabe vom 16. September 2009 führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Im Wesentlichen stellt er den Antrag, es sei das Gesuch um Familiennachzug gutzuheissen und seinen vier Kindern die Aufenthaltsbewilligung zu erteilen. Eventualiter sei die Angelegenheit zur Neubeurteilung samt Anhörung der Kinder an das Verwaltungsgericht oder an das Migrationsamt zurückzuweisen.
Während das Verwaltungsgericht auf eine Vernehmlassung verzichtet, schliessen der Regierungsrat des Kantons Zürich und das Bundesamt für Migration auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; in Kraft gewesen bis 31. Dezember 2007), welches hier noch anwendbar ist (vgl. Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer [AuG; SR 142.20; in Kraft getreten am 1. Januar 2008]), entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer entsprechenden Bewilligung, es sei denn, eine ausländische Person oder ihre in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts (einschliesslich Bundesverfassungsrecht) oder eines Staatsvertrages berufen (vgl. <ref-ruling> E. 2.3 S. 189; <ref-ruling> E. 2.1 S. 284; <ref-ruling> E. 1.1.1 S. 148, mit Hinweisen).
1.2 Gemäss Art. 17 Abs. 2 Satz 3 ANAG haben ledige Kinder von Ausländern, die in der Schweiz niedergelassen sind, Anspruch auf Einbezug in die Niederlassungsbewilligung ihrer Eltern, wenn sie mit diesen zusammenwohnen und noch nicht 18 Jahre alt sind. Der Beschwerdeführer 1 als Vater der vier nachzuziehenden Kinder (Beschwerdeführer 2-5) ist nicht im Besitz einer Niederlassungs-, sondern bloss einer Aufenthaltsbewilligung. Für den Familiennachzug kann er sich daher nicht auf Art. 17 Abs. 2 Satz 3 ANAG berufen. Aus dem innerstaatlichen Gesetzesrecht lassen sich vorliegend keine Ansprüche ableiten. Als Anspruchsgrundlage fällt einzig Art. 8 EMRK bzw. <ref-law> in Betracht.
1.3 Art. 8 EMRK und <ref-law> garantieren den Schutz des Familienlebens. Gestützt auf diese Normen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten einer ausländischen Person zulässig, wenn diese oder ihre hier anwesenden nahen Verwandten - wie im vorliegenden Fall der Beschwerdeführer 1 - über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (<ref-ruling> E. 1d/aa S. 64 f.; <ref-ruling> E. 2a S. 186, jeweils mit Hinweisen).
Die genannten Bestimmungen garantieren jedoch - anders als Art. 17 Abs. 2 Satz 3 ANAG - nur die Erteilung von befristeten Aufenthaltsbewilligungen bis zur Mündigkeit des nachzuziehenden Kindes. Danach fällt der grundsätzliche Bewilligungsanspruch und damit zugleich auch die Zulässigkeit der Beschwerde in öffentlich-rechtlichen Angelegenheiten dahin. Als Ausnahme vom Novenverbot stellt das Bundesgericht für die Frage des Eintretens auf die Sachlage im Zeitpunkt seines Entscheides ab (BGE <ref-ruling> E. 1.1.3 S. 149). Massgebend ist somit - wiederum im Gegensatz zu den Ansprüchen von Art. 17 ANAG - nicht das Alter des Kindes zum Zeitpunkt der Gesuchseinreichung, sondern jenes im Zeitpunkt der Urteilsfällung (vgl. <ref-ruling> E. 2 S. 13; <ref-ruling> E. 1f S. 262 f.).
Das älteste Kind des Beschwerdeführers 1 war schon volljährig als das Verwaltungsgericht seinen Entscheid traf, das zweitälteste ist inzwischen volljährig geworden. Für die Beschwerdeführer 2 und 3 kann daher aus Art. 8 EMRK und <ref-law> kein Nachzugsanspruch mehr abgeleitet werden, und es ist auf die Beschwerde insoweit nicht einzutreten.
Die Möglichkeit eines Nachzugsanspruchs gestützt auf Art. 8 EMRK bzw. <ref-law> besteht heute einzig noch für die beiden jüngsten Kinder des Beschwerdeführers 1, die Beschwerdeführer 4 und 5. Soweit der angefochtene Entscheid sie betrifft, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach dem bisher Ausgeführten zulässig, und die Beschwerdeführer 1, 4 und 5 sind hierzu legitimiert (<ref-law>). In diesem Umfang kann auf das im Übrigen form- und fristgerecht (<ref-law>; <ref-law>) eingereichte Rechtsmittel grundsätzlich eingetreten werden.
2. 2.1 Gemäss den sachverhaltlichen Feststellungen des Verwaltungsgerichts wuchsen die Beschwerdeführer 4 und 5 zuerst bei ihrer Mutter in der Türkei auf, welche auch das Sorgerecht innehatte. Am 7. Dezember 2006 wurde das Sorgerecht für alle vier Kinder auf den Beschwerdeführer 1 übertragen, doch blieben die beiden jüngeren Kinder vorderhand in der Obhut der Mutter. Anfangs 2009 wurden sie von ihrer Mutter offenbar bei der im gleichen Dorf wohnhaften Grossmutter väterlicherseits, d.h. der Mutter des Beschwerdeführers 1 untergebracht, wo zuvor bereits die beiden älteren Kinder platziert worden waren. In der Folge zogen die Grossmutter und ihre Enkelkinder zur Familie des Bruders des Beschwerdeführers 1, wo sie sich auch gegenwärtig noch aufhalten.
2.2 Wie das Verwaltungsgericht zutreffend festgestellt hat, setzt der nachträgliche Kindernachzug nach ANAG zu einem getrennt lebenden Elternteil voraus, dass besondere, stichhaltige Gründe eine Änderung der Betreuungssituation gebieten. Auf die entsprechenden Erwägungen des vorinstanzlichen Urteils sowie auf die einschlägige bundesgerichtliche Rechtsprechung kann an dieser Stelle verwiesen werden (<ref-law>; E. 2.4 des angefochtenen Entscheids; <ref-ruling> E. 2.2 S. 3 f.; <ref-ruling> E. 3.1 S. 14 f.; <ref-ruling> E. 3b S. 332; <ref-ruling> E. 3a S. 366, jeweils mit Hinweisen). Aus Art. 8 EMRK bzw. <ref-law> ergibt sich keine weitergehende Garantie (<ref-ruling> E. 3.1 S. 10).
2.3 Die Beschwerdeführer bringen im Wesentlichen vor, dass eine Betreuung der Beschwerdeführer 4 und 5 in der Türkei nicht mehr länger möglich sei: Die Kindsmutter habe bereits während des Verfahrens zur Übertragung des Sorgerechts zum Ausdruck gebracht, dass sie die Betreuung nicht mehr wahrnehmen möchte, zumal sie wieder heiraten wolle, was nur ohne Kinder realisierbar sei. Zudem habe die Kindsmutter mittlerweile auch gesundheitliche Probleme. Gleiches treffe auch auf die Grossmutter der Kinder zu. Der Bruder des Beschwerdeführers 1 sei sodann nur vorübergehend und der Not gehorchend bereit gewesen, seine Mutter und seine Nichten und Neffen bei sich aufzunehmen. Eine darüber hinausgehende Betreuung oder die Übernahme von Verantwortung für die Kinder lehne er dagegen in aller Deutlichkeit ab. Eine gemeinsame Betreuung durch die bisherigen Bezugspersonen stelle ebenfalls keine akzeptable Lösung dar, da es dem Wohl der Kinder nicht entspreche, wenn diese in verschiedenen Haushalten irgendwie "durchgefüttert" würden. Vielmehr könne eine stabile und dauerhafte Betreuungssituation für die Beschwerdeführer 4 und 5 nur in der Schweiz, beim Beschwerdeführer 1 und seiner gegenwärtigen Ehefrau geschaffen werden.
2.4 Die Ausführungen der Beschwerdeführer überzeugen nicht:
Zu Recht hat die Vorinstanz eingewendet, dass die inzwischen zwölf bzw. 14 Jahre alten Kinder des Beschwerdeführers 1 bis anhin stets in der Türkei lebten, dort sämtliche sozio-kulturellen Bindungen haben und der deutschen Sprache nicht mächtig sind. Bei einem allfälligen Umzug in die Schweiz wäre daher mit ganz erheblichen Integrationsschwierigkeiten zu rechnen. Eine solche Entwurzelung kann nur dann im Interesse des Kindeswohls sein, wenn die bisherigen Betreuungsverhältnisse eine Umplatzierung dringend erfordern und eine alternative Betreuungsmöglichkeit im Heimatland nicht vorhanden ist (<ref-ruling> E. 3.1.2 S. 11; <ref-ruling> E. 3a S. 640).
Eine solche Konstellation liegt hier indes nicht vor, woran auch die von den Beschwerdeführern ins Recht gelegten ärztlichen Bescheinigungen nichts zu ändern vermögen: Diese zeigen zwar auf, dass der Kindsmutter Medikamente gegen hohen Blutdruck und gegen eine Lebererkrankung verschrieben und der Grossmutter Antidepressiva verabreicht wurden. Dass es ihnen weitgehend unmöglich sein soll, sich an den anfallenden Erziehungsaufgaben zumindest zu beteiligen, geht aus den genannten Unterlagen jedoch in keiner Weise hervor. Eine Weiterführung der Betreuung im Familienverband scheint daher möglich, zumal sämtliche Mitglieder desselben (Mutter, Grossmutter, Familie des Onkels sowie weitere Verwandte) im gleichen Dorf leben und sich daher gegenseitig aushelfen und unterstützen können; dies gilt umso mehr, als die beiden ältesten Kinder des Beschwerdeführers 1 - wie bereits ausgeführt - mittlerweile volljährig sind und ebenfalls bei der Versorgung ihrer beiden jüngeren Geschwister mithelfen können. Weshalb eine solche, gemeinsame Betreuung dem Kindeswohl abträglich sein soll, ist unerfindlich.
Offenkundige Schwierigkeiten würden dagegen bei einer Unterbringung in der Schweiz entstehen: Den Akten ist zu entnehmen, dass der Beschwerdeführer 1 einer Tätigkeit als Montagemitarbeiter nachgeht und sich entsprechend nur während seiner Freizeit um seine Kinder kümmern kann. Zwar ist anzuerkennen, dass seine jetzige Ehefrau, die nur einige Jahre jünger ist als die Grossmutter väterlicherseits, d.h. die Mutter des Beschwerdeführers 1, ihre Bereitschaft geäussert hat, sich an deren Betreuung zu beteiligen. Indessen erscheint es als zweifelhaft, ob diese den ausschliesslich Türkisch sprechenden, aus einem fremden Kulturkreis stammenden Jugendlichen eine substantielle Hilfestellung bei der erforderlichen Integration bieten kann.
2.5 Aufgrund der obenstehenden Erwägungen erhellt, dass die Weiterführung der Betreuung im Heimatland den objektiven Interessen der Beschwerdeführer 4 und 5 besser gerecht wird als eine Übersiedlung in die Schweiz und mithin keine stichhaltigen Gründe für eine Änderung der Betreuungssituation vorliegen. Ohne hierdurch gegen Art. 8 EMRK bzw. <ref-law> zu verstossen, durften die Vorinstanzen bei dieser Sachlage zum Schluss gelangen, dass den Beschwerdeführern 4 und 5 kein Anspruch auf Erteilung einer Aufenthaltsbewilligung zusteht und das Gesuch um Familiennachzug abzulehnen ist.
3. Sodann bringen die Beschwerdeführer vor, die Vorinstanz habe gegen Art. 12 des Übereinkommen vom 20. November 1989 über die Rechte des Kindes (Kinderrechtskonvention, KRK; SR 0.107) verstossen, indem sie die beantragte Anhörung der nachzuziehenden Kinder abgelehnt habe.
Die Rüge geht fehl: Wie die Vorinstanz zutreffend festgehalten hat, muss das Kind in einem es berührenden Verfahren nicht zwingend persönlich (mündlich) sondern lediglich in angemessener Weise angehört werden. Die Anhörung kann je nach der zu behandelnden Problematik und den Umständen des Einzelfalles auch schriftlich oder über einen Vertreter vorgenommen werden (BGE <ref-ruling> E. 3c S. 368, mit Hinweisen). Die Beschwerdeführer selbst betonen, dass sämtliche Kinder bereits im gerichtlichen Verfahren zur Übertragung des Sorgerechts angehört worden seien und unisono erklärt hätten, dass sie bei ihrem Vater wohnen wollen. Auf diese Willensbekundung kann auch im vorliegenden Verfahren abgestellt werden. Da der Rechtsvertreter der Beschwerdeführer die von ihm gestellten Anträge explizit auch im Namen der Beschwerdeführer 4 und 5 vorgebracht hat, darf zudem davon ausgegangen werden, dass er selber ebenfalls den Standpunkt der Kinder vertritt und diese eine Übersiedlung in die Schweiz grundsätzlich befürworten. Den Anforderungen von Art. 12 KRK wurde damit Genüge getan.
4. Nach dem Ausgeführten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen, soweit darauf überhaupt einzutreten ist.
Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen (Art. 65 f. BGG). Es rechtfertigt sich, den Beschwerdeführer 1 als Vater der Kinder allein mit den Kosten zu belasten. Eine Parteientschädigung ist nicht zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer 1 auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Sicherheitsdirektion und dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 4. Mai 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler