Sachverhalt:
A. Der aus der Türkei stammende X._ reiste 1988 in die Schweiz ein und heiratete hier 1990 eine Schweizerin. Im Jahr 1996 wurde er erleichtert eingebürgert. 1998 liess sich X._ scheiden. Er hat fünf aussereheliche Kinder, Z._ (geb. 10. Januar 1996), A._ (geb. 1998) und B._ (geb. 2000) sowie zwei Töchter von einer anderen Frau (geb. 2003 und 2004). Am 18. Juni 2003 reichte X._ ein Gesuch um Einreisebewilligung für seinen Sohn Z._ ein, welches rechtskräftig abgewiesen wurde. Mitte 2008 ersuchte er, in zweiter Instanz erfolgreich, um Nachzug der beiden Kinder A._ und B._. Diese wurden im März 2010 erleichtert eingebürgert. Am 7. April 2009 ersuchte X._ erneut um Familiennachzug für Z._. Die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich wies das Gesuch am 16. Dezember 2009 ab. Gegen den ablehnenden Bescheid erhob X._ erfolglos Rechtsmittel beim Regierungsrat sowie beim Verwaltungsgericht des Kantons Zürich.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiärer Verfassungsbeschwerde vom 27. Dezember 2010 beantragt X._ dem Bundesgericht, der Entscheid des Verwaltungsgerichts sei aufzuheben und dem Sohn des Beschwerdeführers sei die Bewilligung zur Einreise und zum Aufenthalt beim Vater und seinen Geschwistern zu erteilen.
Das Verwaltungsgericht verzichtet auf eine Vernehmlassung. Das kantonale Migrationsamt liess sich nicht, das Bundesamt für Migration erst nach Ablauf der angesetzten Frist vernehmen. Am 1. Februar 2011 gelangte X._ unaufgefordert mit einer weiteren Eingabe an das Bundesgericht.
Erwägungen:
1. 1.1 Die form- und fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist mit Blick auf die Ausschlussgründe des Art. 83 lit. c BGG zulässig, weil und soweit der Beschwerdeführer als eingebürgerter Schweizer nach Art. 42 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer, AuG; SR 142.20) und Art. 8 EMRK sowie Art. 13 BV einen grundsätzlichen Bewilligungsanspruch geltend machen kann. Da vorliegend die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist, kann auf die subsidiäre Verfassungsbeschwerde nicht eingetreten werden (Art. 113 BGG).
1.2 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
1.3 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Mit Eingabe vom 1. Februar 2011 macht der Beschwerdeführer eine weitere Verschlechterung der Betreuungssituation in der Türkei (Erkrankung des Grossvaters) geltend. Der entsprechende Arztbericht datiert aber erst nach dem vorinstanzlichen Urteil vom 24. November 2010. Es handelt sich daher um sog. "echte" Noven, welche im bundesgerichtlichen Verfahren in jedem Fall unzulässig sind (BGE 133 IV 342 E. 2.1 S. 344 mit Hinweisen).
2. 2.1 Die Vorinstanzen begründen die Bewilligungsverweigerung für den Sohn des Beschwerdeführers damit, dass das Gesuch nicht innert Frist nach Art. 47 Abs. 1 AuG gestellt worden sei und keine wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG gegeben seien, die eine nachträgliche Familienzusammenführung rechtfertigen würden.
2.2 Ledige ausländische Kinder unter 18 Jahren von Schweizerinnen und Schweizern haben Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Art. 42 Abs. 1 AuG). Nach Art. 47 Abs. 1 AuG muss der Anspruch auf Familiennachzug innerhalb von fünf Jahren geltend gemacht werden (Satz 1). Kinder über zwölf Jahre müssen innerhalb von zwölf Monaten nachgezogen werden (Satz 2). Die Fristen beginnen bei Familienangehörigen von Schweizerinnen und Schweizern mit deren Einreise oder der Entstehung des Familienverhältnisses (Art. 47 Abs. 3 lit. a AuG), jene nach Art. 47 Abs. 1 AuG beginnen allerdings erst mit dem Inkrafttreten des Ausländergesetzes - am 1. Januar 2008 (AS 2007 5489) -, sofern vor diesem Zeitpunkt die Einreise erfolgt oder das Familienverhältnis entstanden ist (Art. 126 Abs. 3 AuG). Wurde der Nachzug innert der Fristen des Art. 47 Abs. 1 AuG beantragt, so ist er zu bewilligen, wenn gemäss Art. 51 Abs. 2 AuG kein Rechtsmissbrauch oder Widerrufsgründe nach Art. 62 AuG gegeben sind, die nachziehenden Eltern das Sorgerecht haben und das Kindeswohl dem Nachzug nicht entgegensteht (vgl. BGE 136 II 78 E. 4.7 und 4.8 S. 85 ff.). Ein nachträglicher Familiennachzug wird dagegen nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden (Art. 47 Abs. 4 Satz 1 AuG).
3. 3.1 Das Bundesgericht hat in BGE 136 II 497 festgehalten, dass für die Frage, ob die Altersgrenze von 18 Jahren nach Art. 42 Abs. 1 bzw. Art. 43 Abs. 1 AuG eingehalten worden sei, das Alter des Kindes bei Gesuchseinreichung entscheidend ist (dortige E. 3.7 S. 504). Auf den letztgenannten Zeitpunkt kommt es auch für die weitere Frage an, ob das Gesuch rechtzeitig innert der Fristen nach Art. 47 Abs. 1 AuG gestellt worden ist und ob die ein- oder fünfjährige Frist gilt (dortige E. 3.4 S. 502).
3.2 Da der Beschwerdeführer vor dem Inkrafttreten des Ausländergesetzes am 1. Januar 2008 bereits in die Schweiz eingereist war und zu diesem Zeitpunkt das Familienverhältnis zum Sohn Z._ auch schon bestand, ist auf die Übergangsbestimmung des Art. 126 Abs. 3 AuG und nicht auf Art. 47 Abs. 3 AuG abzustellen (vgl. dazu Urteile des Bundesgerichts 2C_154/2010 vom 8. November 2010 E. 2.5 und 2C_181/2010 vom 1. Oktober 2010 E. 5.2). Diese besagt wörtlich, dass "die Fristen nach Art. 47 Absatz 1 [AuG] mit dem Inkrafttreten" des Ausländergesetzes zu laufen beginnen. Dabei bleibt die Fünfjahresfrist nach Art. 47 Abs. 1 Satz 1 AuG bis zum zwölften Geburtstag massgebend, unabhängig davon ob die Frist nach Art. 47 Abs. 3 AuG oder nach Art. 126 Abs. 3 AuG zu laufen begann. Erst ab dem zwölften Geburtstag verkürzt sich die Nachzugsfrist gemäss Art. 47 Abs. 1 Satz 2 AuG auf - maximal noch - ein Jahr (vgl. Urteil 2C_205/2011 vom 31. Oktober 2011, E. 3.5).
Der Sohn des Beschwerdeführers wurde am 10. Januar 2008 zwölf Jahre alt. Nach dem Gesagten verkürzte sich an diesem Tag die Nachzugsfrist auf ein Jahr und war im Zeitpunkt der Gesuchseinreichung (7. April 2009) jedenfalls abgelaufen.
3.3 Der Beschwerdeführer macht geltend, die Frist sei wegen der Verletzung des Grundsatzes von Treu und Glauben wiederherzustellen. Er begründet dies insbesondere damit, der Gesetzgeber habe im Bereiche des Ausländerrechts in Art. 56 Abs. 1 AuG eine positiv rechtliche Informationspflicht der Behörden statuiert, wonach die staatlichen Organe für eine angemessene Information der Ausländerinnen und Ausländer über ihre Rechte und Pflichten zu sorgen hätten.
Art. 56 AuG steht unter der Marginalie "Information". Gemäss seinem Absatz 1 sorgen Bund, Kantone und Gemeinden für eine angemessene Information der Ausländerinnen und Ausländer über die Lebens- und Arbeitsbedingungen in der Schweiz (insbesondere über ihre Rechte und Pflichten), die Betroffenen werden auf bestehende Angebote zur Integrationsförderung hingewiesen (Abs. 2). Bereits der Wortlaut dieser Bestimmungen macht deutlich, dass sie zum Ziel haben, den Ausländerinnen und Ausländern die Integration bzw. Assimilation in der Schweiz zu erleichtern (vgl. Botschaft zum Bundesgesetz über die Ausländerinnen und Ausländer vom 8. März 2002, BBl 2002 S. 3802). Ein Anspruch auf Informationen über Familiennachzugsrechte im Einzelnen lässt sich daraus jedoch nicht ableiten; und der Beschwerdeführer geht fehl in der Annahme, das Migrationsamt hätte ihn diesbezüglich gesondert benachrichtigen müssen.
Nachdem der Beschwerdeführer abgesehen von der Berufung auf Art. 56 AuG keine Vertrauensgrundlage anruft, erübrigt sich eine Auseinandersetzung mit den weiteren Voraussetzungen, unter denen ein Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden geltend gemacht werden kann (Art. 9 BV, dazu BGE 131 II 627 E. 6.1 S. 636, 131 V 472 E. 5 S. 480 f.). Es ist festzustellen, dass die Vorinstanz demnach zu Recht zur Auffassung kam, die Frist nach Art. 47 Abs. 1 AuG sei nicht wiederherzustellen.
4. Ist somit mit den Vorinstanzen vom Ablauf der Nachzugsfrist nach Art. 47 Abs. 1 in Verbindung mit Art. 126 Abs. 3 AuG auszugehen, bedarf es gemäss Art. 47 Abs. 4 AuG wichtiger familiärer Gründe, um einen rechtlich durchsetzbaren Anspruch auf Nachzug des Sohnes zu begründen.
4.1 Der Beschwerdeführer macht insbesondere geltend, die Vorinstanz habe zu Unrecht auf das Kriterium der vorrangigen Beziehung abgestellt. Zudem habe sie zu Unrecht eine Änderung der Betreuungssituation verneint, gestützt auf die Annahme, dass sich die Mutter von Z._ schon bisher um diesen gekümmert habe und es auch fortan tun könne. Diese Annahme widerspreche den Akten, sei tatsachenwidrig und das Abstellen darauf im Ergebnis willkürlich.
4.2 Die wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG sind in einer mit dem Grundrecht der Achtung des Familienlebens nach Art. 13 BV und Art. 8 EMRK vereinbaren Weise auszulegen (Urteil des Bundesgerichts 2C_709/2010 vom 25. Februar 2011 E. 5.1.1 in fine; Weisungen und Erläuterungen des Bundesamts für Migration, Abschnitt I. Ausländerbereich, Version 1. Januar 2011, Stand 1. Juli 2011, Ziff. 6.10.4 in fine). Solche Gründe liegen etwa dann vor, wenn das Kindeswohl nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden kann (vgl. Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]; BGE 2C_711/2010 vom 1. April 2011 E. 2.3.1 in fine und Urteil 2C_44/2010 vom 26. August 2010 E. 2.1.2 in fine). Unter Hinweis auf BGE 126 II 329 führt die Botschaft vom 8. März 2002 zum Ausländergesetz als Beispiel an, dass die weiterhin notwendige Betreuung der Kinder im Herkunftsland etwa wegen des Todes oder der Krankheit der betreuenden Person nicht mehr gewährleistet ist (BBl 2002 3794 zu Art. 46 E-AuG). Im Übrigen soll mit der Fristenregelung von Art. 47 AuG unter anderem verhindert werden, dass Gesuche um Nachzug von Kindern rechtsmissbräuchlich erst kurz vor Erreichen des erwerbsfähigen Alters gestellt werden. Denn in diesen Fällen steht oft die erleichterte Zulassung zur Erwerbstätigkeit im Vordergrund, ohne dass eine echte Familiengemeinschaft angestrebt wird (BBl 2002 3754 Ziff. 1.3.7.7). Bei der Beurteilung, ob wichtige familiäre Gründe vorliegen, kommt mithin im Wesentlichen die unter dem früheren Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, BS 1 121 und Änderungen gemäss der Fussnote zur Ziff. I des Anhangs 2 zum AuG) entwickelte Praxis zum Nachzug zu nur einem Elternteil zum Tragen (BGE 136 II 78 E. 4.7 S. 86; erwähnter BGE 2C_711/2010 E. 2.3.1 in fine und erwähntes Urteil 2C_709/2009 E. 5.1.1; vgl. zu dieser Praxis: BGE 136 II 78 E. 4.1 S. 80, 120 E. 2.1 S. 123 f.; 133 II 6 E. 3.1, 5.3 und 5.5 S. 9 ff.; 126 II 329 E. 2 und 3 S. 330 ff.; je mit Hinweisen).
4.3 Die Vorinstanz hat das Vorliegen wichtiger familiärer Gründe verneint, indem sie ausführte, die Mutter von Z._ habe sich schon bisher um diesen gekümmert und könne es auch fortan tun. Sodann ergebe sich aus den Akten nicht bzw. nicht hinreichend substanziert, dass die Grosseltern väterlicherseits für ihren bald 15-jährigen Enkel nicht weiter genügend zu sorgen vermöchten. Schliesslich bilde der Umstand, dass der Beschwerdeführer rechtzeitig und erfolgreich um den Nachzug der jüngeren Geschwistern von Z._ ersucht habe, also von den Erleichterungen des neuen Rechts profitiert habe, keinen Grund bezüglich Z._ von der Anwendung der strengeren Praxis zum alten Recht abzusehen.
Soweit es sich bei diesen Ausführungen der Vorinstanz um sachverhaltliche Feststellungen handelt, sind sie für das Bundesgericht grundsätzlich verbindlich (Art. 105 Abs. 1 BGG; vgl. E. 1.2). Es handelt sich dabei insbesondere um den Umstand, dass sich die Mutter von Z._ schon bisher um diesen gekümmert habe und es auch fortan tun könne. Die Vorinstanz verweist diesbezüglich auf den Entscheid des Regierungsrates. Dieser legte seinerseits ausführlich dar, welche Indizien dafür sprächen, dass die Mutter sehr wohl an der Betreuung ihrer Kinder beteiligt war bzw. sei und weshalb daher die Darstellung des heutigen Beschwerdeführers nicht den Tatsachen entspreche. Mit seinen pauschalen Bestreitung, dass die Mutter die Betreuungsfunktion wahrnehmen könne, vermag der Beschwerdeführer nicht nachzuweisen, dass die Vorinstanzen den Sachverhalt offensichtlich unrichtig festgestellt hätten.
Bereits der Umstand, dass die familiäre Betreuungsfunktion bisher von der Mutter zumindest mitwahrgenommen wurde und dass die Mutter dies auch weiterhin tun könnte, spricht erheblich gegen wichtige familiäre Gründe für den Nachzug von Z._ zu seinem Vater in die Schweiz. Die Vorinstanz verweist ferner auf die Interessenabwägung des Regierungsrates, welche nicht zu beanstanden ist. Dieser hat insbesondere berücksichtigt, dass Z._ in der Türkei zur Welt gekommen ist, dort die Schule besucht und sein ganzes Leben verbracht hat und dem Kindesalter mittlerweile entwachsen ist. Sodann erwog der Regierungsrat zutreffend, im Falle der Übersiedlung von Z._ in die Schweiz müsse mit erheblichen Integrationsschwierigkeiten gerechnet werden, wobei hinzukomme, dass der Rekurrent mit seinem Sohn nie zusammengelebt habe und Z._ seinen Vater höchstens von Ferienaufenthalten her kenne. Angesicht dieser Umstände, welche vom Beschwerdeführer im vorliegenden Verfahren nicht entkräftet werden, ist es nicht zu beanstanden, wenn die Vorinstanz das Vorligen wichtiger familiärer Gründe, welche den Nachzug von Z._ rechtfertigen würden, verneint hat. Daran vermag nichts Entscheidendes zu ändern, dass seine Geschwister, welche zwei und vier Jahre jünger sind als er, und von denen er im Zeitpunkt des vorinstanzlichen Entscheides bereits zwei Jahre getrennt war, beim Beschwerdeführer in der Schweiz leben. Auch wenn es als nicht optimal erscheint, dass Geschwister nicht zusammen aufwachsen können, kann der Beschwerdeführer daraus nichts für sich ableiten, geht doch dieser Umstand auf seinen eigenen Entschluss zurück, jeweils für Z._ einzeln Familiennachzugsgesuche zu stellen bzw. dessen Geschwister unabhängig von Z._ in die Schweiz nachzuziehen.
Gesamthaft betrachtet ist demnach der Schluss der Vorinstanz nicht zu beanstanden, wonach der Familiennachzug von Z._ zu verweigern sei.
5. Nach dem Dargelegten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen, soweit darauf einzutreten ist. Diesem Ausgang entsprechend würde der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG). Er hat allerdings um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren ersucht. Da er nicht über die erforderlichen Mittel verfügt und sein Rechtsbegehren nicht von vornherein aussichtslos erschien, ist diesem Gesuch stattzugeben (vgl. Art. 64 BGG; BGE 133 III 614 E. 5 S. 616).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
3. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
3.1 Es werden keine Gerichtskosten erhoben.
3.2 Rechtsanwalt Bernhard Jüsi, C._, wird für das bundesgerichtliche Verfahren als unentgeltlicher Rechtsbeistand des Beschwerdeführers eingesetzt und aus der Bundesgerichtskasse mit Fr. 1'600.-- entschädigt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion (Migrationsamt) und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 26. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein