Sachverhalt:
A. X._ (geb. 1969), aus Ägypten stammend, reiste am 26. August 2002 in die Schweiz ein und heiratete am 17. Oktober 2002 die Schweizer Staatsangehörige Y._, mit welcher er einen gemeinsamen Sohn A._ (geb. 2004) und eine gemeinsame Tochter B._ (geb. 2007) hat. Am 9. September 2009 erhielt X._ im Rahmen der erleichterten Einbürgerung die Schweizer Staatsbürgerschaft.
Am 20. Juni 2010 ersuchte X._ um Familiennachzug für seinen aus erster Ehe stammenden Sohn Z._, geboren 1995, welcher bis dahin in Ägypten gelebt hatte. Das Amt für Migration des Kantons Basel-Landschaft wies das Gesuch mit Verfügung vom 29. September 2010 ab. Zur Begründung führte es aus, die Frist für den Nachzug von Z._ sei bereits am 1. Januar 2009 abgelaufen. Ein nachträglicher Familiennachzug sei weder im Hinblick auf das Kindeswohl und die Betreuungsbedürftigkeit gerechtfertigt noch könnten die Integrationschancen als ausreichend qualifiziert werden. In der Folge erhob X._ gegen die Verweigerung des Nachzugs von Z._ erfolglos Rechtsmittel beim Regierungsrat sowie beim Kantonsgericht des Kantons Basel-Landschaft.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Februar 2012 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 16. November 2011 (zugestellt am 3. Januar 2012) aufzuheben und das Amt für Integration anzuweisen, ihm den Familiennachzug des Sohnes Z._ in die Schweiz zu bewilligen und diesem entsprechend die Aufenthaltsbewilligung zu erteilen. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Kantonsgericht zurückzuweisen, gegebenenfalls verbunden mit der Anweisung, eine Bewilligungserteilung allenfalls unter Erteilung von Auflagen im Sinne von Art. 51 AuG anzuordnen. Der Regierungsrat sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht verzichtet auf eine Vernehmlassung. Das kantonale Amt für Migration hat sich nicht vernehmen lassen. Mit Eingabe vom 4. Juni 2012 nimmt X._ nochmals Stellung.

Erwägungen:
1. 1.1 Die form- und fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist mit Blick auf die Ausschlussgründe des <ref-law> zulässig, weil und soweit der Beschwerdeführer als Schweizer Bürger nach Art. 42 AuG des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) und Art. 8 EMRK sowie <ref-law> einen grundsätzlichen Bewilligungsanspruch geltend machen kann.
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), an sich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft es hingegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 2.2 S. 246).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>; <ref-ruling> E. 1.2.2 S. 252).
2. 2.1 Die Vorinstanzen begründen die Bewilligungsverweigerung für den Sohn des Beschwerdeführers damit, dass das Gesuch nicht innert Frist nach Art. 47 Abs. 1 AuG gestellt worden sei und keine wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG gegeben seien, die eine nachträgliche Familienzusammenführung rechtfertigen würden.
2.2 Nach Art. 42 Abs. 1 AuG haben u.a. ledige Kinder von Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Der Anspruch auf Familiennachzug muss gemäss Art. 47 Abs. 1 AuG innerhalb von fünf Jahren geltend gemacht werden; Kinder über zwölf Jahre müssen innerhalb von zwölf Monaten nachgezogen werden. Da der Beschwerdeführer vor dem Inkrafttreten des Ausländergesetzes am 1. Januar 2008 bereits in die Schweiz eingereist war und zu diesem Zeitpunkt das Familienverhältnis zu seinem Sohn Z._ auch schon bestand, ist auf die Übergangsbestimmung des Art. 126 Abs. 3 AuG und nicht auf Art. 47 Abs. 3 AuG abzustellen (vgl. dazu Urteile des Bundesgerichts 2C_205/2011 vom 3. Oktober 2011 E. 3.4; 2C_154/2010 vom 8. November 2010 E. 2.5 und 2C_181/2010 vom 1. Oktober 2010 E. 5.2). Diese besagt wörtlich, dass "die Fristen nach Art. 47 Absatz 1 [AuG] mit dem Inkrafttreten" des Ausländergesetzes zu laufen beginnen.
2.3 Vorliegend ist unbestritten, dass der Beschwerdeführer das Familiennachzugsgesuch nicht innert der genannten Frist von einem Jahr geltend gemacht hat. Umstritten ist, ob ein Anspruch auf nachträglichen Familiennachzug besteht. Ein solcher wird gemäss Art. 47 Abs. 4 Satz 1 AuG nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden.
2.3.1 Die wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG sind in einer mit dem Grundrecht der Achtung des Familienlebens nach <ref-law> und Art. 8 EMRK vereinbaren Weise auszulegen (Urteile 2C_205/2011 vom 3. Oktober 2011 E. 4.2 und 2C_709/2010 vom 25. Februar 2011 E. 5.1.1 in fine; Weisungen des Bundesamts für Migration, Abschnitt I. Ausländerbereich, Version 30. September 2011, Stand 30. September 2011, Ziff. 6.1.3). Solche Gründe liegen etwa dann vor, wenn das Kindeswohl nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden kann (vgl. Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]; <ref-ruling> E. 2.3.1 in fine S. 291 und Urteil 2C_44/2010 vom 26. August 2010 E. 2.1.2 in fine). Unter Hinweis auf <ref-ruling> führt die Botschaft vom 8. März 2002 zum Ausländergesetz als Beispiel an, dass die weiterhin notwendige Betreuung der Kinder im Herkunftsland etwa wegen des Todes oder der Krankheit der betreuenden Person nicht mehr gewährleistet ist (BBl 2002 3794 zu Art. 46 E-AuG). Allerdings lehnte es der Gesetzgeber ab, nur Änderungen bei den Betreuungsverhältnissen anzuerkennen, die nicht vorhersehbar waren (AB 2004 N 759-765). Im Übrigen soll mit der Fristenregelung unter anderem verhindert werden, dass Gesuche um Nachzug von Kindern rechtsmissbräuchlich erst kurz vor Erreichen des erwerbsfähigen Alters gestellt werden. Denn in diesen Fällen steht laut Botschaft oft die erleichterte Zulassung zur Erwerbstätigkeit im Vordergrund, ohne dass eine echte Familiengemeinschaft angestrebt wird (BBl 2002 3754 Ziff. 1.3.7.7).
Bei der Beurteilung, ob wichtige familiäre Gründe vorliegen, kommt mithin im Wesentlichen die unter dem früheren Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, BS 1 121 und Änderungen gemäss der Fussnote zur Ziff. I des Anhangs 2 zum AuG) entwickelte Praxis zum Nachzug zu nur einem Elternteil zum Tragen (<ref-ruling> E. 4.7 S. 86; erwähnter <ref-ruling> E. 2.3.1 in fine S. 291 und erwähntes Urteil 2C_709/2009 E. 5.1.1; vgl. zu dieser Praxis: <ref-ruling> E. 4.1 S. 80, 120 E. 2.1 S. 123 f.; <ref-ruling> E. 3.1, 5.3 und 5.5 S. 9 ff.; <ref-ruling> E. 2 und 3 S. 330 ff.; je mit Hinweisen). Danach lagen praxisgemäss keine solchen Gründe vor, wenn im Heimatland alternative Pflegemöglichkeiten bestanden, die dem Kindeswohl besser entsprachen, weil dadurch vermieden werden konnte, dass die Kinder aus ihrer bisherigen Umgebung und dem ihnen vertrauten Beziehungsnetz gerissen wurden (BGE <ref-ruling> E. 3.1.2 S. 11 f.; <ref-ruling> E. 2c S. 588 ff. mit Hinweisen). An den Nachweis der fehlenden Betreuungsmöglichkeit im Heimatland stellte die Rechtsprechung umso höhere Anforderungen, je älter das nachzuziehende Kind war und je grösser die Integrationsschwierigkeiten erschienen, die ihm hier drohten (vgl. <ref-ruling> E. 3.3.2 S. 16 sowie BGE <ref-ruling> E. 5.3 S. 19 f. mit Hinweis auf das Urteil des EGMR i.S. Tuquabo-Tekle und andere gegen Niederlande vom 1. Dezember 2005 [Nr. 60665/00]; <ref-ruling> E. 2.2 S. 289 mit zahlreichen Hinweisen).
2.3.2 Die Vorinstanz stellt - für das Bundesgericht verbindlich - fest, der Beschwerdeführer sei alleiniger Inhaber der elterlichen Sorge, nachdem die Mutter von Z._ das Sorgerecht an ihn abgetreten habe. Nach Ablauf der nach ägyptischem Recht vorgeschriebenen Zeitspanne, welche das Kind nach der Scheidung bei der Mutter verbleiben musste, habe der Beschwerdeführer Z._ bewusst bei dessen Grosseltern untergebracht. Der Beschwerdeführer habe den Kontakt zu seinem Sohn Z._ stets aufrechterhalten. Die Vorinstanz verweist auf die Ausführungen des Beschwerdeführers, wonach er und seine Familie mehrmals pro Woche mit Z._ mittels Skype kommunizieren würden, wonach die gesamte Familie, inklusive die Ehefrau und deren Eltern Z._ in Ägypten besucht habe, und wonach der Beschwerdeführer mehrmals jährlich Z._ in Ägypten besuche. Die Vorinstanz hält sodann fest, der Beschwerdeführer führe wohl zu Recht ins Feld, dass die Grosseltern - welche gemäss den Ausführungen des Beschwerdeführers Jahrgang 1922 und 1933 haben - heute nicht mehr in der Lage seien, Z._ zu betreuen. Der Beschwerdeführer hat sodann vor allen Instanzen vorgebracht, eine Betreuung von Z._ durch dessen Mutter komme nicht in Frage, da diese sich wieder verheiratet habe und ihr Ehemann bereits ein eigenes Kind habe. Letzterer habe wenig Verständnis für seinen Stiefsohn und es sei sogar zu häuslicher Gewalt gegen diesen gekommen. Das vorinstanzliche Urteil enthält hierzu und auch zu alternativen Betreuungsmöglichkeiten für Z._ in Ägypten keinerlei Feststellungen.
2.3.3 Der Beschwerdeführer hat das Familiennachzugsgesuch für seinen Sohn gestellt, als dieser etwas über vierzehneinhalb Jahre alt war. Es ist offensichtlich, dass ein Kind in diesem Alter Betreuung nötig hat. Ausgehend von der vorinstanzlichen Feststellung, dass die Grosseltern von Z._ nicht mehr in der Lage waren, ihn zu betreuen, war unausweichlich, dass eine neue Lösung gesucht werden musste. Die Vorinstanz hat sich mit den Vorbringen des Beschwerdeführers, in Ägypten liesse sich keine Lösung finden, nicht ernsthaft auseinandergesetzt. An sich ist damit der Sachverhalt mangelhaft festgestellt. Angesichts des Umstandes, dass Z._ inzwischen rund 17 Jahre alt ist, der Anspruch nach Art. 42 Abs. 1 AuG für Kinder bis zum Alter von 18 Jahren besteht und ein sachliches Interesse daran besteht, Kinder möglichst frühzeitig nachzuziehen, um damit ihre Aussichten für eine erfolgreiche Integration zu erhöhen, rechtfertigt es sich jedoch nicht, die Sache zu vertiefter Abklärung an die Vorinstanz zurückzuweisen. Vielmehr ist von der Richtigkeit der Ausführungen des Beschwerdeführers auszugehen, nachdem diese von den Vorinstanzen auch mit dem Verweis auf das Urteil 2C_73/2010 vom 27. Juli 2010 nicht in Frage gestellt wurden, beruht doch jener Fall auf einer anderen Ausgangslage.
2.3.4 Steht demnach fest, dass für den vierzehneinhalbjährigen Sohn des Beschwerdeführers in Ägypten keine Betreuungsmöglichkeit mehr bestand, so hat die Vorinstanz dessen Nachzug zu Unrecht verweigert. Sie begründet dies im Wesentlichen damit, der Beschwerdeführer hätte bereits im Zeitpunkt, als Z._ neu von dessen Grosseltern betreut wurde, dessen Nachzug in die Schweiz beantragen können. Dem Beschwerdeführer habe bereits damals klar gewesen sein müssen, dass diese Platzierung bei den betagten Grosseltern dauerhaft keine sinnvolle Lösung darstellen würde, sondern es sich um ein Provisorium handle. Dass altersbedingte Hemmnisse für den Verbleib des Kindes bei den Grosseltern in manchen Fällen bestehen würden, seien Schwierigkeiten, die der emigrierte Elternteil letztlich von Anfang an in Kauf genommen habe. Wer in ein anderes Land übersiedle, habe grundsätzlich die sich daraus für die Pflege familiärer Beziehungen ergebenden Konsequenzen zu tragen. Diese Überlegungen mögen vom Grundsatz her zutreffend sein. Im vorliegenden Kontext missachtet die Vorinstanz aber, dass gemäss der eingangs dargelegten Rechtsprechung im Zentrum der Überlegungen stehen muss, ob das Kindeswohl auch ohne Nachzug in die Schweiz sachgerecht gewahrt werden kann. Nachdem sie selber feststellt, eine Betreuung durch die Grosseltern sei nicht mehr möglich, ist diese Voraussetzung offensichtlich nicht mehr gegeben. Dies ist denn auch - entgegen den vorinstanzlichen Ausführungen - der Grund, weshalb sich gerade jetzt - d.h. im Zeitpunkt der Gesuchseinreichung - der Nachzug aufdrängt, obwohl sich Z._ zuvor im Dorf seiner Grosseltern eingelebt hatte. Dementsprechend gehen auch die Überlegungen der Vorinstanz zu einem allfälligen Rechtsmissbrauch des Beschwerdeführers an der Sache vorbei.
3. 3.1 Dem Dargelegten zufolge ist die Beschwerde gutzuheissen sowie das kantonale Amt für Migration anzuweisen, den am 20. Juni 2010 beantragten Familiennachzug im Rahmen von Art. 42 AuG zu gestatten und Z._ die hierfür erforderliche Bewilligung zu erteilen. Auf die weiteren Vorbringen des Beschwerdeführers ist bei diesem Ergebnis nicht einzugehen.
3.2 Dem Verfahrensausgang entsprechend sind keine Kosten zu erheben (<ref-law>). Der Kanton Basel-Landschaft hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>). Das Verwaltungsgericht des Kantons Basel-Landschaft wird über die Kostenverteilung für die kantonalen Verfahren neu zu befinden haben (Art. 67 i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Basel-Landschaft vom 16. November 2011 wird aufgehoben. Das Amt für Migration des Kantons Basel-Landschaft wird angewiesen, dem Nachzugsgesuch des Beschwerdeführers vom 20. Juni 2010 zu entsprechen und Z._ die entsprechende Bewilligung zu erteilen.
2. Es werden keine Kosten erhoben.
2.1 Der Kanton Basel-Landschaft hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
2.2 Das Verwaltungsgericht des Kantons Basel-Landschaft hat über die Kosten- und Entschädigungsfrage für die kantonalen Verfahren neu zu befinden.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration Basel-Landschaft, dem Regierungsrat des Kantons Basel-Landschaft, dem Kantonsgericht Basel-Landschaft, Abteilung Verfassungs- und Verwaltungsrecht, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 19. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Savoldelli