Sachverhalt: A. X._ (geb. 1969), aus Ägypten stammend, reiste am 26. August 2002 in die Schweiz ein und heiratete am 17. Oktober 2002 die Schweizer Staatsangehörige Y._, mit welcher er einen gemeinsamen Sohn A._ (geb. 2004) und eine gemeinsame Tochter B._ (geb. 2007) hat. Am 9. September 2009 erhielt X._ im Rahmen der erleichterten Einbürgerung die Schweizer Staatsbürgerschaft. Am 20. Juni 2010 ersuchte X._ um Familiennachzug für seinen aus erster Ehe stammenden Sohn Z._, geboren 1995, welcher bis dahin in Ägypten gelebt hatte. Das Amt für Migration des Kantons Basel-Landschaft wies das Gesuch mit Verfügung vom 29. September 2010 ab. Zur Begründung führte es aus, die Frist für den Nachzug von Z._ sei bereits am 1. Januar 2009 abgelaufen. Ein nachträglicher Familiennachzug sei weder im Hinblick auf das Kindeswohl und die Betreuungsbedürftigkeit gerechtfertigt noch könnten die Integrationschancen als ausreichend qualifiziert werden. In der Folge erhob X._ gegen die Verweigerung des Nachzugs von Z._ erfolglos Rechtsmittel beim Regierungsrat sowie beim Kantonsgericht des Kantons Basel-Landschaft. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. Februar 2012 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 16. November 2011 (zugestellt am 3. Januar 2012) aufzuheben und das Amt für Integration anzuweisen, ihm den Familiennachzug des Sohnes Z._ in die Schweiz zu bewilligen und diesem entsprechend die Aufenthaltsbewilligung zu erteilen. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Kantonsgericht zurückzuweisen, gegebenenfalls verbunden mit der Anweisung, eine Bewilligungserteilung allenfalls unter Erteilung von Auflagen im Sinne von Art. 51 AuG anzuordnen. Der Regierungsrat sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht verzichtet auf eine Vernehmlassung. Das kantonale Amt für Migration hat sich nicht vernehmen lassen. Mit Eingabe vom 4. Juni 2012 nimmt X._ nochmals Stellung.