Faits: A. X._, ressortissant du Kosovo, est arrivé en Suisse le 29 octobre 1989. Il est aujourd'hui titulaire d'une autorisation d'établissement. Il a trois enfants, soit A._, né le *** 1990, B._, né le *** 1994, et C._, née le *** 1995, tous nés au Kosovo. Leur mère, D._, née le *** 1968, est domiciliée au Kosovo. B._ et C._ sont nés au Kosovo et y ont toujours vécu auprès de leur mère. Le 19 avril 1999, X._ a déposé une demande de regroupement familial en faveur de la mère de ses enfants et de ceux-ci, ainsi que de sa propre mère. L'intéressé l'a retirée le 13 juin 2000 au motif qu'il ne disposait pas de moyens financiers suffisants et que ses enfants et leur mère n'avaient pas encore de documents de légitimation valables. B. Par décision du 13 septembre 2004, le Service de la population du canton de Vaud (ci-après: le Service de la population) a délivré une autorisation d'établissement en faveur de A._. Le 8 mars 2007, B._ a déposé une demande de visa en vue de rejoindre son père en Suisse et de vivre auprès de lui. Par décision du 17 avril 2008, le Service de la population a refusé l'autorisation d'entrée, respectivement de séjour. X._ a déposé un recours à l'encontre de cette décision. C._ a fait une demande de visa le 27 juin 2008. Par décision du 20 novembre 2008, le Service de la population a refusé l'autorisation d'entrée, respectivement de séjour en sa faveur. X._ a recouru à l'encontre de cette décision. C. Le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), après avoir joint les procédures concernant B._ et C._, a rejeté les recours par arrêt du 27 juillet 2009. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 27 juillet 2009 du Tribunal cantonal, de délivrer une autorisation d'entrée, respectivement de séjour à B._ et C._, subsidiairement de renvoyer le dossier à l'autorité inférieure pour instruction complémentaire et nouvelle décision dans le sens des considérants. Le Service de la population renonce à se déterminer sur le recours. Le Tribunal cantonal se réfère aux dispositif et considérants de son arrêt. L'Office fédéral des migrations conclut au rejet du recours.