Faits : A. B.X._ est une ressortissante tunisienne née en 1970. Elle a donné naissance à Y._ en 2007, puis a épousé en Tunisie, le 8 mars 2008, le père de l'enfant, A.X._, un compatriote né en 1937 titulaire d'une autorisation d'établissement et qui séjournerait dans notre pays depuis 1962. Le 19 juin 2013, B.X._ s'est rendue auprès de l'Ambassade de Suisse à Tunis et a sollicité pour elle et sa fille des autorisations d'entrée et de séjour en Suisse pour y rejoindre A.X._. Par décision du 28 février 2014, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de délivrer les autorisations requises. B. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a, par arrêt du 28 août 2014, rejeté le recours de A.X._. Il a considéré en substance que les délais légaux pour présenter une demande de regroupement familial étaient échus et qu'aucune raison familiale majeure au sens du droit des étrangers ne pouvait fonder leur séjour en Suisse, notamment pas le décès de la mère de A.X._ dont B.X._ s'occupait en Tunisie. C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 28 août 2014 du Tribunal cantonal et de délivrer des autorisations de séjour à B.X._, ainsi qu'à Y._, subsidiairement, de renvoyer la cause au Service de la population pour instruction sur "l'intérêt de l'enfant", ainsi que sur les conditions de vie de la mère et de l'enfant en Tunisie. Le Service de la population a renoncé à se déterminer. Le Tribunal cantonal se réfère à son arrêt. L'Office fédéral des migrations (à partir du 1.1.2015: Secrétariat d'Etat aux migrations SEM) conclut au rejet du recours. Par ordonnance du 4 novembre 2014, la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'assistance judiciaire de A.X._.