Faits: A. Le 4 mars 2004, A.X._, citoyen colombien, alors au bénéfice d'une autorisation de séjour à la suite de son mariage avec B._, ressortissante suisse, a sollicité une telle autorisation en faveur de son fils, C.X._, de nationalité colombienne, né en Suisse en 2001 de sa relation avec Y._, ressortissante équatorienne en situation irrégulière sur le territoire helvétique, pour qu'il vive auprès de lui. Dans une écriture du 15 juin 2004 cosignée par son épouse, A.X._ a expliqué qu'il avait eu une liaison avec la prénommée durant son séjour en France en 2000, que cette relation avait pris fin avant la naissance de leur fils, qu'il l'avait rencontrée par hasard à Lausanne en 2003, qu'il avait alors décidé de reconnaître son fils, qu'il faisait son possible pour que celui-ci obtienne une autorisation de séjour et qu'il avait proposé à Y._ de prendre leur fils sous son toit et d'assumer tous les frais liés à ce dernier. Par lettre du 2 août 2004, cette dernière a consenti à ce que son fils vive avec son père, afin qu'il puisse obtenir une autorisation d'établissement. Par courrier du 15 août 2004, A.X._ a indiqué au Service de la population du canton de Vaud (ci-après: le Service de la population) que son fils vivait avec lui depuis le 15 février 2004 et que Y._ pouvait venir le prendre quand elle le désirait. Le 24 septembre 2004, Y._ a rempli un rapport d'arrivée, dans lequel elle a déclaré souhaiter obtenir une autorisation de séjour d'une durée illimitée. Dans des écritures des 24 et 27 septembre 2004, elle a exposé être arrivée en Suisse en 1997, avoir toujours vécu dans ce pays depuis lors, subvenir entièrement à ses besoins et n'avoir jamais eu recours aux services sociaux. Elle a encore précisé que son fils était né à Lausanne, qu'il ne pouvait vivre séparé ni de son père ni de sa mère, qu'il était bilingue, qu'il avait toutes ses attaches sur territoire helvétique, qu'elle-même s'exprimait couramment en français, qu'elle était parfaitement intégrée en Suisse et qu'il lui était impossible de retourner vivre en Equateur. Le 25 janvier 2006 est née D._, fille des époux A.X._ et B._. Le 21 décembre 2006, le Service de la population a informé Y._ qu'il était disposé à lui délivrer une autorisation de séjour fondée sur l'art. 13 let. f de l'ordonnance du 6 octobre 1986 limitant le nombre des étrangers (OLE; RO 1986 1791 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2007) et a transmis le dossier à l'Office fédéral des migrations (ci-après: l'Office fédéral) pour décision. Par décision du 10 avril 2007, l'Office fédéral a refusé de mettre C.X._ et sa mère au bénéfice d'une exception aux mesures de limitation, prononcé qui a été confirmé par arrêt du Tribunal administratif fédéral du 24 novembre 2007. B. Ayant entre-temps obtenu une autorisation d'établissement, A.X._ a déposé auprès du Service de la population, le 14 août 2007, une demande de regroupement familial pour son fils, fondée sur l'art. 17 al. 2 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2007). Le 18 juin 2008, les époux A.X._ et B._ se sont séparés. Par décision du 19 décembre 2008, le Service de la population a refusé de délivrer une autorisation de séjour par regroupement familial en faveur de C.X._. Saisi d'un recours contre ce prononcé, le Tribunal cantonal vaudois l'a admis par arrêt du 9 septembre 2009 et a renvoyé le dossier au Service de la population pour nouvelle décision. Par courrier du 7 octobre 2009, le Service de la population a déclaré être favorable à la délivrance d'une autorisation de séjour fondée sur l'art. 30 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) en faveur du prénommé et a transmis le dossier à l'Office fédéral pour approbation. C. Par décision du 15 juin 2010, l'Office fédéral a refusé d'approuver l'octroi d'une autorisation de séjour en faveur de C.X._ et prononcé son renvoi de Suisse. A.X._ a déféré cette décision au Tribunal administratif fédéral qui a rejeté le recours par arrêt du 25 août 2011. Après avoir considéré que la demande de regroupement familial devait être examinée à la lumière de l'ancien droit des étrangers (LSEE et OLE), encore applicable en l'espèce, cette autorité a nié l'existence de raisons importantes, au sens de l'art. 36 OLE, justifiant d'accorder une autorisation de séjour à C.X._. Le Tribunal administratif fédéral a en outre estimé que l'art. 8 CEDH ne commandait pas davantage d'octroyer l'autorisation sollicitée et que le renvoi de l'intéressé avait été prononcé à bon droit. D. Agissant par la voie du recours de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 25 août 2011 et, principalement, d'approuver l'octroi d'une autorisation de séjour à son fils C.X._, subsidiairement, d'ordonner à l'Office fédéral de donner son consentement à la délivrance d'un tel titre de séjour et, plus subsidiairement, de renvoyer la cause à ce dernier pour complément d'instruction et nouvelle décision dans le sens des considérants. Il se plaint de violation de l'art. 8 CEDH. A titre préalable, il requiert que son recours soit doté de l'effet suspensif et demande à bénéficier de l'assistance judiciaire. L'Office fédéral propose le rejet du recours, alors que l'autorité précédente a renoncé à se déterminer. La requête d'assistance judiciaire a été rejetée par ordonnance de la IIe Cour de droit public du 6 octobre 2011. L'effet suspensif a été accordé par ordonnance présidentielle du 10 octobre 2011.