Faits: A. X._, né en 1981, ressortissant de Guinée, est arrivé en Suisse le 11 avril 1998 sous le nom de Y._, né en 1980. La demande d'asile qu'il avait alors déposée a été rejetée le 27 octobre 1999. Un délai de départ au 15 décembre 1999 lui a été imparti pour quitter la Suisse. Par jugement du 25 novembre 1999, le Tribunal correctionnel du district de Neuchâtel a condamné l'intéressé à trois ans d'emprisonnement et expulsion du territoire durant sept ans pour trafic de drogue en bande et par métier entre avril 1998 et janvier 1999. Le 6 janvier 2001, il a été libéré conditionnellement. Par jugement du 13 juin 2002, l'intéressé a été condamné une nouvelle fois par le Tribunal correctionnel du district de La Chaux-de-Fonds à douze mois d'emprisonnement et à l'expulsion à vie du territoire suisse pour infractions à la loi fédérale sur les stupéfiants (LStup; RS 812.121) et rupture de ban. Par décision du 1er octobre 2004, l'Office fédéral des migrations (ci-après: ODM) a prononcé à l'encontre de l'intéressé une interdiction d'entrée en Suisse de durée indéterminée. Par jugement du 14 octobre 2005, le Tribunal de police du district de La Chaux-de-Fonds a condamné l'intéressé à 2 mois d'emprisonnement pour violence ou menace contre les autorités et les fonctionnaires et dénonciation calomnieuse. De décembre 2005 à juillet 2006, l'intéressé a été maintenu en détention administrative en vue de son renvoi. Il a refusé de collaborer à son renvoi de Suisse. Le 18 juillet 2006, cette mesure a été levée. Le 21 septembre 2007, X._ a épousé Z._, ressortissante suisse. C'est au cours des démarches entreprises dans ce but qu'il a révélé sa véritable identité à l'ODM. Par décision du 15 mai 2008, l'ODM a refusé d'approuver l'octroi d'une autorisation de séjour par le canton de Neuchâtel, et a fixé à l'intéressé un délai au 31 juillet 2008 pour quitter la Suisse. X._ a recouru contre cette décision auprès du Tribunal administratif fédéral (ci-après: TAF), concluant à la restitution de l'effet suspensif, à l'annulation de la décision attaquée et l'approbation de la décision du Service cantonal. Par décision incidente du 25 juillet 2008, le Juge instructeur du TAF a refusé la restitution de l'effet suspensif au motif que le recours était d'emblée voué à l'échec. Agissant par voie de recours en matière de droit public, X._ a demandé l'annulation de la décision rendue le 25 juillet 2008 par le Juge instructeur, recours rejeté par arrêt du Tribunal fédéral du 24 septembre 2008 (arrêt 2C_597/2008). Produisant un certificat de grossesse établi au sujet de son épouse, X._ a sollicité de l'ODM, le 15 octobre 2008, la reconsidération de la décision du 15 mai 2008. Par lettre du 6 novembre 2008, l'Office fédéral des migrations a fait savoir à l'intéressé que cette situation ne pouvait être considérée comme un élément nouveau dont l'importance justifiait, en regard des circonstances sur lesquelles se fondait le prononcé de refus d'approbation, un réexamen de ce dernier. Par envoi du 3 avril 2009, le recourant a fait parvenir au Tribunal administratif fédéral l'acte de décès à la naissance, le 21 mars 2009, de A._, l'enfant du couple. L'intéressé a relevé que, face à ce nouvel événement, les conjoints avaient besoin d'être encore plus proches l'un de l'autre. Il a en outre souligné qu'il n'avait commis aucun écart depuis le dépôt de son recours. Par arrêt du 19 mai 2009, le Tribunal administratif fédéral a rejeté le recours, rejet confirmé par le Tribunal fédéral le 19 octobre 2009 (arrêt 2C_454/2009). B. Le 3 mars 2010, X._ a présenté une demande de révision au TAF, argument pris que son épouse avait, en date du 5 février 2010, donné naissance à un enfant, B._, et que cette circonstance justifiait une nouvelle pesée des intérêts en présence dans le cadre de l'examen de ses conditions de séjour en Suisse. Le TAF, par arrêt du 12 mars 2010, n'est pas entré en matière sur la requête de l'intéressé. Dès lors que l'élément sur lequel X._ fondait sa demande de révision constituait un fait postérieur aux arrêts rendus par le TAF le 19 mai 2009, respectivement par le Tribunal fédéral le 19 octobre 2009, le TAF a transmis la requête de l'intéressé à l'ODM, qui a été invité à la traiter sous l'angle du réexamen. Par décision rendue le 16 août 2010, l'ODM a refusé d'entrer en matière, tout en considérant que la naissance de l'enfant B._ ne constituait pas un fait nouveau susceptible de modifier la pesée des intérêts en faveur de X._. Par arrêt du 14 octobre 2011, le TAF a rejeté le recours de X._ à l'encontre de cette décision de l'ODM, considérant que le prénommé n'avait fait valoir aucun élément ou changement notable, survenu postérieurement à la décision de l'ODM du 15 mai 2008, qui permettrait de considérer qu'il ne remplit plus les conditions de l'art. 51 al. 1 let. b de la loi fédérale sur les étrangers (LEtr; RS 142.20), en relation avec l'art. 63 LEtr. C. Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, X._ demande principalement au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 14 octobre 2011 et, statuant au fond, de lui accorder la prolongation de son autorisation de séjour. Subsidiairement, il requiert de renvoyer la cause à l'autorité précédente pour un nouvel examen. Il sollicite l'octroi de l'effet suspensif et l'assistance judiciaire. Il invoque les art. 8 CEDH, 20 du Traité sur le fonctionnement de l'Union européenne, 2 de l'accord entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; 0.142.112.681), 3 de l'annexe 1 ALCP et 9 Cst., et se plaint de la violation du droit fédéral et notamment constitutionnel, de la violation du droit international et de l'établissement inexact des faits. Reprenant des motifs déjà invoqués dans de précédentes procédures relatives à l'octroi d'une autorisation de séjour, X._ se fonde principalement sur la naissance de son fils pour invoquer le droit à la protection de la vie privée et familiale. Par ordonnance incidente du 1er décembre 2011, le président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.