Faits:
A. X._, ressortissant de côte d'Ivoire né en 1980, est entré en Suisse le 15 avril 2007 pour y déposer une demande d'asile. Par décision du 22 mai 2007, confirmée par le Tribunal administratif fédéral le 7 avril 2008, l'Office fédéral des migrations n'est pas entré en matière sur cette demande et a prononcé son renvoi de Suisse.
L'intéressé a été interpellé le 28 juillet 2008 à Genève dans le cadre d'un contrôle de police à l'issue duquel il a reconnu s'adonner à la vente de cocaïne. Prévenu d'infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup; RS 812.121), il a été placé en détention préventive. Par jugement du 13 novembre 2008, le Tribunal de police de Genève l'a condamné pour infraction à l'art. 19 ch. 1 et ch. 2 let. a LStup à une peine privative de liberté de deux ans, avec sursis pendant quatre ans.
Le 5 mars 2010, X._ a contracté mariage à Vernier (GE) avec Y._, ressortissante suisse et portugaise. Par requête du 15 mars 2010, il a sollicité l'octroi d'une autorisation de séjour au titre du regroupement familial. Le 19 août 2010, l'Office de la population du canton de Genève (ci-après : l'Office de la population) s'est déclaré disposé à lui délivrer une autorisation de séjour en application de l'art. 42 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), sous réserve de l'approbation de l'Office fédéral des migrations.
B. Après lui avoir donné l'occasion de s'exprimer, l'Office fédéral des migrations a refusé d'approuver l'octroi de l'autorisation de séjour requise, par décision du 10 janvier 2011. Il a retenu que X._ avait gravement porté atteinte à l'ordre et à la sécurité publics en se livrant à un trafic de drogue, que son comportement répondait aux conditions d'application de l'art. 63 al. 1 let. b LEtr et qu'au vu de l'activité délictueuse déployée, il ne pouvait pas se prévaloir de l'art. 8 par. 1 de la Convention du 4 novembre 1950 de sauvegarde des droits de l'homme et des libertés fondamentales (CEDH; RS 0.101) pour prétendre à l'octroi d'une autorisation de séjour en Suisse.
Saisi d'un recours contre la décision précitée de l'Office fédéral des migrations, le Tribunal administratif fédéral l'a rejeté, par arrêt du 21 septembre 2011. Il a considéré, en substance, que la condamnation de l'intéressé à une peine privative de liberté de longue durée au sens de l'art. 62 let. b LEtr justifiait le refus d'octroyer l'autorisation de séjour sollicitée et que la pesée des intérêts publics et privés, tant au plan du droit interne qu'au regard de l'art. 8 CEDH, conduisait au même résultat. Il a également retenu que X._ présentait encore une menace actuelle pour l'ordre et la sécurité publics au sens de l'art. 5 par. 1 de l'annexe I à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681).
C. Agissant par la voie du recours en matière du droit public et par celle du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 21 septembre 2011 ainsi que la décision de l'Office fédéral des migrations du 10 janvier 2011 et, principalement, d'ordonner à l'Office fédéral des migrations l'approbation à l'octroi, par le canton de Genève, d'une autorisation de séjour au titre du regroupement familial, subsidiairement, de renvoyer la cause à l'Office fédéral des migrations pour nouvelle décision. Il soutient qu'il a droit à une autorisation de séjour dès lors qu'il ne représente plus une menace pour la sécurité et l'ordre publics, que les autorités précédentes ont fait fi de sa situation personnelle et que l'arrêt entrepris viole la garantie au respect de sa vie privée et familiale.
Le Tribunal administratif fédéral renonce à se prononcer sur le recours. L'Office fédéral des migrations propose de le rejeter.
D. Statuant sur la requête d'effet suspensif présentée par X._ le 23 janvier 2012, le Président de la IIe Cour de droit public l'a admise, par ordonnance du 27 janvier 2012.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 472 et les arrêts cités).
1.1 Le recourant a formé, en un seul acte (cf. art. 119 LTF), un recours en matière de droit public et un recours constitutionnel subsidiaire. La recevabilité du premier excluant celle du second (cf. art. 113 LTF), il convient d'examiner en priorité si la voie du recours en matière de droit public est ouverte.
1.2 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit. D'après la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 179).
En l'espèce, le recourant est l'époux d'une citoyenne suisse avec laquelle il fait ménage commun (cf. art. 42 al. 1 LTF); il dispose ainsi du droit de résider durablement en Suisse (<ref-ruling> consid. 1.3.1 p. 145 s.). En outre, l'épouse du recourant est également de nationalité portugaise, ce qui confère au recourant un droit potentiel à une autorisation de séjour. En effet, le conjoint d'un ressortissant de la Communauté européenne ayant un droit de séjour en Suisse dispose, en vertu des art. 7 let. d ALCP et 3 par. 1 et 2 annexe I ALCP, d'un droit (dérivé) à une autorisation de séjour en Suisse pendant toute la durée formelle de son mariage.
1.3 Les autres conditions de recevabilité du recours en matière de droit public (art. 82 ss LTF) étant réunies, il convient d'entrer en matière. Il s'ensuit que le recours constitutionnel subsidiaire déposé par le recourant est irrecevable. Au demeurant, la voie du recours constitutionnel subsidiaire ne lui est pas ouverte, seules les décisions des autorités cantonales de dernière instance pouvant faire l'objet d'un tel recours et non pas celles émanant, comme en l'espèce, d'une autorité fédérale (cf. arrêt 2C_95/2010 du 7 juillet 2010 consid. 4.3).
2. Aux termes de son art. 2 al. 2, la LEtr n'est applicable aux ressortissants des Etats membres de la Communauté européenne, aux membres de leur famille et aux travailleurs détachés par un employeur ayant son siège ou son domicile dans un de ces Etats que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque la présente loi fédérale prévoit des dispositions plus favorables.
Selon l'art. 3 al. 1 de l'annexe I ALCP, les membres de la famille d'une personne ressortissante d'une partie contractante ayant un droit de séjour ont le droit de s'installer avec elle. Cela vaut notamment pour son conjoint, quelle que soit sa nationalité (art. 3 par. 2 let. a annexe I ALCP).
Comme l'ensemble des droits octroyés par l'ALCP, ce droit ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 par. 1 annexe I ALCP, dont le cadre et les modalités sont définis par les trois directives citées - dont la plus importante est la directive 64/221/CEE -, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes (ci-après: la Cour de justice ou CJCE) rendue avant la signature de l'accord le 21 juin 1999 (cf. art. 5 par. 2 annexe I ALCP en relation avec l'art. 16 al. 2 ALCP; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.6 p. 9 ss, 113 consid. 5.2 p. 119 s. et les références citées).
Conformément à la jurisprudence de la Cour de justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d' "ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (cf. <ref-ruling> consid. 4.2; <ref-ruling>76 consid. 3.4.1 p. 182; <ref-ruling> consid. 7.3 p. 222 et les arrêts cités de la CJCE). En outre, les mesures d'ordre public ou de sécurité publique doivent être fondées, aux termes de l'art. 3 par. 1 de la directive 64/221/CEE, exclusivement sur le comportement personnel de celui qui en fait l'objet. Des motifs de prévention générale détachés du cas individuel ne sauraient donc les justifier (ATF <ref-ruling>76 consid. 3.4.1 p. 183, <ref-ruling> consid. 7.1 p. 221 et l'arrêt cité de la CJCE du 26 février 1975 67/74 Bonsignore, Rec. 1975 p. 297 points 6 et 7). D'après l'art. 3 par. 2 de la directive 64/221/CEE, la seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 4.2; <ref-ruling>76 consid. 3.4.1 p. 183 s.; <ref-ruling> consid. 7.4 p. 222 et les arrêts cités de la CJCE; cf. également <ref-ruling> consid. 4.3 p. 24 qui souligne le " rôle déterminant " du risque de récidive). Selon les circonstances, la jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 4.2; <ref-ruling>76 consid. 3.4.1 p. 183 s. et l'arrêt cité de la CJCE du 27 octobre 1977 C-30/77 Bouchereau, Rec. 1977 p. 1999 point 29). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (<ref-ruling> consid. 3.3 p. 499 s.). L'évaluation du risque de récidive sera d'autant plus rigoureuse que le bien juridique menacé est important (cf. <ref-ruling> consid. 4.2; <ref-ruling>76 consid. 4.3.1 p. 185 s.).
3. En l'occurrence, le recourant a été condamné, à une reprise, pour trafic de stupéfiants, à une peine privative de liberté de deux ans, avec sursis pendant quatre ans. Son activité délictueuse s'est déployée de janvier à juillet 2008, soit pendant une période relativement longue. Mû par le seul appât du gain, il a écoulé plus de 800 gr. de cocaïne sur la place de Genève. Les infractions dont il s'est rendu coupable sont indiscutablement graves dans la mesure où elles ont affecté un intérêt fondamental de la société. Il est en effet de jurisprudence constante que la protection de la collectivité publique face au développement du commerce de la drogue constitue un intérêt public prépondérant justifiant l'éloignement de Suisse d'un étranger mêlé à ce genre d'activités (cf. par exemple, arrêts 2C_547/2010 du 10 décembre 2010 consid. 3 et 2C_222/2010 du 29 juillet 2010 consid. 7.2). La peine à laquelle le recourant a été condamné est supérieure à la limite d'un an servant à définir la peine privative de liberté de longue durée dont l'art. 62 let. b LEtr fait dépendre la révocation d'une autorisation autre que l'établissement (cf. <ref-ruling> consid. 4.2 p. 379 s.). Elle correspond à la limite de deux ans à partir de laquelle la jurisprudence admet qu'un étranger qui n'a séjourné en Suisse que peu de temps ne peut en principe plus y bénéficier d'un titre de séjour, même si l'on ne peut que difficilement exiger de son épouse de nationalité suisse qu'elle quitte le pays (pratique " Reneja ", demeurant valable sous la LEtr : <ref-ruling> consid. 4.3 et 4.4 p. 381 ss).
Ces constatations sont toutefois insuffisantes pour retenir que le recourant constitue encore, à l'heure actuelle, une menace pour l'ordre public. Il convient en effet d'apprécier le risque de récidive qu'il peut présenter. Il faut relever, à cet égard, que le juge pénal a émis un pronostic favorable en assortissant la peine privative de liberté du sursis. Il a considéré, alors que le recourant était célibataire, sans ressources financières et sans domicile fixe, qu'une peine assortie d'une telle mesure était de nature à le dissuader de commettre de nouvelles infractions. La confiance qui lui a ainsi été accordée n'a pas été trahie puisque le recourant n'a plus commis d'infraction depuis le mois de juillet 2008. Cette circonstance favorable pourrait certes s'expliquer par le fait que le délai d'épreuve de quatre ans n'est pas encore échu. Elle est plus vraisemblablement liée à l'évolution du parcours personnel du recourant, qui est désormais marié, bientôt père de famille et qui occupe depuis plus d'un an un emploi à raison de 50 % environ. Le recourant a noué des liens affectifs solides à Genève, où il dispose d'un foyer et d'une situation financière saine, qui est assurément de nature à le dissuader de subvenir à ses besoins de manière illicite. Son mariage lui a apporté l'équilibre qui lui faisait défaut à son arrivée à Genève. Il lui a permis de s'intégrer aux contacts des amis et connaissances de son épouse. Au plan associatif, le recourant exerce une activité sportive au sein d'un club de football de la ville de Genève. La stabilité affective, financière et socio-professionnelle dont bénéficie actuellement le recourant permet de confirmer le pronostic favorable du juge pénal et de considérer que le risque de récidive est faible. Dans ces conditions, il y a lieu d'admettre, conformément à la jurisprudence selon laquelle les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive (cf. consid. 2 ci-dessus), que le recourant ne représente pas, en l'état, une menace suffisamment grave pour justifier une mesure d'ordre public au sens de l'art. 5 annexe I ALCP et de la directive 64/221/CEE. Il convient toutefois de souligner que s'il devait récidiver, le recourant s'exposerait à des mesures d'éloignement.
4. Vu ce qui précède, le recours en matière de droit public doit être admis, la décision attaquée annulée et la cause renvoyée à l'Office fédéral des migrations pour qu'il approuve l'octroi de l'autorisation de séjour sollicitée par le recourant. Le recours constitutionnel subsidiaire est irrecevable.
Il n'y a pas lieu de percevoir de frais judiciaires (cf. art. 66 al. 4 LTF). Succombant, l'Office fédéral des migrations versera au recourant une indemnité à titre de dépens (cf. art. 68 al. 1 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure qui s'est déroulée devant elle.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est admis. L'arrêt du Tribunal administratif fédéral du 21 septembre 2011 est annulé et la cause est renvoyée à l'Office fédéral des migrations pour qu'il approuve l'octroi de l'autorisation de séjour sollicitée par le recourant.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. L'arrêt du Tribunal administratif fédéral du 21 septembre 2011 est annulé et la cause est renvoyée à l'Office fédéral des migrations pour qu'il approuve l'octroi de l'autorisation de séjour sollicitée par le recourant.
4. Le recourant recevra, dans le sens des considérants, un avertissement selon l'art. 96 al. 2 LEtr.
5. La cause est renvoyée au Tribunal administratif fédéral afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
6. Il n'est pas perçu de frais judiciaires.
7. L'Office fédéral des migrations versera au recourant une indemnité de 2'000 fr. à titre de dépens.
8. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population du canton de Genève, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 14 mai 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz