Faits:
A. Le 23 septembre 2002, X._, ressortissant gambien, né en 1980, a déposé en Suisse une demande d'asile au nom de A._, ressortissant du Libéria. Sous cette fausse identité, il a été condamné par le Tribunal de l'arrondissement de Zurich, le 8 septembre 2005, à vingt-deux mois d'emprisonnement ferme pour infraction qualifiée à la loi fédérale sur les stupéfiants (LStup; RS 812.121). La demande d'asile ayant été définitivement rejetée le 4 avril 2006, l'Office fédéral des migrations (en abrégé: ODM) a prononcé une interdiction d'entrée en Suisse à son encontre, valable jusqu'au 3 décembre 2011.
Le 14 décembre 2007, X._ a épousé une ressortissante suisse, B._, mère de deux enfants issus de précédentes relations. Partant, il a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial.
Par ordonnance du 28 avril 2008, le juge d'instruction genevois a reconnu X._ coupable d'infraction à la LStup et l'a condamné à une peine privative de liberté de quatre mois.
Compte tenu de ses condamnations, l'ODM a, par courrier du 13 novembre 2008, invité l'Office cantonal de la population du canton de Genève à ne pas renouveler l'autorisation de séjour de X._.
Le *** 2009, un enfant prénommé C._ est né de l'union des époux X._-B._.
Par décision du 13 novembre 2009, déclarée exécutoire nonobstant recours, l'Office cantonal de la population a refusé de renouveler l'autorisation de séjour de X._ et lui a imparti un délai pour quitter la Suisse.
Par jugement du Tribunal de police du canton de Genève du 1er février 2010, confirmé par la Cour de justice le 3 mai 2010, X._ a été condamné à une peine d'emprisonnement de vingt mois pour infractions à la LStup.
Le 25 janvier 2011, le Tribunal administratif de première instance du canton de Genève a rejeté le recours déposé par l'intéressé contre la décision de l'Office cantonal de la population du 13 novembre 2009.
B. X._ a recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) qui, par décision du 28 mars 2011, a refusé la demande de mesures provisionnelles tendant à autoriser le recourant à demeurer en Suisse et à y travailler. Le recours en matière de droit public contre cette décision, déposé auprès du Tribunal fédéral par X._, a été rejeté dans la mesure de sa recevabilité, par arrêt du 23 août 2011 (2C_347/2011).
Après avoir entendu les parties, la Cour de justice a rejeté le recours au fond et a confirmé le renvoi en Gambie du recourant, par arrêt du 15 mai 2012. Elle a retenu qu'au vu des condamnations pénales de l'intéressé, l'autorisation de séjour de ce dernier pouvait être révoquée. Par ailleurs, au vu de la pesée des intérêts en présence, le recourant ne pouvait bénéficier de la protection de l'art. 8 CEDH.
C. Agissant par la voie du recours en matière de droit public, X._ conclut, principalement, à l'annulation de l'arrêt de la Cour de justice du 15 mai 2012 et au renouvellement de son autorisation de séjour, subsidiairement, au renvoi du dossier à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Le recourant présente également une demande d'assistance judiciaire, en faisant valoir qu'il ne bénéficie d'aucun revenu et que son épouse est soutenue par l'Hospice général.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal de la population a été invité à produire son dossier sans échange d'écritures.
D. Par ordonnance présidentielle du 4 juillet 2012, l'effet suspensif a été attribué au recours.

Considérant en droit:
1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.1 D'après l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui.
Le recourant a épousé une Suissesse et il n'est pas contesté qu'il cohabite avec elle. Le recours est donc recevable sous cet angle.
1.2 En outre, un étranger peut, selon les circonstances, se prévaloir du droit au respect de la vie privée et familiale garanti par l'art. 8 § 1 CEDH, respectivement art. 13 al. 1 Cst., pour s'opposer à l'éventuelle séparation de sa famille. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse (nationalité suisse ou autorisation d'établissement) soit étroite et effective (<ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211). D'après la jurisprudence, les relations familiales qui peuvent fonder, en vertu de l'art. 8 § 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 261).
Il est en l'espèce établi que le recourant vit avec sa femme et son fils, qui sont tous deux de nationalité suisse, de sorte que son recours est également recevable, sous l'angle de l'art. 8 § 1 CEDH.
1.3 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par la destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le présent recours en matière de droit public est en principe recevable.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), alors qu'il ne revoit la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire (cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 4.1 p. 133). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; cf. aussi <ref-law>).
3. Le recourant invoque en premier lieu une violation de son droit d'être entendu (art. 29 al. 2 Cst.), parce que l'Office cantonal de la population a pris en compte son interpellation du 25 septembre 2009 pour trafic de stupéfiants pour fonder le risque de récidive, alors que sa détermination datait du 25 février 2009. Il n'a donc pas pu s'exprimer sur ce point avant la décision de l'autorité administrative du 13 novembre 2009, qui bénéficierait d'un pouvoir d'examen plus étendu que les juridictions de recours. Le recourant reproche également aux juges cantonaux de ne pas avoir donné suite à des mesures d'instruction au sujet de l'état de santé de son fils et d'avoir arbitrairement écarté le certificat médical produit avec sa réplique du 31 août 2011.
3.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. doit permettre à l'intéressé de s'exprimer sur des éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 3.1 p. 277). La jurisprudence a également déduit de l'art. 29 al. 2 Cst. le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (<ref-ruling> consid. 3.1 p. 370). Le droit d'être entendu ne s'oppose cependant pas à ce que l'autorité mette un terme à l'instruction lorsque lorsque les preuves administrées lui permettent de se forger une conviction et que, procédant d'une façon non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient plus l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 5.3 p. 148).
L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les arrêts cités).
3.2 Comme l'a constaté la Cour de justice, le recourant a pu s'exprimer à plusieurs reprises sur les faits qui ont donné lieu à son interpellation du 25 septembre 2009, suivie de sa condamnation du 1er février 2010 à vingt mois d'emprisonnement, que ce soit devant le Tribunal administratif de première instance, où il a été entendu le 25 janvier 2011, puis devant la Cour de justice elle-même, lors de son audition du 20 mai 2011 et dans ses écritures, de sorte que l'éventuelle violation de son droit d'être entendu devant l'Office cantonal de la population a été largement réparée. Le risque de récidive et la proportionnalité du refus de l'autorisation de séjour au regard de l'art. 96 de la loi fédérale sur les étrangers (LEtr; RS 142.20) doivent en effet s'apprécier en tenant compte de tous les éléments dont l'autorité dispose au moment où elle statue, de sorte que la dernière condamnation du recourant en février 2010 n'a pu qu'aggraver sa situation. Le recourant se prévaut dès lors en vain du fait qu'il n'a pas été en mesure de se déterminer sur le trafic de drogue qui lui a été reproché en novembre 2009 devant l'Office cantonal de la population.
3.3 En ce qui concerne l'état de santé du fils du recourant, la Cour cantonale a bien mentionné le certificat médical du 25 mai 2011 établi par le chef de clinique d'ophtalmologie pédiatrique des Hôpitaux universitaires de Genève, attestant que C._ était suivi en ophtalmologie depuis le 18 avril 2011 pour un strabisme accommodatif amblyopique de l'oeil droit, ainsi que les déclarations, non documentées des époux X._ au sujet d'un pied de l'enfant qui serait tourné vers l'extérieur. Elle pouvait cependant en déduire sans arbitraire que les problèmes de santé soulevés n'étaient pas déterminants pour la décision à rendre et qu'à tout le moins, le recourant n'avait pas démontré que les soins dont l'enfant avait besoin étaient à ce point importants qu'ils ne pourraient pas lui être prodigués en Gambie, si sa famille décidait de le suivre dans ce pays. Compte tenu des problèmes de santé en question, les juges cantonaux pouvaient mettre un terme à l'instruction et écarter les enquêtes et témoignages requis par le recourant, qui n'auraient pas modifié leur appréciation.
3.4 Le recours n'est ainsi pas fondé en tant qu'il porte sur la violation du droit d'être entendu du recourant et l'appréciation arbitraire des preuves.
4. 4.1 D'après l'art. 51 al. 1 let. b LEtr, les droits prévus à l'art. 42 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 62 LEtr. Selon l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation, à l'exception de l'autorisation d'établissement, ou une autre décision fondée sur la présente loi, notamment lorsque l'étranger a été condamné à une peine privative de liberté de longue durée. Une peine privative de liberté est considérée comme de longue durée, au sens de l'art. 62 let. b LEtr, lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 2.3.6; <ref-ruling> consid. 4.2 p. 379).
4.2 En l'espèce, les conditions d'extinction du droit à l'octroi d'un titre de séjour en Suisse en vertu de l'art. 42 al. 1 LEtr sont remplies, dès lors que le recourant a été condamné à trois reprises pour infractions à la LStup, soit à des peines de vingt-quatre mois en septembre 2005, quatre mois en avril 2008 et vingt mois en février 2010. Cela étant, le refus de l'autorisation ou la révocation de celle-ci ne se justifie que si la pesée des intérêts à effectuer fait apparaître la mesure comme proportionnée (cf. art. 96 al. 1 LEtr). Dans ce cadre, il y a lieu notamment de prendre en considération la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure. La pesée des intérêts effectuée à ce titre se confond avec celle à opérer en application de l'art. 8 § 2 CEDH (ATF <ref-ruling> consid. 4.3 p. 381; arrêt 2C_117/2012 du 11 juin 2012, consid. 4.5.1 et les arrêts cités).
4.3 D'une manière générale, il y a lieu en effet d'apprécier le risque de récidive de façon d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20 et les références citées); le Tribunal fédéral se montre particulièrement rigoureux, lorsqu'il s'agit, comme en l'espèce, d'infractions à la législation fédérale sur les stupéfiants pouvant porter atteinte à l'intégrité corporelle ou physique d'une personne (<ref-ruling> consid. 3.3 p. 303). A cet égard, le comportement du recourant est loin d'être exemplaire, puisqu'il a d'emblée trompé les autorités en septembre 2002, en se faisant enregistrer comme demandeur d'asile sous un faux nom, puis a été condamné pendant la procédure de recours pour infractions qualifiées à la LStup. Il n'a ensuite échappé à l'interdiction d'entrée en Suisse prononcée à son encontre en septembre 2006 qu'en raison de son union avec une ressortissante suisse. Ce mariage, puis la naissance de son fils en 2009, ne l'ont pas empêché de poursuivre son activité délictueuse. Il a ainsi été placé en détention avant jugement, à la suite de la saisie de drogues effectuée par la police au domicile conjugal le 25 septembre 2009. Au vu de la gravité des délits commis par le recourant, qui lui ont valu des condamnations ferme, dont deux de longue durée, le risque de récidive ne saurait être exclu uniquement en raison du fait qu'aucune infraction pénale ne lui a été reprochée depuis sa libération conditionnelle en novembre 2010. Quant à la durée de son séjour en Suisse, elle doit être relativisée, dès lors que les séjours effectués pendant la procédure d'asile ne sont pas pris en compte lorsque la demande est rejetée (<ref-ruling> consid. 4.4 p. 14) et que l'intéressé a effectué plusieurs séjours en prison. Son intégration socio-professionnelle est d'ailleurs très restreinte. Sur ce plan, il n'a exercé que des missions temporaires, notamment comme plongeur de septembre à décembre 2008 et comme stagiaire à D._ du 17 février au 24 septembre 2009. Il ne ressort pas non plus du dossier qu'il aurait eu ou envisagé une autre activité depuis sa sortie de prison en novembre 2010 et il admet lui-même être sans source de revenus dans sa demande d'assistance judiciaire. Cela ne l'empêche pas d'alléguer qu'il aurait, dans les faits, la charge de trois enfants, dont son fils de 2 ans issu de son mariage, et ceux de son épouse, âgés de 17 et 9 ans en 2011. Le recourant persiste également en vain à prétendre que son épouse n'était pas au courant de son activité délictueuse lorsqu'elle l'a épousé, du moment que cette dernière a expressément admis ce fait lors de son audition devant le Tribunal administratif de première instance du 25 janvier 2011. Elle devait donc s'attendre à en assumer les conséquences, soit en suivant son époux en Gambie, soit en aménageant les contacts de ses enfants avec leur père et beau-père depuis ce pays.
4.4 Dans ces circonstances, les bonnes relations que le recourant entretient avec son fils, son épouse et les deux autres enfants de celle-ci ne suffisent pas à contrebalancer l'intérêt public à pouvoir le renvoyer dans son pays d'origine. A cet égard, le recourant se prévaut en vain des principes développés par la Cour européenne des droits de l'homme dans la cause Emre c. Suisse (arrêt du 22 août 2008, no 42034/04), alors que lui-même n'est pas né en Suisse et a vécu dans son pays d'origine jusqu'à l'âge de vingt-deux ans. Aucune violation de l'art. 8 § 2 CEDH ne saurait donc être reprochée aux juges cantonaux.
5. Compte tenu de ce qui précède, le recours doit être rejeté.
Les conclusions du recours étant dénuées de chances de succès, la demande d'assistance judiciaire doit être également rejetée (<ref-law>). Les frais judiciaires seront ainsi mis à la charge du recourant, en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population et à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 15 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat