Faits:
A. X._, ressortissant brésilien, né en 1980, est père d'un enfant, né en 2001, qui vit avec sa mère au Brésil.
Le 17 mai 2004, il s'est marié à Genève avec une ressortissante suisse, Y._, née en 1983, qu'il avait rencontrée au Brésil; il a ainsi obtenu une autorisation annuelle de séjour au titre du regroupement familial. Un enfant, prénommé Z._, est né de cette union en 2007.
B. En août 2004, lors d'une dispute conjugale, X._ a frappé son épouse au moyen d'une arme blanche et lui a asséné plusieurs coups de couteau de cuisine. Il a également provoqué chez elle un état de stress aigu avec symptomatologie anxio-dépressive.
Le 13 novembre 2006, le Tribunal de police du canton de Genève a condamné l'intéressé à quinze mois d'emprisonnement, sous déduction de cinq mois et seize jours de détention préventive, pour lésions corporelles simples avec les circonstances aggravantes de l'utilisation d'une arme et du rapport de dépendance de la victime par rapport à son agresseur; cette peine était assortie d'un sursis pendant cinq ans. Une expertise médicale ayant conclu à sa responsabilité restreinte, le tribunal a ordonné un traitement ambulatoire destiné à diminuer le risque de récidive.
C. Depuis le jugement de mesures protectrices de l'union conjugale du 11 septembre 2006, le couple vit séparé, l'épouse ayant conservé le domicile conjugal, alors que le mari s'est installé, dans un premier temps, chez sa mère qui se trouve également à Genève depuis son mariage avec un ressortissant italien en 2003.
De nouvelles mesures protectrices de l'union conjugale ont été prises le 20 juin 2008, attribuant la garde de l'enfant Z._ à sa mère et réservant un droit de visite au père à raison de deux heures par semaine dans un point de rencontre. Ce dernier a en outre été condamné à verser la somme de 750 fr. par mois à titre de contribution d'entretien de son fils.
D. Par décision du 13 juin 2008, l'Office cantonal de la population a refusé de renouveler l'autorisation de séjour de X._, au motif qu'il vivait séparé, sans espoir de réconciliation, que la poursuite de son séjour en Suisse ne se justifiait pas pour des raisons personnelles majeures, qu'il n'entretenait pas de relation étroite avec son fils et n'avait jamais contribué à son entretien.
Ce prononcé a été confirmé par décision de la Commission cantonale de recours en matière administrative du canton de Genève du 31 mars 2009. X._ a recouru contre cette décision auprès du Tribunal administratif du canton de Genève qui, par arrêt du 1er septembre 2010, a rejeté le recours.
E. X._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral et conclut, avec dépens, à l'annulation de l'arrêt du Tribunal administratif du 1er septembre 2010 et au renouvellement de son autorisation de séjour ou, à titre subsidiaire, au renvoi de la procédure au Tribunal administratif ou à l'Office cantonal de la population pour nouvelle décision dans le sens des considérants. Le recourant présente également une demande d'assistance judiciaire, en faisant valoir qu'il en a bénéficié dans le cadre de la procédure cantonale et qu'il est soutenu financièrement par l'assistance publique du canton de Genève.
Le Tribunal administratif se réfère aux considérants et au dispositif de son arrêt. L'Office cantonal de la population a renoncé à se déterminer. De son côté, l'Office fédéral des migrations propose de rejeter le recours.

Considérant en droit:
1. Le refus de renouveler l'autorisation de séjour du recourant fait suite à une procédure ouverte après l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), le nouveau droit est applicable (cf. art. 126 al. 1 LEtr).
2. 2.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Selon l'art. 42 al. 1 LEtr le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. Le recourant est marié avec une citoyenne suisse depuis le 17 mai 2004, de sorte qu'il peut en principe invoquer cette disposition, étant précisé que le point de savoir s'il existe un ménage commun ou si le recourant peut se prévaloir valablement des art. 49 et 50 LEtr relève du fond et non de la recevabilité (consid. 2.1.2 non publié de l'<ref-ruling>; arrêt 2C_618/2009 du 27 janvier 2010 consid. 2.2). Par conséquent, le recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
2.2 Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile et dans les formes requises (art. 42 et 100 al. 1 LTF) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il y a donc lieu d'entrer en matière sur le recours en matière de droit public.
2.3 Par conséquent, le recours constitutionnel subsidiaire déposé parallèlement doit être déclaré irrecevable (cf. <ref-law>).
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte, soit arbitrairement au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2) ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Il appartient au recourant qui entend s'écarter des faits ressortant de l'arrêt attaqué de le démontrer, le Tribunal fédéral n'entrant pas en matière sur les critiques de nature appellatoire (<ref-ruling>01 consid. 3 p. 104; <ref-ruling> consid. 3). En l'espèce, il ne sera donc tenu compte que des griefs relatifs aux faits qui remplissent ces exigences.
4. 4.1 Il n'est pas contesté, qu'en l'espèce, l'union conjugale a duré moins de trois ans, soit du 17 mai 2004 au 11 septembre 2006, date du jugement autorisant les époux X._ à vivre séparés, ces derniers n'ayant jamais repris la vie commune depuis lors. Le recourant ne peut donc pas bénéficier d'une autorisation de séjour sur la base de l'art. 50 al. 1 let. a LEtr, de sorte qu'il n'est pas non plus nécessaire d'examiner si son intégration à Genève est ou non réussie au sens de cette disposition (arrêts 2C_594/2010 du 24 novembre 2010, consid. 3.1; 2C_488/2010 du 2 novembre 2010, consid. 3.2). Le recourant invoque toutefois l'art. 50 al. 2 LEtr et soutient que la poursuite de son séjour en Suisse s'impose pour des raisons personnelles majeures, dès lors qu'un retour au Brésil aurait des conséquences néfastes, voire irréversibles, pour sa santé.
4.2 Après la dissolution de la famille, et même si l'union conjugale a duré moins de trois ans, l'art. 50 al. 1 let. b LEtr permet certes au conjoint étranger d'obtenir la prolongation de son autorisation lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 2 LEtr précise cependant que de telles raisons sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. L'énumération de ces cas n'est pas exhaustive et laisse aux autorités une certaine liberté d'appréciation fondée sur des motifs humanitaires (<ref-ruling> consid. 5.3 p. 4). S'agissant de la réintégration sociale dans le pays d'origine, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise ("stark gefährdet"). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêts 2C_369/2010 du 4 novembre 2010, consid. 4.1, 2C_376/2010 du 18 août 2010 consid. 6.3.1 et 2C_663/2009 du 23 février 2010 consid. 3 in fine, avec renvoi à Thomas Geiser/Marc Busslinger, Ausländische Personen als Ehepartner und registrierte Partnerinnen, in Ausländerrecht, 2e éd., 2009, no 14.54).
4.2.1 Sur ce point, le Tribunal administratif a retenu que le recourant, âgé de trente ans, avait vécu vingt-quatre ans au Brésil avant de venir en Suisse. A la charge de l'assistance publique, il n'avait acquis aucune situation professionnelle stable depuis son arrivée et avait été condamné à quinze mois d'emprisonnement. L'encadrement médico-social dont il bénéficiait en raison d'addictions préexistantes à sa venue en Suisse ne l'empêchait pas de continuer à consommer, donc à se procurer, des substances illégales et de l'alcool. A cet égard, il n'avait pas démontré qu'aucun suivi médical, dans un cadre plus modeste, serait impossible dans son pays d'origine, ni que sa mère et sa soeur, également à Genève refuseraient de lui fournir une aide financière ou ne seraient pas à même de le faire. Dans ces circonstances, la juridiction cantonale a conclu qu'il n'existait pas de motifs personnels graves exigeant la poursuite du séjour en Suisse.
Invoquant l'art. 9 Cst., le recourant prétend que l'argumentation développée par le Tribunal administratif est insoutenable, car elle ne tiendrait pas compte du fait que l'absence de situation stable est la conséquence directe de son état de santé, que ses antécédents judiciaires se rapportent à un conflit conjugal intervenu en 2006, mais aujourd'hui apaisé, que sa prise en charge médicale est nécessaire, parce qu'il est victime de rechutes, en particulier concernant la consommation de cannabis, qu'une prise en charge similaire à celle offerte à Genève est financièrement inaccessible au Brésil et que dans la mesure où sa famille est dans l'incapacité de l'aider financièrement en Suisse, il est illusoire de penser qu'elle pourrait le faire au Brésil.
4.2.2 Il ressort du dossier que le recourant est en traitement depuis 2004 pour troubles psychiatriques chroniques nécessitant un suivi médical mensuel et infirmier bimensuel. Ce traitement et le soutien positif de sa mère ne semblent toutefois pas avoir eu les résultats escomptés, puisqu'en février 2009, les deux interpellations de la police avaient révélé que le recourant consommait toujours de la marijuana et de l'alcool et qu'il n'avait occupé que très sporadiquement des emplois de courte durée. Après plus de six ans de traitement en Suisse sans véritable changement dans la vie du recourant, on peut commencer à douter de l'efficacité de ce traitement, en tous cas se demander pourquoi il serait absolument nécessaire qu'il se poursuive en Suisse, alors que le recourant y est arrivé déjà avec ses problèmes de drogue et n'a manifestement pas été capable de s'en sortir et de s'intégrer, tant sur le plan social que professionnel, malgré tous les soutiens qui lui ont été prodigués. Un retour dans son pays d'origine ne serait donc pas de nature à entraîner une péjoration de son état de santé au point de compromettre gravement sa réintégration. Il semble en fait que le seul point délicat soit financier car, si les structures médicales susceptibles de l'accueillir existent, elles sont, selon le consulat général de Suisse au Brésil, privées et accessibles qu'aux personnes ayant les moyens financiers. Or, sur ce point, les juges cantonaux ont constaté sans arbitraire que le recourant ne démontrait pas que sa famille ne pouvait pas l'aider financièrement. Ce dernier se borne en effet à prétendre, sans en fournir la preuve, que sa famille à Genève n'est pas en mesure de le soutenir et qu'au Brésil, il n'a plus de contact avec son père, comme d'ailleurs avec son fils de dix ans. L'aspect financier ne suffit cependant pas à constituer une raison personnelle majeure au sens de l'art. 50 al. 2 LEtr, compte tenu de l'ensemble des autres éléments à prendre en considération, en particulier le comportement du recourant depuis qu'il est à Genève.
4.3 Il s'ensuit que le Tribunal administratif n'a pas violé le droit fédéral, ni abusé de son pouvoir d'appréciation en retenant que le recourant ne pouvait se prévaloir de l'art. 50 al. 2 LEtr pour bénéficier de la prolongation de son autorisation de séjour.
5. Le recourant invoque encore l'art. 8 § 1 CEDH et soutient qu'il a des relations personnelles régulières avec son fils depuis mai 2009. La mère de l'enfant avait d'ailleurs attesté, le 26 mai 2009, qu'ils se voyaient chaque samedi et que ces rencontres se déroulaient bien. Elle précisait que Z._ était heureux de revoir son père et qu'il lui paraissait essentiel que les contacts se poursuivent.
5.1 Selon la jurisprudence, un étranger peut, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale au sens de l'art. 8 § 1 CEDH, respectivement 13 al. 1 Cst., pour s'opposer à une éventuelle séparation de sa famille. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse soit étroite et effective (<ref-ruling> consid. 1.3.1 p. 145; <ref-ruling> consid. 3.1 p. 285/et les arrêts cités). L'art. 8 CEDH s'applique lorsqu'un étranger fait valoir une relation intacte avec ses enfants bénéficiant du droit de résider en Suisse, même si ces derniers ne sont pas placés sous son autorité parentale ou sous sa garde du point de vue du droit de la famille (<ref-ruling> consid. 1d p. 3; <ref-ruling> consid. 1c p. 84; <ref-ruling> consid. 1c p. 157 et les références).
5.2 Il est en l'espèce douteux que le recourant puisse se prévaloir de cette disposition, dans la mesure où les relations avec son fils sont limitées à deux heures par semaine dans un point de rencontre et n'ont commencé qu'environ deux ans après la naissance de l'enfant, avec lequel il n'a jamais habité. A part l'attestation de la mère, fournie un mois après la reprise des contacts en mai 2009, aucun autre document, officiel ou médical, ne permet d'estimer l'intensité et le suivi des rencontres du recourant avec son fils, ainsi que les résultats obtenus, de sorte qu'on ne saurait admettre qu'il existe entre eux une relation étroite et effective au sens de la jurisprudence. Par ailleurs, sans activité lucrative stable, le recourant n'a jamais contribué à l'entretien de son fils. Sur ce point, le Tribunal a retenu à juste titre qu'il n'avait fait aucun effort, alors qu'il trouvait les ressources nécessaires à sa consommation de cannabis.
Quoi qu'il en soit, le droit au respect de la vie privée et familiale garanti par l'art. 8 § 1 CEDH n'est pas absolu et la question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit être résolue sur la base d'une pesée de tous les intérêts privés et publics en présence (<ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 2e p. 639; <ref-ruling> consid. 3c p. 5).
En ce qui concerne le droit de visite dont se prévaut le recourant, il faut certes constater que celui-ci aura sans doute des difficultés à pouvoir l'exercer depuis le Brésil. Il ne saurait toutefois prétendre à pouvoir l'exercer en Suisse, car il n'existe manifestement pas, dans son cas, de liens familiaux particulièrement forts dans les domaines affectif et économique. De plus, il n'a pas non plus fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> consid. 3c p. 5, 22 consid. 4a p. 25; arrêts 2C_679/2009 du 1er avril 2010, consid. consid. 3.1; 2C_335/2009 du 12 février 2010, consid. 2.2.2 et les références citées).
5.3 Dans ces conditions, l'intensité des relations que le recourant entretient avec son fils ne lui permet pas d'obtenir une autorisation de séjour fondée sur l'art. 8 CEDH.
6. Au vu de ce qui précède, le recours doit être rejeté.
Les conclusions du recours devant le Tribunal fédéral étaient clairement vouées à l'échec, de sorte que la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant supportera donc les frais judiciaires (art. 65 et 66 LTF), étant précisé que ceux-ci seront fixés en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. La demande d'assistance judiciaire est rejetée.
4. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population et au Tribunal administratif du canton de Genève, 1ère section, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 31 janvier 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat