Faits:
A. A._, ressortissant camerounais, né le 18 décembre 1968, est arrivé en Suisse le 28 octobre 2002 afin d'y entreprendre des études. Compte tenu de la façon dont celles-ci se sont déroulées, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de renouveler son autorisation de séjour pour études, le 28 septembre 2005. Le recours contre cette décision a été admis par le Tribunal cantonal vaudois, par arrêt du 25 avril 2006, mais l'Office fédéral des migrations a refusé de donner son approbation, par décision du 29 août 2006.
Le 7 septembre 2006, A._ a épousé, à Prilly, B._, ressortissante suisse, né le 21 mars 1968. Invoquant des raisons de santé, l'épouse a quitté épisodiquement le domicile conjugal depuis août ou septembre 2007, puis elle a définitivement emménagé chez une amie au mois de juillet 2008. Les conjoints n'ont pas repris la vie commune depuis lors. Durant son audition du 12 mai 2009, B._ a expliqué qu'en raison de ses problèmes de santé elle avait dû "fuir toutes les obligations de la vie courante, y compris celles liées à son mariage" et qu'elle était la seule responsable de la séparation. Elle précisait qu'elle essaierait d'aider son mari à se battre pour rester en Suisse et ajoutait : "mais de là à ce que nous nous remettions ensemble pour qu'il reste en Suisse, je dis non". Par la suite, elle n'a pas répondu aux courriers du Service de la population lui demandant de fournir de plus amples renseignements sur son état de santé et la durée probable de son traitement.
Par décision du 29 juin 2010, le Service de la population a refusé de renouveler l'autorisation de séjour de l'intéressé.
B. A._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud, en faisant valoir que seuls les problèmes de santé de son épouse étaient à l'origine de leur séparation, mais que celle-ci était provisoire.
Par arrêt du 7 mars 2011, le Tribunal cantonal a rejeté le recours et confirmé la décision attaquée. Il a retenu en bref que le recourant ne pouvait prétendre au renouvellement de son autorisation de séjour sur la base de l'art. 42 de la loi fédérale sur les étrangers (LEtr; RS 142.20), dès lors qu'il était établi que la vie commune des époux avait cessé en tout cas depuis juillet 2008 et n'avait jamais repris. En outre, les problèmes de santé de l'épouse ne constituaient pas une raison majeure justifiant des domiciles séparés au sens de la loi. Au vu notamment de la durée de séparation et de l'absence d'éléments qui rendraient plausible la reprise de la vie commune, il était aussi abusif de se prévaloir du mariage pour obtenir la prolongation de l'autorisation de séjour et la délivrance d'une autorisation d'établissement. Enfin, rien ne permettait de considérer que la poursuite du séjour du recourant s'imposerait pour des raisons personnelles majeures (art. 50 al. 1 let. b LEtr) ou pour tenir compte d'un cas individuel d'extrême gravité ou d'intérêts publics majeurs (art. 30 al. 1 let. b LEtr).
C. Agissant par la voie du recours en matière de droit public, A._ conclut à l'annulation de l'arrêt du Tribunal cantonal du 7 mars 2011 et demande au Tribunal fédéral d'ordonner au Service de la population de prolonger son autorisation de séjour, subsidiairement de renvoyer la cause aux Juges cantonaux, afin qu'ils procèdent à une instruction sur le maintien du lien conjugal entre les époux, nonobstant la séparation provisoire intervenue en juillet 2008, très subsidiairement de l'acheminer à prouver par toutes voies de droit les faits allégués dans le recours et de lui réserver la contre-preuve de tous les allégués adverses.
Le Tribunal cantonal conclut au rejet du recours, en se référant aux considérants de son arrêt. De son côté, le Service de la population a renoncé à se déterminer sur le recours. Il a transmis au Tribunal fédéral la requête que le recourant lui avait adressée, le 11 avril 2011, tendant à l'octroi d'une autorisation d'établissement fondée sur l'art. 34 al. 4 et 5 LEtr.
L'Office fédéral des migrations propose de rejeter le recours.
D. Par ordonnance présidentiel du 13 avril 2011, la demande d'effet suspensif présentée par le recourant a été admise.
Le 12 août 2011, la mandataire du recourant a demandé au Tribunal fédéral de renvoyer sa requête tendant à l'octroi d'une autorisation d'établissement au Service de la population, afin qu'il instruise l'affaire. Dans sa réponse du 1er septembre 2011, le Tribunal fédéral a constaté qu'il s'agissait d'une procédure indépendante, à laquelle il appartenait au Service de la population de donner la suite qu'il convient.

Considérant en droit:
1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.1 Selon l'art. 42 al. 1 LEtr le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. Le recourant est marié avec une citoyenne suisse depuis le 7 septembre 2006, de sorte qu'il peut en principe invoquer cette disposition, étant précisé que le point de savoir s'il existe un ménage commun ou si le recourant peut se prévaloir valablement des art. 49 et 50 LEtr relève du fond et non de la recevabilité (consid. 2.1.2 non publié de l'<ref-ruling>; arrêt 2C_618/2009 du 27 janvier 2010 consid. 2.2). Par conséquent, le recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile et dans les formes requises (art. 42 et 100 al. 1 LTF) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il y a donc lieu d'entrer en matière sur le recours en matière de droit public.
2. 2.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La notion de "manifestement inexacte" de l'<ref-law> correspond à celle d'arbitraire de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450; <ref-ruling> consid. 7.1 p. 398). Le recourant doit ainsi expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling>01 consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid 1.4 p. 400 et les arrêts cités).
2.2 En matière d'appréciation des preuves et de constatation des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un moyen de preuve propre à modifier la décision attaquée, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2 p. 560 et les arrêts cités; <ref-ruling> consid. 7.1 p. 398).
En l'espèce, le recourant reproche essentiellement aux juges cantonaux d'avoir violé son droit à la preuve, en refusant d'entendre les proches du couple, qui auraient pu confirmer la cause de la séparation et le caractère provisoire de celle-ci. Ces griefs se confondent toutefois avec la violation des art. 42 et 49 LEtr qu'il allègue et seront examinés dans ce cadre.
3. 3.1 Selon l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa validité à condition de vivre en ménage commun avec lui.
L'instance précédente a constaté à bon droit que l'union conjugale n'avait duré au plus pendant une année et dix mois et que les époux vivaient séparés depuis le mois de juillet 2008, voire depuis août ou septembre 2007, sans jamais reprendre la vie commune.
3.2 Le recourant soutient toutefois qu'il tombe sous le coup de l'exception à l'exigence du ménage commun prévue par l'art. 49 LEtr, car la séparation des époux est due uniquement aux problèmes de santé rencontrés par sa femme et ne serait que provisoire.
Celui qui se prévaut de l'art. 49 LEtr doit, dans la mesure du possible, démontrer que la communauté familiale subsiste, même si les époux vivent séparés pour des raisons majeures. L'art. 76 de l'ordonnance relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) précise que les raisons majeures sont dues notamment à des obligations professionnelles ou à une séparation provisoire en raison de problèmes familiaux importants (arrêts 2C_50/2010 du 17 juin 2010 consid. 2.2 et l'arrêt cité). Le but de l'art. 49 LEtr n'est toutefois pas de permettre aux époux de vivre séparés en Suisse pendant une longue période et exige que la communauté familiale soit maintenue (arrêts 2C_50/2010 du 17 juin 2010, consid. 2.3.2, 2C_575/2009 du 1er juin 2010, consid. 3.6). Après plus d'un an de séparation, il y a présomption que la communauté conjugale est rompue (arrêt 2C_575/2009 du 1er juin 2010, consid. 3.5). Quant aux problèmes familiaux importants, ils doivent provenir de situations particulièrement difficiles, telles que les violences domestiques (arrêt 2C_635/2009 du 26 mars 2010, consid. 4.4).
3.3 Il est en l'espèce constant que les époux sont séparés depuis plus de trois ans, et que rien ne permet d'envisager une éventuelle reprise de la vie commune. Sur ce point, les juges cantonaux n'ont donc pas constaté les faits de manière arbitraire, ni violé le droit à la preuve de donner suite à la requête du recourant tendant à auditionner les proches du couple. Il ressort en effet du dossier que les déclarations de l'épouse, lors de son audition du 12 mai 2009, ont été particulièrement claires au sujet de son refus de reprendre la vie conjugale. Depuis lors, elle n'est jamais revenue sur cette décision et n'a pas davantage manifesté son intention de se remettre en ménage, lorsque son état de santé le permettrait. Il faut donc en déduire que l'absence de démarches judiciaires pour concrétiser la séparation n'est due qu'à sa volonté de ne pas nuire à son époux, puisqu'elle reconnaît être seule responsable de la situation. Cela ne signifie toutefois pas qu'une éventuelle reprise de la vie commune soit envisageable. Au contraire, comme l'a relevé le Tribunal cantonal les époux ne se voient plus et n'ont aucun projet commun. En outre, le fait qu'elle a refusé de donner suite aux convocations du Service de la population et de renseigner ses proches sur son état de santé démontre bien qu'elle n'est pas prête à modifier son point de vue au sujet de de son mariage. La question de savoir pourquoi elle a préféré affronter ses problèmes de santé en vivant chez son amie, plutôt qu'avec son mari, n'est pas pertinente, dès lors que, quels qu'en soient les motifs, il ne s'agit nullement d'une raison majeure au sens de la loi, qui justifierait de quitter le domicile pendant une période de plus de trois ans. Une telle durée ne saurait en effet être considérée comme provisoire et tout laisse supposer que l'épouse a décidé de maintenir le statu quo jusqu'à ce que le problème de l'autorisation de séjour du recourant soit réglé.
3.4 Dans ces conditions, le recourant ne saurait prétendre qu'il existe une raison majeure à l'existence de domiciles séparés et que la séparation d'avec son épouse ne serait que provisoire. Il était ainsi tout à fait inutile d'auditionner encore des témoins, dont on voit mal comment ils auraient pu affirmer que la communauté familiale était maintenue, alors que les époux n'ont plus aucune relation depuis au moins trois ans. Le Tribunal cantonal pouvait dès lors mettre un terme à l'instruction, en procédant à une appréciation anticipée des preuves (<ref-ruling> consid. 5.2; <ref-ruling> consid. 1.4 p. 254; <ref-ruling> consid. 6 p. 397 et la jurisprudence citée) et estimer que l'exception à l'exigence du ménage commun de l'art. 49 LEtr n'était pas réalisée. Pour les mêmes motifs, le Tribunal fédéral n'a pas à donner suite à la réquisition subsidiaire du recourant tendant à l'autoriser à prouver les faits allégués.
3.5 Le recours doit donc être rejeté en tant qu'il porte sur une violation des art. 42 et 49 LEtr.
3.6 Compte tenu de ce qui précède, le recourant ne peut pas non plus exciper d'un droit à une autorisation de séjour fondée sur l'art. 8 § 1 CEDH, car la jurisprudence subordonne expressément la possibilité d'invoquer cette disposition conventionnelle à l'existence d'une relation étroite et effective avec la personne ayant un droit de présence en Suisse (<ref-ruling> consid. 1.3.1 p. 145; <ref-ruling> consid. 5 p. 269).
4. 4.1 Après la dissolution de la famille, et même si l'union conjugale a duré moins de trois ans, l'art. 50 al. 1 let. b LEtr permet au conjoint étranger d'obtenir la prolongation de son autorisation lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 2 LEtr précise que de telles raisons sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. L'énumération de ces cas n'est pas exhaustive et laisse aux autorités une certaine liberté d'appréciation fondée sur des motifs humanitaires (<ref-ruling> consid. 5.3 p. 4). S'agissant de la réintégration sociale dans le pays d'origine, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise ("stark gefährdet"). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêts 2C_369/2010 du 4 novembre 2010, consid. 4.1, 2C_376/2010 du 18 août 2010 consid. 6.3.1 et 2C_663/2009 du 23 février 2010 consid. 3 in fine, avec renvoi à THOMAS GEISER/MARC BUSSLINGER, Ausländische Personen als Ehepartner und registrierte Partnerinnen, in Ausländerrecht, 2e éd., 2009, no 14.54).
4.2 En l'espèce, le Tribunal cantonal a retenu que le recourant était arrivé en Suisse à l'âge de 33 ans et qu'en dehors de son épouse et de quelques connaissances, il n'avait pas d'attaches particulières avec la Suisse et n'exerçait pas non plus une activité professionnelle qui nécessiterait des qualifications spéciales. Sa réintégration sociale au Cameroun ne semblait pas non plus compromise, dans la mesure où il y avait toute sa famille. Ce faisant les juges cantonaux n'ont pas apprécié la situation du recourant arbitrairement, ni violé l'art. 50 al. 1 let. b LEtr, en retenant que le recourant ne pouvait se prévaloir de cette disposition pour bénéficier de la prolongation de son autorisation de séjour. Le recours ne contient d'ailleurs aucune motivation sous cet angle.
5. Il s'ensuit que le recours doit être rejeté avec suite de frais à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 7 septembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat