Faits:
A. X._, ressortissant togolais né le *** 1971, a déposé une première demande d'asile en Suisse le 1er juin 2001. Cette demande a été rejetée par décision du 27 août 2001 de l'Office fédéral des réfugiés, actuellement l'Office fédéral des migrations (ci-après: l'ODM), et son renvoi de Suisse a été ordonné. Le refus de l'Office fédéral des réfugiés du 27 août 2001 a été confirmé le 4 mars 2002 par la Commission suisse de recours en matière d'asile.
Une première demande de reconsidération formée par X._ a été définitivement rejetée par la Commission suisse de recours en matière d'asile le 11 octobre 2002. Une deuxième demande de reconsidération du 22 octobre 2002 a été déclarée irrecevable le 28 octobre 2002. Le Service de la population de la ville de B._ a annoncé le 26 novembre 2002 le départ de X._ pour une destination inconnue dès le 1er novembre 2002.
Le 27 avril 2003, X._ a déposé une deuxième demande d'asile en Suisse et a derechef été débouté. Les autorités du canton du Valais - auquel il avait été attribué - l'ont considéré comme disparu dès le 11 décembre 2003.
Le 16 février 2004, à Lausanne, X._ a épousé la ressortissante suisse A._, née le *** 1966, mère de quatre enfants mineurs. X._ a pris un domicile séparé dès le 31 août 2005.
En raison de son mariage, X._ a été mis au bénéfice d'une première autorisation de séjour et de travail, valable jusqu'au 15 février 2005, qui a été renouvelée par la suite, jusqu'au 20 octobre 2010.
X._ a sollicité la délivrance d'un permis d'établissement le 9 janvier 2009, puis le 14 octobre 2010.
B. Par décision du 26 mai 2011, le Service cantonal de la population du canton de Vaud (ci-après: le Service cantonal) a refusé la prolongation de l'autorisation de séjour de X._ et prononcé son renvoi. Un délai de trois mois, non prolongeable, lui a été imparti pour quitter la Suisse.
Par acte du 27 juin 2011, X._ a saisi la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) d'un recours dirigé contre la décision du Service cantonal précitée, rejeté par arrêt du 29 novembre 2011.
C. Par acte du du 16 janvier 2012, X._ a formé un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 29 novembre 2011. Il a requis la suspension de la procédure jusqu'à droit jugé sur sa demande d'octroi anticipé d'une autorisation d'établissement. Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, il demande, sous suite de frais et dépens, principalement la réformation de l'arrêt attaqué en ce sens que la prolongation du séjour est accordée, subsidiairement l'annulation de cette décision. A l'appui de son recours, il invoque les art. 42, 49 et 50 LEtr, la violation du principe de la bonne foi et l'interdiction de l'arbitraire (art. 5 al. 3 et 9 Cst.), ainsi que l'art. 8 CEDH.
Par ordonnance du 18 janvier 2012, le Président de la IIe Cour de droit public a rejeté la requête de suspension de la procédure de recours jusqu'à droit connu sur la décision de l'ODM relative à l'octroi anticipé d'une autorisation d'établissement.
Invités à se prononcer, le Service cantonal a renoncé à se déterminer, tandis que le Tribunal cantonal et l'ODM ont conclu au rejet du recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; cf. <ref-ruling> consid. 1 p. 472 et les arrêts cités).
1.1 Le recourant a formé, en un seul acte (cf. <ref-law>), un recours en matière de droit public et un recours constitutionnel subsidiaire. La recevabilité du premier excluant celle du second s'agissant des mêmes griefs (cf. <ref-law>), il convient d'examiner en priorité si la voie du recours en matière de droit public est ouverte.
1.2 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 179, 497 consid. 3.3 p. 500 s.).
En l'espèce, le recourant fait valoir en substance que son droit à la prolongation de son autorisation de séjour tiré de l'art. 42 al. 1 LEtr, respectivement un droit à une autorisation d ́établissement au sens de l ́art. 42 al. 3 LEtr, subsistent en application de l'art. 49 LEtr, soutenant que des raisons majeures justifient l'existence de domiciles séparés. Du moment que l'art. 49 LEtr est potentiellement de nature à lui conférer un tel droit, le recours en matière de droit public est recevable au regard de l'art. 83 let. c ch. 2 LTF.
1.3 Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il est en principe recevable en tant que recours en matière de droit public.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 7.4 p. 230; <ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322).
3. Le recourant invoque principalement la violation de l'art. 49 LEtr. En effet, il allègue que la vie conjugale est maintenue, mais que des raisons majeures justifient l'existence de domiciles séparés. Il n'aurait eu d'autre choix de déménager sur ordre de son épouse, qui craignait la réduction de ses prestations sociales. Dans ce contexte, il invoque la violation du principe de la bonne foi, car les autorités ont renouvelé plusieurs fois, en toute connaissance de cause, son autorisation de séjour, de sorte qu'il ne pouvait se rendre compte de la nécessité de faire ménage commun. Les constatations de faits arbitraires de l'autorité précédente l'auraient conduite à tort à conclure que les conditions des art. 42 al. 3 et 50 al. 1 LEtr n'étaient pas réalisées. Enfin, la décision violerait l'art. 8 CEDH en ce sens qu'elle le prive d'une vie conjugale et familiale effectivement vécue.
4. Selon l'art. 42 LEtr, l'existence de ménage commun est une condition tant du droit à une autorisation de séjour et à sa prolongation (al. 1), que du droit à l'octroi d'une autorisation d'établissement (al. 3). Cette exigence du ménage commun n'est pas applicable lorsque la communauté familiale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées (art. 49 LEtr), ces conditions étant cumulatives (arrêts 2C_759/2010 du 28 janvier 2011 consid. 4.2). Les motifs susceptibles de constituer une raison majeure visent des situations exceptionnelles, fondées avant tout sur des raisons d'ordre professionnel ou familiales (cf. arrêt 2C_593/2011 du 19 mars 2012 consid. 3.1.1). La décision librement consentie des époux de « vivre ensemble séparément » (« living apart together ») en tant que telle et sans résulter d'autres motifs ne constitue pas une raison majeure au sens de l'art. 49 LEtr (cf. arrêts 2C_207/2011 du 5 septembre 2011 consid. 4.2; 2C_792/2010 du 25 mai 2011 consid. 3.1; 2C_388/2009 du 9 décembre 2009 consid. 4). De manière générale, il appartient à l'étranger d'établir l'existence de raisons majeures au sens de l'art. 49 LEtr, ainsi que le maintien de la communauté familiale en dépit des domiciles séparés. Cela vaut d'autant plus que cette situation a duré longtemps, car une séparation d'une certaine durée fait présumer que la communauté familiale a cessé d'exister (arrêt 2C_575/2009 du 1er juin 2010 consid. 3.5, où la séparation avait duré plus d'une année).
Il n'est pas contesté que les époux ont des domiciles séparés depuis le 31 août 2005, soit depuis près de sept ans, après dix-huit mois de vie commune, laissant présumer l'inexistence de la communauté familiale depuis cette date. Le domicile séparé du recourant serait motivé, selon celui-ci, par la volonté de l'épouse de maintenir ses prestations sociales, qui seraient sans cette mesure diminuées à raison du montant du salaire gagné par son mari. Admettre ce motif reviendrait à protéger un abus de droit à l'aide sociale, de sorte qu'il ne saurait en aucun cas constituer une raison majeure au sens de l'art. 49 LEtr. Le recourant ne fait valoir aucun autre motif. Aucune raison majeure ne permettant de justifier l'absence de ménage commun, le recourant ne peut se prévaloir ni d'un droit à la prolongation de son autorisation de séjour, ni d'un droit à l'octroi d'une autorisation d'établissement fondés sur l'art. 42 LEtr.
5. Le droit à la protection de la bonne foi (art. 9 Cst.) peut selon les circonstances, mais à des conditions strictes, conférer un droit à une autorisation. Tel est le cas notamment si l'étranger s'est fondé sur des renseignements erronés de l'autorité compétente et a pris en conséquence des dispositions irréversibles (<ref-ruling> consid. 3a; arrêt 2C_593/2009 du 10 février 2010 consid. 1.4). Cependant, la simple délivrance d'une autorisation de séjour ne saurait en soi créer un lien de confiance légitime relatif à la garantie son renouvellement ( <ref-ruling> consid. 3b).
En l'occurrence, le Service cantonal a prolongé l'autorisation de séjour une seconde fois en août 2008, sachant que les époux ne faisaient pas ménage commun. Ce faisant, le Service cantonal n'a toutefois donné aucune assurance au recourant au regard de l'art. 49 LEtr, la prolongation d'un permis ne conférant pas de droit à de futures autorisations. Il importe dès lors peu que le Service cantonal ait été informé, comme le soutient le recourant, que la situation conjugale n'était plus susceptible d'évoluer dès août 2006. Il s'ensuit que le recourant ne peut déduire aucun droit de l'art. 9 Cst. et que son recours doit être rejeté sur ce point.
6. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 3.3.3 p. 119). Le délai de trois ans prévu par cette disposition se calcule en fonction de la durée pendant laquelle les époux ont fait ménage commun en Suisse (<ref-ruling> consid. 3.3.5 p. 120; arrêt 2C_430/2011 du 11 octobre 2011 consid. 4.1) et vaut de façon absolue, quand bien même la fin de la vie conjugale serait intervenue quelques jours ou semaines seulement avant l'expiration du délai (arrêt 2C_735/2010 du 1er février 2011 consid. 4.1 et les arrêts cités). Comme il n'est pas contesté en l'espèce que les époux n'ont fait ménage commun que pendant dix-huit mois, le recourant se prévaut en vain de cette disposition.
7. L'art. 34 al. 4 LEtr ne confère pas non plus de droit à une autorisation d'établissement, quand bien même l'étranger est professionnellement et personnellement bien intégré. Le rejet du recours ne compromet cependant pas l'octroi d'une telle autorisation s'agissant d'un pouvoir discrétionnaire de l'autorité compétente.
8. L'art. 8 CEDH garantit le respect de la vie privée et familiale. D'après une jurisprudence constante, les relations visées par l'art. 8 CEDH sont avant tout celles qui concernent la famille dite nucléaire («Kernfamilie »), soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (cf. <ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 2 p. 14; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 261).
La notion de « famille » au sens de l'art. 8 CEDH ne se limite pas aux seules relations fondées sur le mariage, mais peut englober d'autres liens « familiaux » de fait, lorsque les parties cohabitent en dehors du mariage. Selon la Cour européenne des droits de l'homme (ci-après: CourEDH), pour déterminer si une relation s'analyse en une « vie familiale », il y a lieu de tenir compte d'un certain nombre d'éléments, comme le fait de savoir si le couple vit ensemble, depuis combien de temps et s'il y a des enfants communs (arrêts Serife Yigit c. Turquie du 2 novembre 2010 § 94 et 96 et les références; Emonet et autres contre Suisse du 13 décembre 2007 § 34 et 36, in recht 2008 p. 99, FamPra.ch 2008 p. 412). Cependant, l'existence de contacts purement amicaux entre les époux, même s'ils sont entretenus à raison de deux ou trois fois par semaine, ne suffit pas à fonder une communauté conjugale réellement vécue lorsque les époux ne font plus ménage commun (arrêts 2C_212/2011 du 13 juillet 2001 consid. 7.1; 2C_575/2009 du 1er juin 2010 consid. 3.6; 2C_285/2009 du 4 février 2010 consid. 2.2), de sorte que la protection de l'art. 8 CEDH a été niée dans les cas où les époux ne faisaient pas ménage commun sans une raison majeure justifiant l'existence de domiciles séparés au sens de l'art. 49 LEtr (cf. arrêts 2C_617/2012 du 27 juin 2012 consid. 2.3.2; 2C_792/2010 du 25 mai 2011 consid. 4; 2C_575/2009 du 1er juin 2010 consid. 3.7).
En l'espèce, la communauté familiale avec l'épouse est inexistante depuis près de sept ans et le recourant n'a vécu que 18 mois avec le fils de cette dernière entre 2004 et 2005, de sorte que l'on ne saurait en conclure à l'existence d'une relation quasi filiale. Le recourant ne peut par conséquent se prévaloir de l'art. 8 CEDH pour obtenir la prolongation de son permis de séjour en Suisse. Au surplus, l'art. 8 CEDH ne saurait protéger un comportement abusif, comme l'obtention indue de prestations sociales plus élevées.
9. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant supportera les frais judiciaires (<ref-law>). La requête d'assistance judiciaire doit, en effet, être rejetée, dès lors que le recours était manifestement dénué de chances de succès. Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 15 octobre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz