Faits:
A. Ressortissante camerounaise née en 1970, entrée en Suisse en septembre 2003, X._ a épousé en janvier 2004 un ressortissant suisse né en 1947. Elle a été mise au bénéfice d'une autorisation de séjour par regroupement familial le 8 mars 2004, qui a été régulièrement renouvelée jusqu'au 29 janvier 2011. La demande de X._ tendant à l'octroi d'une autorisation d'établissement a été rejetée par le Service de la population du canton de Vaud (ci-après: le Service cantonal) par décision du 22 décembre 2009, laquelle n'a fait l'objet d'aucun recours.
X._ a effectué des emplois précaires non qualifiés en 2004 et en 2006. Entendue par la police genevoise en novembre 2010, elle a déclaré avoir exercé le métier de prostituée de janvier à avril 2010. En septembre 2010, elle a été engagée en qualité de nettoyeuse pour une durée indéterminée, réalisant un salaire mensuel net moyen de 800 fr. Dans le cadre de la procédure de renouvellement de l'autorisation de séjour initiée en décembre 2010, l'intéressée a produit une promesse d'engagement pour un travail en qualité de femme de chambre à mi-temps à Genève, pour une salaire de 1'700 fr. par mois, sous condition de l'obtention des autorisations nécessaires.
En décembre 2009, les époux X._ percevaient mensuellement 1'700 fr. de forfait d'entretien et 550 fr. de loyers à titre de revenu d'insertion, le montant total de l'assistance versée du 1er janvier 2002 au 30 novembre 2009 s'élevant à 178'258 fr. Au 11 octobre 2010, X._ faisait l'objet de trois actes de défaut de biens pour un montant total de 2'439 fr. 20. Après la séparation du couple, elle s'était inscrite aux services sociaux d'Yverdon-les-Bains.
Le 1er juillet 2010, X._ s'est installée à Yverdon-les-Bains (VD), où elle vit séparée de son mari. A la requête du Service cantonal, celui-ci a informé la police de sûreté, en octobre 2010, qu'il avait demandé la séparation d'avec son épouse à la suite de ses absences régulières et inexpliquées du domicile conjugal dès 2004. Entendue par la police en novembre 2010, X._ a relaté que son mari s'était mis à l'ignorer et à ne plus vouloir d'elle à son retour d'un voyage effectué au Cameroun en février 2010, où elle avait assisté aux obsèques de l'un de ses fils d'une précédente union; hormis son mari, elle n'avait aucune attache en Suisse, toute sa famille vivant au Cameroun ou en France. A teneur d'un rapport de la police municipale yverdonnoise, X._ parle et comprend parfaitement le français et n'est pas défavorablement connue des services.
B. Par décision du 21 avril 2011, le Service cantonal a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ contre la décision du 21 avril 2011 et a confirmé cette dernière par arrêt rendu le 31 octobre 2011, en refusant notamment d'accréditer la thèse défendue en instance de recours selon laquelle X._ aurait subi des violences conjugales de la part de son époux.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du 31 octobre 2011 ainsi que la décision du 21 avril 2011, et de lui octroyer une autorisation d'établissement. Le Service cantonal et le Tribunal cantonal renoncent à déposer des observations. L'Office fédéral des migrations conclut au rejet du recours.
Par ordonnance du 6 décembre 2011, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif contenue dans le recours.
Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'espèce, la vie conjugale de la recourante avec un ressortissant suisse ayant cessé d'exister, celle-ci ne peut pas déduire un droit à une autorisation de séjour de l'art. 42 al. 1 LEtr ni de l'art. 49 LEtr. Reste l'art. 50 al. 1 LEtr qui subordonne la prolongation de son autorisation de séjour à certaines conditions dont se prévaut la recourante. En pareilles circonstances, il convient d'admettre un droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF, le point de savoir si c'est à juste titre que les autorités cantonales ont nié la réalisation des conditions de l'art. 50 LEtr ressortissant au fond et non à la recevabilité (arrêts 2C_427/2011 du 26 octobre 2011 consid. 1.1; 2C_839/2010 du 25 février 2011 consid. 2.1).
1.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par la destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il est en principe recevable en tant que recours en matière de droit public.
1.3 Dans la mesure où la recourante s'en prend aussi à la décision du Service cantonal du 21 avril 2011, son recours n'est pas recevable en raison de l'effet dévolutif complet des actes déposés auprès du Tribunal cantonal (ATF 136 II 101 consid. 1.2 p. 104). En tant que la conclusion de la recourante tendant à l'octroi d'un permis d'établissement sort du champ du présent litige, elle est également irrecevable devant le Tribunal fédéral.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 137 II 222 consid. 7.4 p. 230; 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 136 II 101 consid. 3 p. 104; 135 II 313 consid. 5.2.2 p. 322).
3. La recourante reproche au Tribunal cantonal de ne pas avoir suffisamment motivé l'arrêt attaqué au sens de l'art. 29 al. 2 Cst., d'avoir établi les faits de manière manifestement inexacte, en violation des art. 9 Cst. et 6 CEDH, ainsi que d'avoir commis "un abus et un excès du pouvoir d'appréciation" en considérant que "le critère de l'intégration économique" n'était pas rempli.
3.1 Le droit d'être entendu implique pour l'autorité qu'elle motive sa décision. Selon la jurisprudence, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 136 I 184 consid. 2.2.1 p. 188).
Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 129 I 8 consid. 2.1 p. 9; arrêt 2C_735/2010 du 1er février 2011 consid. 3.2).
3.2 En l'occurrence, la recourante n'expose pas en quoi la motivation de l'arrêt querellé, qui est du reste rédigée de façon détaillée, serait lacunaire au point de ne pas lui permettre de défendre ses intérêts. Ce grief est partant irrecevable (art. 106 al. 2 LTF). Est également irrecevable le grief tiré de l'art. 6 CEDH, car cette disposition ne s'applique pas au séjour et au renvoi d'un étranger (ATF 137 I 128 consid. 4.4.2 p. 133 s.).
Par ailleurs, les arguments de la recourante s'épuisent en de simples critiques appellatoires et n'indiquent pas en quoi les juges cantonaux auraient constaté (ou omis de constater) ou apprécié les faits et preuves de façon insoutenable ni en quoi ceci aboutirait à un résultat choquant. En particulier, les éléments suivants dont se prévaut la recourante - sans les établir - reviennent à substituer sa propre version des faits à celle retenue par le Tribunal cantonal: les pressions psychologiques que lui aurait fait subir son époux afin de l'empêcher d'exercer une activité lucrative, ce qui l'aurait contrainte à se prostituer pour financer des soins à son fils; la dépendance financière de son conjoint; l'appréciation arbitraire des juges cantonaux quant au caractère non pertinent du soupçon de dissimulation de ressources financières par le mari de la recourante.
S'agissant du montant total de l'assistance versée aux époux X._, la recourante reproche aux juges cantonaux d'avoir pris en compte une période durant laquelle elle ne vivait pas encore en Suisse et ne pouvait, en conséquence, se voir imputer les prestations sociales versées à son conjoint. Or, la recourante ne saurait tirer aucun droit d'une telle inadvertance, compte tenu du montant important des prestations reçues entre janvier 2002 et décembre 2009 (178'258 fr.). Par conséquent, depuis son arrivée en Suisse en septembre 2003, et son mariage en janvier 2004, qui sont intervenus peu de temps après le début du décompte, elle a bénéficié d'une partie substantielle des 178'258 fr. de prestations d'assistance sociale. Pour le surplus, les critiques relatives à l'appréciation du Tribunal cantonal au sujet de l'intégration économique de la recourante se confondent avec l'examen de la condition de l'intégration réussie et seront traitées dans ce contexte (consid. 4.3 infra).
3.3 Il s'ensuit qu'il convient d'écarter, dans la mesure de leur recevabilité, l'ensemble des griefs tirés des art. 29 al. 2 et 9 Cst., ainsi que de l'art. 6 CEDH. La Cour de céans se fondera partant exclusivement sur les faits établis par le Tribunal cantonal.
4. Sur le fond, la recourante se plaint d'une violation des art. 50 et 96 LEtr, 77 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) et 4 de l'ordonnance du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205). Elle reproche aux autorités cantonales d'avoir à tort considéré que les conditions nécessaires à la prolongation de l'autorisation de séjour n'étaient pas remplies.
4.1 Comme déjà indiqué (cf. consid. 1.1 supra), la recourante ne peut se prévaloir des art. 42 al. 1 et 49 LEtr, seul l'art. 50 LEtr entrant en ligne de compte.
Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Il s'agit de deux conditions cumulatives (ATF 136 II 113 consid. 3.3.3 p. 119).
4.2 Le Tribunal cantonal a établi que la recourante s'était mariée le 30 janvier 2004, puis séparée de son conjoint le 1er juillet 2010, de sorte que la condition temporelle de l'art. 50 al. 1 let. a LEtr était "en apparence remplie". Bien que doutant de la réalité de l'union conjugale des époux du fait que la recourante s'était prostituée, les juges cantonaux ont donc admis que cette union avait duré plus de trois ans. En dépit de la formulation ambiguë utilisée, il n'y a pas lieu d'y revenir.
4.3 Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; cf. ATF 134 II 1 consid. 4.1 p. 4 s.). D'après l'art. 77 al. 4 OASA, un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 OIE, la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). Le Tribunal fédéral a précisé que l'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'art. 4 OIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion "d'intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances. Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr ainsi qu'art. 3 OIE; arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.2; 2C_427/2011 du 26 octobre 2011 consid. 5.2; 2C_546/2010 du 30 novembre 2010 consid. 5.2.1).
En l'espèce, le Tribunal cantonal a admis que la recourante parlait et comprenait parfaitement le français, qu'elle n'avait pas fait l'objet d'une condamnation pénale ni de plaintes adressées à l'autorité yverdonnoise. En revanche, l'instance précédente a retenu au détriment de la recourante que celle-ci se trouvait sous le coup de trois actes de défaut de biens, qu'elle n'avait fait preuve, durant son séjour en Suisse, que d'une très faible volonté de participer à la vie économique, qu'elle et son époux avaient perçu des prestations financières importantes des services sociaux durant leur vie commune et que la recourante dépendait encore de l'assistance publique, sa thèse selon laquelle son conjoint l'aurait empêchée de travailler en exerçant des "violences financières" sur sa personne n'étant corroborée par aucun élément crédible.
Comme il a été vu auparavant, le Tribunal cantonal n'a pas apprécié arbitrairement les preuves en réfutant que le défaut d'activité économique (suffisamment) rémunératrice de la recourante soit imputable aux pressions exercées par son conjoint, les critiques émises par la recourante à ce sujet étant appellatoires (consid. 3.2 supra). Partant, le Tribunal cantonal n'a pas abusé de son pouvoir d'appréciation en retenant que le fait pour la recourante d'avoir été, pendant une période substantielle de son séjour dans notre pays, à la charge de l'assistance publique et d'avoir, de son propre aveu, exercé des activités professionnelles précaires, indiquait un manque de volonté d'intégration économique et de stabilité professionnelle depuis sa venue en Suisse en 2003. Dans ce contexte, les recherches d'emploi que la recourante dit effectuer et la promesse conditionnelle d'un contrat de femme de chambre à mi-temps pour un montant faible de 1'700 fr. par mois, produite par la recourante dans le cadre de son recours auprès du Tribunal cantonal, ne sauraient renverser cette appréciation.
L'une des conditions de l'art. 50 al. 1 let. a LEtr faisant défaut, on ne peut reprocher au Tribunal cantonal d'avoir confirmé le refus du Service cantonal de prolonger l'autorisation de séjour de la recourante sur cette base.
4.4 La recourante se prévaut également de l'art. 50 al. 1 let. b LEtr. Elle réitère avoir fait l'objet de "violences financières", qu'elle assimile à des actes de violence conjugale justifiant la poursuite de son séjour en Suisse. De plus, son retour au Cameroun la plongerait dans un profond désarroi, "dans la mesure où tout lui rappellerait son défunt enfant".
4.4.1 L'art. 50 al. 1 let. b LEtr prévoit qu'après la dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu de l'art. 42 LEtr subsiste lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures (let. b). Selon l'art. 50 al. 2 LEtr, les raisons personnelles majeures visées à l'al. 1 let. b sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. La jurisprudence a précisé que la violence conjugale et la réintégration sociale fortement compromise dans le pays de provenance ne devaient pas forcément être réalisées cumulativement pour justifier l'application de l'art. 50 al. 1 let. b et al. 2 LEtr (cf. ATF 136 II 1 consid. 5.3 p. 4). Cette disposition a en effet pour vocation d'éviter les cas de rigueur ou d'extrême gravité (cf. ATF 137 II 1 consid. 3.1 p. 3 s.). A cet égard, la violence conjugale ou la réintégration fortement compromise dans le pays d'origine peuvent revêtir une importance et un poids différents dans cette appréciation et suffire isolément à admettre des raisons personnelles majeures. S'agissant de la violence conjugale, il faut toutefois qu'il soit établi que l'on ne peut exiger plus longtemps de la personne admise dans le cadre du regroupement familial qu'elle poursuive l'union conjugale, parce que cette situation risque de la perturber gravement. La violence conjugale doit par conséquent revêtir une certaine intensité (ATF 136 II 1 consid. 5.3 p. 4); elle peut être de nature tant physique que psychique (arrêt 2C_155/2011 du 7 juillet 2011 consid. 4.3).
4.4.2 In casu, les juges cantonaux ont, sans tomber dans l'arbitraire, considéré que l'existence de pressions financières ou psychiques exercées par le mari de la recourante n'était pas avérée. Auraient-elles d'ailleurs existé que de telles pressions - visant à empêcher la recourante à prendre un travail ou à l'exclure du domicile conjugal, entre son retour d'Afrique en février 2011 et la séparation du couple le 1er juillet 2011 - ne seraient pas assez intenses pour pouvoir être qualifiées de "violences conjugales" au regard de la jurisprudence précitée. Au surplus, aucun élément n'indique qu'une réintégration sociale de la recourante au Cameroun, pays où vit une partie de sa famille, serait fortement compromise ou que d'autres motifs graves et exceptionnels commanderaient la poursuite de son séjour en Suisse au-delà de la dissolution de la communauté conjugale, étant précisé que la recourante ne possède de son propre aveu aucune attache particulière dans notre pays et qu'elle n'y est arrivée qu'à l'âge de trente-trois ans. Enfin, l'argument selon lequel un retour de la recourante vers le Cameroun exposerait cette dernière à des souffrances morales liées au souvenir de son enfant défunt n'est pas étayé et serait trop diffus pour compromettre sérieusement la reprise d'une vie au Cameroun (cf. arrêt 2C_376/2010 du 18 août 2010 consid. 6.3.2).
4.5 Dans ces circonstances, en jugeant que la recourante ne pouvait se prévaloir de l'art. 50 al. 1 let. b LEtr pour obtenir une prolongation de son autorisation de séjour, le Tribunal cantonal a respecté le droit fédéral.
5. Au vu de ce qui précède, il y a lieu de rejeter le recours dans la mesure où il est recevable. Succombant, la recourante doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué au mandataire de la recourante, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 3 avril 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton