Faits:
A. Ressortissant togolais né en 1976, X._ est entré en Suisse en septembre 2002 pour y déposer une demande d'asile. Cette demande a été rejetée par l'Office fédéral des réfugiés, devenu entre-temps l'Office fédéral des migrations (ci-après: l'Office fédéral), en avril 2003; le rejet a été assorti d'un prononcé de renvoi de Suisse. Saisie d'un recours contre cette décision, la Commission suisse de recours en matière d'asile (ci-après: la Commission de recours) l'a confirmée le 26 juin 2003. Le 28 avril 2004, elle a déclaré irrecevable la demande de révision présentée par l'intéressé le 23 avril 2004 et l'a transmise à l'Office fédéral comme demande de réexamen de la décision de renvoi du 28 avril 2003. Par décision du 29 avril 2004, l'Office fédéral a rejeté la demande de réexamen. Le recours interjeté contre cette décision a été rayé du rôle le 23 septembre 2005.
B. Le 28 juillet 2005, X._ a épousé une ressortissante suisse et a été mis au bénéfice d'une autorisation de séjour pour regroupement familial. Par courrier du 28 octobre 2008, l'épouse a informé le Service de la population du canton de Vaud (ci-après: le SPOP) du fait que les liens conjugaux avec son mari étaient quasiment rompus. Elle a requis le 5 décembre 2008 des mesures protectrices de l'union conjugale et l'époux a pris un domicile séparé au début de l'année 2009.
Après avoir recueilli les renseignements d'usage au sujet de la situation personnelle, familiale et professionnelle de X._, le SPOP a, par décision du 2 juin 2009, révoqué l'autorisation de séjour de l'intéressé en application de l'art. 62 let. d de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), mais s'est déclaré favorable à la poursuite de son séjour en Suisse conformément à l'art. 50 LEtr, sous réserve de l'approbation de l'Office fédéral.
C. Après lui avoir donné l'occasion de s'exprimer, l'Office fédéral a, par décision du 11 décembre 2009, refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Il a retenu, en bref, que l'intéressé ne pouvait pas se prévaloir d'une intégration réussie en Suisse, qu'il avait alterné les périodes de travail et de chômage, qu'il n'avait pas acquis de qualifications professionnelles particulières, qu'il ne disposait d'aucun réseau social en Suisse et qu'il avait maintenu des liens réguliers avec son pays d'origine.
Le Tribunal administratif fédéral a rejeté le recours formé contre la décision précitée de l'Office fédéral par arrêt du 29 mars 2011. Il a considéré que si son union conjugale avait certes duré plus de trois ans au sens de l'art. 50 al. 1 let. a LEtr, X._ ne pouvait pas se prévaloir d'une intégration réussie; en outre, la poursuite de son séjour en Suisse ne s'imposait pas pour des raisons personnelles majeures au sens des art. 50 al. 1 let. b et 50 al. 2 LEtr.
D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement de réformer l'arrêt du Tribunal administratif fédéral du 29 mars 2011, en ce sens que la prolongation de son autorisation de séjour soit approuvée, subsidiairement, d'annuler cet arrêt et de retourner la cause au Tribunal administratif fédéral, subsidiairement à l'Office fédéral, pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il invoque la violation de l'art. 50 LEtr, l'établissement inexact des faits ainsi qu'une violation du principe de l'interdiction de l'arbitraire. Il requiert la production du dossier du SPOP et, au besoin, l'interpellation de certains amis au sujet de la qualité de son intégration en Suisse.
Contestant le grief de constatation manifestement inexacte des faits, le Tribunal administratif fédéral se réfère au surplus aux considérants de son arrêt du 29 mars 2011. L'Office fédéral propose le rejet du recours. Dans ses observations complémentaires du 5 septembre 2011, X._ requiert du Tribunal fédéral qu'il recueille des renseignements complémentaires auprès d'un témoin sur les circonstances de son licenciement du restaurant B._.
E. Par ordonnance du 25 mai 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 96).
1.1 L'art. 83 let. c ch. 2 LTF exclut la possibilité de saisir le Tribunal fédéral d'un recours contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, l'union conjugale du recourant avec une ressortissante suisse ayant cessé d'exister, celui-ci ne peut pas déduire un droit à une autorisation de séjour de l'art. 42 al. 1 LEtr. Reste l'art. 50 al.1 LEtr qui subordonne la prolongation de son autorisation à certaines conditions. Dans la mesure où le recourant soutient de manière plausible qu'il réalise ces conditions, son écriture échappe à la clause d'irrecevabilité de l'art. 83 let. ch. 2 LTF. Le point de savoir si c'est à juste titre que les autorités fédérales ont nié la réalisation des conditions de l'art. 50 LEtr ressortit au fond et non à la recevabilité (cf. <ref-ruling> consid. 1.1 p. 179, 497 consid. 3.3 p. 500 s.).
1.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF). Il a été formé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il est recevable en tant que recours en matière de droit public.
2. Le recourant requiert la production du dossier du SPOP, ainsi que l'audition de témoins. La première requête est sans objet, le SPOP ayant été invité à transmettre son dossier au Tribunal fédéral, et la seconde doit être écartée. Conformément à l'art. 55 LTF, il est certes possible, dans un recours en matière de droit public, d'ordonner des mesures probatoires en vue d'élucider certains faits. Selon la jurisprudence, de telles mesures doivent toutefois conserver un caractère exceptionnel (cf. <ref-ruling> consid. 2 p. 104; arrêts 4A_16/2010 du 6 avril 2010 consid. 3 et 2C_118/2009 du 15 septembre 2009 consid. 3); il n'appartient pas au Tribunal fédéral comme dernière instance d'instruire pour la première fois les faits pertinents (cf. arrêts 2A.253/2005 du 3 février 2006 consid. 2 et 2A.297/2005 du 3 février 2006 consid. 2). En l'espèce, les faits de la cause sont suffisamment élucidés pour permettre au Tribunal fédéral de se prononcer.
3. 3.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.1 p. 314).
3.2 En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF), soit arbitrairement (<ref-ruling> consid. 1.2.2 p. 252). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF sont réalisées et en quoi la correction du vice est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF); à défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. Les critiques appellatoires sont irrecevables (cf. <ref-ruling> consid. 3 p. 104 s. et les arrêts cités). Par ailleurs, l'art. 99 al. 1 LTF dispose qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Selon la jurisprudence, l'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération voire serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; il faut encore qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153; <ref-ruling> consid. 5.1 p. 17).
4. Le recourant reproche à l'autorité précédente d'avoir constaté de manière arbitraire qu'il avait été licencié à deux reprises à la suite de problèmes relationnels avec les employeurs qui l'occupaient et qu'il ne s'était pas créé d'attaches particulières en Suisse; en outre, les premiers juges auraient omis de retenir qu'il avait été victime de violences conjugales et n'auraient pas tenu compte de la stabilité professionnelle dont il avait fait preuve depuis sa prise d'emploi, le 18 avril 2008, auprès du restaurant C._.
La plupart des griefs articulés par le recourant reposent sur des pièces produites pour la première fois devant le Tribunal fédéral. Dans la mesure où il s'agit de pièces nouvelles, dont l'autorité précédente n'a pas eu connaissance avant de statuer, elles ne sont pas recevables et doivent être écartées, en application de l'art. 99 al. 1 LTF. Il convient en conséquence de se baser sur l'état de fait retenu par le Tribunal administratif fédéral.
5. Sur le fond, le recourant se plaint d'une violation de l'art. 50 LEtr.
5.1 Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 3.3.3 p. 119). En l'espèce, les autorités fédérales ont admis que l'union conjugale avait duré plus de trois ans. Seule demeure donc litigieuse la question de l'intégration réussie.
5.2 Le principe d'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; cf. <ref-ruling> consid. 4.1 p. 4 s.). D'après l'art. 77 al. 4 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ordonnance du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). Le Tribunal fédéral a précisé que l'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'art. 4 OIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions; ce terme signale aussi que la notion d'"intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances (arrêt 2C_839/2010 du 25 février 2011 consid. 7.1.2). Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr ainsi qu'art. 3 OIE; cf. arrêts 2C_430/2011 du 11 octobre 2011 consid. 4.2 et 2C_986/2010 du 18 mai 2011 consid. 5.2).
5.3 En l'occurrence, le Tribunal administratif fédéral a admis que le recourant avait exercé une certaine activité professionnelle en Suisse; il a toutefois estimé qu'il avait passé de longues périodes sans travailler, qu'il avait fait l'objet de deux licenciements à la suite de problèmes relationnels et qu'il avait essentiellement occupé des emplois non qualifiés, de sorte que l'on ne pouvait pas considérer qu'il avait réussi son intégration professionnelle. Sa situation économique était précaire et son intégration sociale en Suisse médiocre.
A juste titre, le recourant conteste cette appréciation. En effet, en présence d'un étranger qui est intégré professionnellement en Suisse, qui n'a jamais recouru aux prestations de l'aide sociale, qui n'a pas contrevenu à l'ordre public et qui maîtrise la langue parlée de son lieu de domicile, il faut des éléments sérieux permettant de nier son intégration (cf. arrêt 2C_839/2010 du 25 février 2011 consid. 7.1.2).
Au plan professionnel, le recourant, arrivé dans le canton de Vaud, le 24 septembre 2002, a exercé une activité lucrative pour le compte de l'Hôtel A._, à Lausanne, dès le 4 janvier 2003, soit dès que son statut de requérant d'asile l'y a autorisé. Il a donc d'emblée manifesté son intention d'assurer son indépendance financière. Il a quitté cet emploi le 31 mars 2004 suite à une dispute avec un responsable de l'établissement; si ce comportement peut lui être reproché, il convient de relever que selon le certificat de travail établi par l'employeur le 31 mars 2004, le recourant a donné satisfaction tant par son comportement que par son travail et qu'il est décrit comme un employé de présentation soignée et flexible pour les horaires. Après une période d'inactivité de neuf mois, le recourant a occupé un emploi temporaire subventionné auprès de E._, à Lausanne, du 1er janvier au 30 juin 2005, dans le domaine de la peinture en bâtiment. Il a ensuite oeuvré en qualité de préparateur en carrosserie du 9 janvier au 3 mars 2006, puis comme aide-peintre du 6 juin au 7 novembre 2006. Du 21 mars au 31 décembre 2007, il a travaillé en qualité d'aide de cuisine au restaurant B._. S'il a certes été congédié de cet emploi, il ressort du dossier du SPOP que c'est à la suite d'une altercation provoquée par son employeur et qu'il ne peut ainsi pas être rendu responsable de la perte de ce travail. Depuis le 18 avril 2008, il est employé par le restaurant C._, où son travail donne entière satisfaction. Du 1er janvier 2003 à fin septembre 2011, soit pendant une période de huit ans et neuf mois, il a donc été actif professionnellement pendant six ans et sept mois. Depuis qu'il est au bénéfice d'une autorisation de séjour, le 1er mars 2006, il ne s'est trouvé sans emploi que pendant onze mois. Ses périodes d'inactivité, en particulier à l'époque où il ne disposait pas d'un permis B, ne sauraient amener à la conclusion qu'il n'est pas intégré professionnellement. Ce d'autant moins qu'il dispose depuis trois ans d'un emploi stable garantissant son autonomie financière. En dépit d'un certain nombre de périodes d'inactivité, son parcours professionnel révèle un souci de s'assumer financièrement et non pas un penchant au désoeuvrement. En outre, il importe peu que son indépendance financière résulte d'un emploi peu qualifié. L'intégration réussie au sens de l'art. 50 al. 1 let. a LEtr n'implique en effet pas nécessairement la réalisation d'une trajectoire professionnelle particulièrement brillante au travers d'une activité exercée sans discontinuité. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas (cf. arrêt précité 2C_430/2011 du 11 octobre 2011 consid. 4.2).
Au plan de l'intégration sociale, le recourant a expliqué, lors de son audition du 29 avril 2009 par la police de D._, qu'il souhaiterait faire partie d'associations ou de clubs sportifs mais que son activité professionnelle lui laissait peu de temps pour les loisirs. Ces propos traduisent une certaine volonté d'établir des liens sociaux en dehors du cercle de ses compatriotes. En outre, le recourant a fait ménage commun avec son épouse, particulièrement connue et bien intégrée à D._, du 2 novembre 2004 jusqu'au début de l'année 2009, soit pendant plus de quatre ans. Cette vie de couple l'a assurément amené à nouer des relations sociales et amicales au travers des rencontres organisées par son épouse avec des personnes de son entourage. Enfin, si les attaches sociales en Suisse, notamment la participation à une vie associative, constituent l'un des critères à prendre en considération dans l'analyse de la réussite de l'intégration au sens de l'art. 50 al. 1 let. a LEtr, leur absence ne permet pas, à elle seule, d'en conclure que l'étranger ne serait pas intégré (cf. arrêt 2C_839/2010 du 25 février 2011 consid. 7.1.2).
5.4 Ni ses périodes d'inactivité professionnelle, ni les circonstances de ses licenciements à l'Hôtel A._ et au restaurant B._, ni la nature des emplois exercés, ni l'absence d'implication dans la vie associative ne permettent de nier la réussite de l'intégration du recourant dans la mesure où celui-ci dispose depuis trois ans d'un emploi stable, n'a jamais sollicité les prestations de l'aide sociale, maîtrise la langue parlée du lieu de son domicile et n'a pas contrevenu à l'ordre public.
Il convient dès lors d'ordonner la prolongation de l'autorisation de séjour litigieuse en application de l'art. 50 al. 1 let. a LEtr. Dans ces conditions, il est superflu d'examiner si les conditions des art. 50 al. 1 let. b et 50 al. 2 LEtr sont remplies.
6. Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à l'Office fédéral pour qu'il approuve la prolongation de l'autorisation de séjour.
Il n'y a pas lieu de percevoir de frais de justice (cf. art. 66 al. 4 LTF). Succombant, l'Office fédéral devra verser au recourant une indemnité à titre de dépens (cf. art. 68 al. 1 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure qui s'est déroulée devant elle.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal administratif fédéral du 29 mars 2011 est annulé et la cause est renvoyée à l'Office fédéral des migrations pour qu'il approuve la prolongation de l'autorisation de séjour du recourant.
2. La cause est renvoyée au Tribunal administratif fédéral afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
3. Il n'est pas perçu de frais judiciaires.
4. L'Office fédéral des migrations versera au recourant une indemnité de 2'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties, au Service de la population du canton de Vaud et au Tribunal administratif fédéral, Cour III.
Lausanne, le 26 octobre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Addy