Faits :
A.
Ressortissant camerounais né en 1974, A.X._ est arrivé en Suisse en décembre 2002 pour y déposer une demande d'asile, laquelle a été rejetée le 15 juillet 2003. Le 27 avril 2007, il a épousé Y._, ressortissante suisse née en 1958, et a obtenu de ce fait une autorisation de séjour au titre du regroupement familial dans le canton de Vaud, laquelle a été renouvelée pour la dernière fois jusqu'au 26 avril 2012. Aucun enfant n'est issu de cette union.
Par convention ratifiée le 11 juin 2010 par la présidente du Tribunal d'arrondissement de Lausanne pour valoir prononcé de mesures protectrices de l'union conjugale, les époux X._ sont convenus de vivre séparés pour une durée indéterminée.
Par courrier du 10 juin 2011, le Service de la population du canton de Vaud (ci-après: Service de la population) a communiqué à A.X._ son intention de révoquer son autorisation de séjour et lui a accordé le droit d'être entendu. L'intéressé a exercé son droit d'être entendu par courrier du 14 septembre 2011 pour s'opposer à la révocation de son autorisation de séjour.
Par courrier du 16 juillet 2012, le Service de la population a informé A.X._ que les conditions liées à son autorisation de séjour obtenue à la suite de son mariage n'étaient plus remplies. Il s'est toutefois déclaré favorable à la poursuite du séjour en Suisse de l'intéressé dès lors que son comportement n'avait pas donné lieu à des plaintes, que la vie commune du couple avait duré plus de trois ans et que l'intégration de l'intéressé paraissait réussie. Le 2 octobre 2012, le Service de la population a transmis le dossier à l'Office fédéral des migrations (devenu entretemps le Secrétariat d'Etat aux migrations; ci-après: le SEM) afin qu'il donne son approbation à la prolongation de l'autorisation de séjour en application de l'art. 50 LEtr.
B.
Par décision du 7 mai 2013, le SEM a refusé d'approuver la prolongation de l'autorisation de séjour de A.X._ et prononcé son renvoi de Suisse. Par arrêt du 16 novembre 2015, le Tribunal administratif fédéral a rejeté le recours que l'intéressé avait interjeté contre la décision du SEM.
C.
A l'encontre de cet arrêt, A.X._ dépose un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement, à l'annulation de l'arrêt attaqué et à ce qu'une autorisation de séjour lui soit délivrée. Subsidiairement, il demande au Tribunal fédéral de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision. Il requiert en outre le bénéfice de l'assistance judiciaire.
Le Tribunal administratif fédéral a renoncé à déposer des observations. Le SEM a conclu au rejet du recours.
Par ordonnance du 14 janvier 2016, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif.

Considérant en droit :
1.
1.1. En vertu de l'art. 83 let. c ch. 2 LTF, le recours est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recourant invoque l'art. 50 al. 1 LEtr (RS 142.20) selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste dans certains cas. Dès lors qu'il n'est pas d'emblée exclu que les conditions de cette disposition soient remplies, il convient d'admettre le droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF, étant précisé que le point de savoir si le recourant peut effectivement se prévaloir d'un droit à séjourner en Suisse relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1 p. 332; arrêt 2C_861/2015 du 11 février 2016 consid. 1.1).
1.2. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF), qui confirme le refus d'approuver la prolongation de l'autorisation de séjour du recourant ainsi que son renvoi de Suisse. Pour le surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt entrepris qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il y a lieu d'entrer en matière sur le recours.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique d'office le droit fédéral (art. 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. A moins que la décision attaquée ne contienne des vices juridiques manifestes, il s'en tient aux arguments juridiques soulevés dans le recours (cf. art. 42 al. 1 et 2 LTF; <ref-ruling> consid. 2.2.1 p. 389).
A ce titre, la Cour de céans ne reviendra notamment pas sur la poursuite du séjour du recourant en Suisse pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr. Le Tribunal administratif fédéral a en effet nié cette condition au terme d'une argumentation circonstanciée, que le recourant ne conteste pas dans le présent recours.
2.2. Selon l'art. 97 al. 1 LTF, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit aussi rendre vraisemblable par une argumentation répondant aux exigences de l'art. 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 104). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.2 p. 234). Il y a arbitraire dans l'établissement des faits ou l'appréciation des preuves lorsque le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560; arrêt 2C_910/2015 du 11 avril 2016 consid. 2.1).
3.
Le recourant reproche au Tribunal administratif fédéral d'avoir retenu que l'union conjugale avait duré moins de trois ans au sens de l'art. 50 al. 1 let. a LEtr.
3.1. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 3.5.3 p. 295; <ref-ruling> consid. 3.3.3 p. 119). Selon la jurisprudence, la période minimale de trois ans de l'union conjugale commence à courir dès le début de la cohabitation effective des époux en Suisse et s'achève au moment où ceux-ci cessent de faire ménage commun (<ref-ruling> consid. 2 p. 231; <ref-ruling> consid. 3.3.3 p. 119). Est seule décisive la durée de la vie commune en Suisse (ATF <ref-ruling> consid. 3.3 p. 117 ss).
La limite des trois ans est absolue et s'applique même s'il ne reste que quelques jours pour atteindre la durée des trente-six mois exigés par l'art. 50 al. 1 let. a LEtr (cf. <ref-ruling> consid. 3.1.3 p. 347; <ref-ruling> consid. 3.2 et 3.4 p. 116 s. et 120; arrêts 2C_50/2015 du 26 juin 2015 consid. 3.1 et les arrêts cités).
La notion d'union conjugale de l'art. 50 al. 1 let. a LEtr ne se confond pas avec celle du mariage. Alors que celui-ci peut n'être plus que formel, l'union conjugale implique une vie conjugale effective, sous réserve des exceptions mentionnées à l'art. 49 LEtr (cf. <ref-ruling> consid. 3.1.2 p. 347). Elle ne se confond pas non plus avec celle de la seule cohabitation mais implique une volonté matrimoniale commune de la part des époux. A cet égard, le Tribunal fédéral a jugé que la période durant laquelle les conjoints continuent provisoirement à cohabiter en attendant de pouvoir se constituer deux domiciles séparés ne peut pas être prise en compte dans le calcul des trois ans de l'art. 50 al. 1 let. a LEtr, faute de vie conjugale effective (arrêts 2C_1111/2015 du 9 mai 2016 consid. 4.1 et 2C_1258/2012 du 2 août 2013 consid. 4.1).
3.2. Selon les constatations de l'autorité précédente qui lient le Tribunal fédéral, le délai de trois ans prévu à l'art. 50 al. 1 let. a LEtr est arrivé à échéance le 27 avril 2010. Le Tribunal administratif fédéral a retenu que la communauté conjugale effective du couple avait cessé d'exister avant cette date. Il s'est référé, à cet égard, aux déclarations de l'épouse lors de son audition du 22 mars 2011 par la police cantonale. A cette occasion, l'épouse a déclaré avoir déjà évoqué une éventuelle séparation en été 2009, en raison du comportement adopté par son époux, notamment de ses absences régulières et son refus de contribuer à l'entretien du ménage. Elle aurait décidé de se séparer de son époux en avril 2010 et finalement entrepris les démarches en vue d'obtenir une séparation alors que son époux était en voyage. Il ressort également des constatations de l'arrêt attaqué que le recourant a sollicité, le 30 mars 2010, une décision rapide quant à la prolongation de son autorisation de séjour, au motif qu'il devait partir à l'étranger à partir du 20 avril 2010.
3.3. Le recourant reproche essentiellement au Tribunal administratif fédéral d'avoir procédé à une appréciation arbitraire des preuves, notamment des déclarations de son ex-épouse, en retenant que l'union conjugale avait duré moins de trois ans. Il ne conteste pas que le délai de trois ans prévu à l'art. 50 al. 1 let. a LEtr est arrivé à échéance le 27 avril 2010, ni le fait qu'il était à l'étranger à partir du 20 avril 2010. En revanche, il conteste les absences antérieures alléguées par son ex-épouse et estime que son absence en avril 2010 ne signifie pas que la communauté conjugale n'était plus effective à ce moment-là. L'union conjugale avec son ex-épouse aurait formellement perduré un peu plus de trois ans, aucun élément probant ne venant soutenir le contraire.
3.4. Cette argumentation ne convainc pas. Le recourant méconnaît que la durée de trois ans prévue à l'art. 50 al. 1 let. a LEtr ne coïncide pas nécessairement avec la durée formelle de l'union conjugale, étant rappelé que seule la durée de la communauté conjugale effectivement vécue est déterminante (cf. consid. 3.1 ci-dessus). En l'espèce, si la séparation du couple a été enregistrée officiellement le 11 juin 2010, il apparaît que le mariage du couple n'était plus constitutif d'une communauté conjugale effective bien avant cette date. En effet, il découle des faits constatés par l'autorité précédente qu'en date du 30 mars 2010, le recourant a annoncé au bureau des étrangers de sa commune de domicile son départ à l'étranger à partir du 20 avril 2010. Son épouse a déposé une requête de mesures protectrices de l'union conjugale en mai 2010 alors que le recourant se trouvait à l'étranger. Ces faits ne sont pas contestés par le recourant. En outre, il ne ressort pas des constatations de l'autorité précédente que le recourant aurait repris la vie commune avec son épouse après son retour de l'étranger. Il ne le prétend d'ailleurs pas. Il n'allègue pas davantage avoir entrepris des démarches pour reprendre la vie commune ni s'être opposé à la séparation d'avec son épouse.
On ne voit donc pas (et le recourant ne l'expose pas à satisfaction de droit) en quoi le Tribunal administratif fédéral aurait versé dans l'arbitraire ou violé le droit fédéral en retenant, sur la base du départ du recourant à l'étranger en date du 20 avril 2010, du dépôt de la requête de mesures protectrices de l'union conjugale par son épouse peu de temps après et de l'absence de reprise de la vie commune depuis lors, que la communauté conjugale effective du couple avait pris fin avant le 27 avril 2010, soit avant l'échéance du délai de trois ans prévu à l'art. 50 al. 1 let. a LEtr.
Il s'ensuit que la première condition de l'art. 50 al. 1 let. a LEtr n'est pas remplie. Il est partant superflu d'examiner la seconde condition cumulative concernant l'intégration en Suisse.
4.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la requête d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Succombant, le recourant doit supporter les frais - réduits - de la procédure fédérale, (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 1er juin 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Petry