Faits :
A.
X._, né en 1973 et originaire de la Guinée, est entré illégalement en Suisse le 1er septembre 2003. A la suite de son mariage, le 13 août 2004, avec la ressortissante suisse A._, il a obtenu une autorisation de séjour. Le 27 septembre 2007, les époux ont eu une fille, B._. X._ est père d'un autre enfant, C._, né en 1993 et vivant en Guinée.
Le 28 novembre 2008, X._ a quitté la Suisse et s'est rendu en Guinée. Il n'est revenu en Suisse qu'au mois de mars 2009, sans réintégrer le domicile conjugal.
Le 17 avril 2009, la Présidente du Tribunal civil de l'arrondissement de la Côte, statuant par voie de mesures protectrices de l'union conjugale, a notamment autorisé les époux à vivre séparés jusqu'au 30 avril 2010, confié la garde de B._ à sa mère et décidé que le droit de visite de X._ s'exercerait à raison de deux périodes de deux heures par mois.
Le 9 avril 2010, le Président du Tribunal civil de l'arrondissement de la Côte a prononcé la séparation des biens des époux et établi que le droit de visite de X._ s'exercerait désormais à raison d'un samedi sur deux, de 09h00 à 17h00. Les époux sont actuellement en instance de divorce.
B.
Le 5 juillet 2010, X._ a formellement sollicité la prolongation de son autorisation de séjour. Le 25 juillet 2011, le Service de la population du canton de Vaud (ci-après: le SPOP) a informé le recourant qu'il était favorable au renouvellement de son autorisation de séjour en application de l'art. 50 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr, RS 142.20), tout en lui indiquant que cette décision était soumise à l'approbation de l'Office fédéral des migrations.
Le 26 octobre 2011, l'Office fédéral des migrations a refusé d'approuver la prolongation de l'autorisation de séjour du recourant et prononcé son renvoi de Suisse. Par arrêt du 4 décembre 2013, le Tribunal administratif fédéral a rejeté le recours formé par X._ contre cette décision.
C.
X._ interjette un recours en matière de droit public au Tribunal fédéral contre l'arrêt rendu le 4 décembre 2013 par le Tribunal administratif fédéral. Il conclut à l'annulation de l'arrêt attaqué et au renouvellement de son autorisation de séjour, respectivement à l'octroi d'un permis C. Il requiert en outre le bénéfice de l'assistance judiciaire.
L'Office fédéral des migrations conclut au rejet du recours, alors que le Tribunal administratif fédéral renonce à prendre position.
Par ordonnance du 29 janvier 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours.

Considérant en droit :
1.
1.1. En vertu de l'art. 83 let. c LTF, le recours en matière de droit public est notamment irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2). Le recourant invoque l'art. 50 al. 1 LEtr selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste dans certains cas. Le recourant invoque aussi la violation de l'art. 8 CEDH, qui protège le droit au respect de la vie privée et familiale. Dès lors qu'il n'est pas d'emblée exclu que les conditions de ces dispositions soient remplies, il convient d'admettre le droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF, étant précisé que le point de savoir si le recourant peut effectivement se prévaloir d'un droit à séjourner en Suisse relève du fond et non de la recevabilité (cf. arrêt [du Tribunal fédéral] 2C_14/2014 du 27 août 2014 consid. 1, destiné à la publication; <ref-ruling> consid. 1.1 p. 179; arrêt 2C_1062/2013 du 28 mars 2014 consid. 1.1).
1.2. Le recours est dirigé contre une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>), confirmant le refus de renouveler l'autorisation de séjour ainsi que le renvoi du recourant de Suisse. Pour le surplus, le recours a été déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. c et <ref-law>), et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt entrepris, qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il y a lieu d'entrer en matière sur le recours en matière de droit public.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313; <ref-ruling> consid 8.1 p. 153; arrêt 9C_503/2013 du 25 février 2014 consid. 2) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2 p. 287 s.; arrêt 9C_503/2013 du 25 février 2014 consid. 2).
2.2. Dans la mesure où le recourant présente une argumentation appellatoire, en opposant sa propre appréciation des faits à celle du Tribunal administratif fédéral, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
3.
Sur le plan formel, le recourant se plaint du refus du Tribunal administratif fédéral de l'entendre oralement, en y voyant une violation de son droit d'être entendu.
Découlant de l'art. 29 al. 2 Cst., ce droit ne comprend cependant pas celui d'être entendu oralement par un tribunal (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428; arrêt 2D_16/2013 du 8 juillet 2013 consid. 3.1). Un tel droit n'existe, en vertu des garanties constitutionnelles de procédure, que pour les causes bénéficiant de la protection de l'art. 6 par. 1 CEDH ou lorsque les règles de procédure le prévoient ou encore lorsque sa nécessité découle des exigences du droit à la preuve (<ref-ruling> consid. 2 p. 290; arrêt 2D_16/2013 du 8 juillet 2013 consid. 3.1). En l'espèce, aucune de ces conditions n'est remplie. En particulier, il est admis par la jurisprudence que les décisions relatives au séjour et au renvoi d'étrangers n'entrent pas dans le champ d'application de l'art. 6 par. 1 CEDH (arrêts [de la CourEDH] Mamatkulov et Askarov contre Turquie du 4 février 2005 § 82; Mir Zakria Sadiq contre Suisse du 26 mars 2002, in JAAC 2002 n° 116 p. 1322; <ref-ruling> consid. 4.4.2 p. 133). Le grief du recourant doit donc être rejeté.
4.
Sur le fond, le recourant se prévaut d'une violation des art. 43 et 50 LEtr ainsi que de l'art. 8 CEDH.
4.1. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 3.3.3 p. 119; arrêt 2C_749/2011 du 20 janvier 2012 consid. 3.1). En l'espèce, les autorités précédentes ont admis que l'union conjugale avait duré plus de trois ans, de sorte que l'on ne voit pas, et le recourant ne l'explique pas non plus, en quoi l'art. 43 LEtr. aurait été méconnu. Demeure donc litigieuse la question de l'intégration réussie au sens de l'art. 50 al. 1 let. a LEtr.
4.1.1. Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; cf. <ref-ruling> consid. 4.1 p. 4 s.). D'après l'art. 77 al. 4 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ordonnance du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). Le Tribunal fédéral a précisé que l'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'<ref-law>, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion "d'intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances (arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.2 et 2C_839/2010 du 25 février 2011 consid. 7.1.2). Finalement, en ce qui concerne l'intégration professionnelle, il convient de rappeler que, d'après la jurisprudence du Tribunal fédéral, l'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas (cf. arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.3 et 2C_430/2011 du 11 octobre 2011 consid. 4.2).
4.1.2. En l'espèce, il ressort des constatations du Tribunal administratif fédéral que, depuis son arrivée en Suisse le 1er septembre 2003, le recourant n'y a exercé une activité lucrative que durant de brèves périodes. Ainsi, après avoir travaillé pendant quelques mois en 2005 et en 2007, il n'a été au bénéfice d'un emploi fixe que durant la période du 13 août 2010 au 31 janvier 2012. Pour le reste, X._ a vécu successivement des revenus de son épouse, des prestations de l'assurance-chômage et du revenu minimum d'insertion. Il est actuellement à la charge de l'assistance publique depuis le 1er mars 2013. Le recourant prétend que c'est à cause de la durée inusuelle de la procédure devant le Tribunal administratif fédéral qu'il n'a plus eu la possibilité de travailler. Il explique en outre avoir perdu son travail en raison du fait que son employeur aurait voulu l'engager "au gris". Cependant, d'après les constatations de l'autorité précédente, le recourant était expressément autorisé à exercer une activité lucrative durant la procédure de recours, indépendamment de la durée de celle-ci. Quant aux explications du recourant concernant la perte de son travail, dans la mesure où celles-ci s'écartent des faits constatés par le Tribunal administratif fédéral, il n'est pas possible de les prendre en considération (cf. supra consid. 2). Au vu de ce qui précède, force est de constater que le recourant n'est pas professionnellement intégré en Suisse. A cela s'ajoute le fait que, toujours selon les constatations de l'autorité précédente, l'examen du dossier du recourant ne laisse apparaître aucune volonté particulière d'intégration de sa part, notamment par des relations de voisinage ou des activités associatives. Ainsi, bien que X._ n'ait fait l'objet ni de condamnations, ni de poursuites, et qu'il parle le français, le Tribunal administratif fédéral n'a pas violé l'art. 50 al. 1 let. a LEtr en refusant d'admettre une intégration réussie.
4.2. Le recourant se plaint ensuite de la violation de l'art. 50 al. 1 let. b LEtr. Cette disposition autorise la poursuite du séjour en Suisse pour des raisons personnelles majeures. L'alinéa 2 précise que les "raisons personnelles majeures" sont notamment données lorsque la réintégration dans le pays de provenance semble fortement compromise (voir aussi l'art. 77 al. 2 de l'OASA, qui reprend la teneur de l'art. 50 al. 2 LEtr). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêts 2C_376/2010 du 18 août 2010 consid. 6.3.1 et 2C_663/2009 du 23 février 2010 consid. 3 in fine). En l'espèce, l'instance précédente constate que le recourant a passé son enfance, son adolescence et les premières années de sa vie d'adulte en Guinée. En outre, il a conservé des attaches familiales avec ce pays, dans lequel il est retourné à plusieurs reprises depuis son arrivée en Suisse. Malgré la durée de son séjour en Suisse, la réintégration du recourant dans son pays de provenance ne paraît donc pas fortement compromise.
4.3. La jurisprudence admet que des raisons personnelles majeures peuvent découler aussi d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (cf. <ref-ruling> consid. 2.1 p. 319; arrêts 2C_318/2013 du 5 septembre 2013 consid. 3.3 et 2C_327/2010 du 19 mai 2011 consid. 2.2 in fine, non publié in <ref-ruling>). Dans ce contexte, il convient également de tenir compte du droit au respect de la vie privée et familiale garanti par l'art. 8 CEDH, que le recourant invoque du reste expressément.
Le parent qui, à l'instar du recourant, n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH et art. 13 al. 1 Cst.), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours de courte durée, au besoin en aménageant ses modalités quant à la fréquence et à la durée (cf. <ref-ruling> précité, consid. 2.2 p. 319; arrêt 2C_318/2013 du 5 septembre 2013 consid. 3.3.1). Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. arrêts 2C_318/2013 du 5 septembre 2013 consid. 3.3.1 et 2C_1031/2011 du 22 mars 2012 consid. 4.2.3). Selon la jurisprudence constante du Tribunal fédéral, un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> précité, consid. 2.2 p. 319 et les arrêts cités). La jurisprudence récente a relevé que l'aménagement du droit de visite a subi une évolution considérable au cours de ces dernières années. Des droits de visite généreux se sont en effet largement imposés dans la pratique (cf., pour une présentation détaillée, <ref-ruling> précité, consid. 2.3 p. 319 s.). Ce développement du droit de visite se répercute également sur la qualification du lien affectif entre le parent qui ne dispose pas du droit de garde et son enfant habilité à résider en Suisse. C'est pourquoi, en adaptant les exigences aux circonstances de vie actuelles, la jurisprudence a récemment précisé que l'exigence du lien affectif particulièrement fort doit être considérée comme remplie lorsque les contacts personnels sont exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui (cf. <ref-ruling> précité, consid. 2.5 p. 321 s.; arrêt 2C_318/2013 du 5 septembre 2013 consid. 3.3.2). En outre, les autres conditions d'une prolongation de l'autorisation doivent être remplies également. Le parent étranger doit ainsi en particulier entretenir une relation économique particulièrement forte avec son enfant et avoir fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> précité, consid. 2.5 p. 321 s.; arrêt 2C_318/2013 du 5 septembre 2013 consid. 3.3.2).
En l'espèce, il ressort des constatations de fait effectuées par le Tribunal administratif fédéral, qui lient la Cour de céans (<ref-law>; cf. supra consid. 2), que le recourant dispose uniquement d'un droit de visite d'un jour toutes les deux semaines. Il ne peut dès lors pas se prévaloir d'un droit de visite usuel au sens précisé ci-dessus. Les raisons à la base de ce droit de visite restreint n'ont pas d'importance de ce point de vue: ce qui compte est l'étendue effective du droit de visite tel qu'il est exercé. Les critiques du recourant à cet égard ne sont pas pertinentes.
En ce qui concerne la relation économique du recourant avec sa fille, le Tribunal administratif fédéral constate que X._ n'a contribué à l'entretien de son enfant que durant la période du 1er novembre 2011 au 28 février 2013 et qu'il a depuis lors cessé toute contribution en sa faveur. Il ne peut donc pas davantage invoquer une relation économique particulièrement forte avec son enfant.
Au vu de ce qui précède, force est de constater que le recourant ne peut pas se prévaloir de liens familiaux particulièrement forts d'un point de vue affectif et économique qui justifieraient le maintien de son séjour en Suisse.
4.4. Le recourant invoque l'affaire Udeh contre Suisse du 16 avril 2013 (in Plaidoyer 2013/3 p. 58), lequel a abouti à une condamnation de la Suisse pour violation de l'art. 8 CEDH. Il convient d'abord de mentionner que ce jugement, qui n'est pas une décision de principe (cf. <ref-ruling> consid. 2.4 p. 328; arrêts 2C_280/2014 du 22 août 2014 consid. 4.7; 2C_339/2013 du 18 juillet 2013 consid. 2.9; 2C_139/2013 du 11 juin 2013 consid. 7.5), n'énonce aucun principe nouveau qui n'aurait été consacré auparavant dans la jurisprudence de la CourEDH, notamment dans l'affaire Üner contre Pays-Bas du 18 octobre 2006 (Recueil CourEDH 2006-XII p. 159 § 54-60), auquel cet arrêt se réfère, ou dans celle du Tribunal fédéral. De ce point de vue, il ne s'agit donc que d'un arrêt parmi une abondante jurisprudence consacrée à l'art. 8 CEDH. De plus, la portée de cet arrêt dans l'ordre juridique suisse a été fortement relativisée par le Tribunal fédéral, dans la mesure où l'arrêt en question se fonde de manière prépondérante sur des faits postérieurs à l'arrêt rendu par le Tribunal fédéral (<ref-ruling> consid. 2.4 p. 327 ss). Les développements que consacre le recourant au sujet de l'arrêt de la CourEDH Udeh c. Suisse précité ne lui sont donc d'aucun secours en l'espèce.
4.5. En dernier lieu, hormis les liens du recourant avec son enfant, dont on a vu qu'ils ne justifient pas à eux seuls son séjour en Suisse, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 LEtr. et art. 8 par. 2 CEDH).
5.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. La cause étant d'emblée dénuée de chances de succès, la demande d'assistance judiciaire doit aussi être rejetée (cf. <ref-law>). Les frais judiciaires seront mis à la charge du recourant, mais ils seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Des frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations, au Tribunal administratif fédéral, Cour III, et au Service de la population du canton de Vaud.
Lausanne, le 27 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Ermotti