Faits :
A.
Ressortissant camerounais né en 1978, A._ est entré illégalement en Suisse en 2004 sous un faux nom et y a séjourné sans autorisation. Le 12 mai 2005, l'Office fédéral des migrations (actuellement: Secrétariat d'Etat aux migrations) a prononcé à son encontre une interdiction d'entrée en Suisse durant cinq ans. En juin 2007, A._ s'est marié au Cameroun avec une compatriote titulaire d'une autorisation de séjour en Suisse. Deux enfants sont nés durant cette union, B._ le 7 mai 2008 et C._ le 15 novembre 2015.
Le 17 octobre 2008, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de délivrer à A._ une autorisation de séjour par regroupement familial. Le 4 décembre 2009, l'Office fédéral des migrations a prononcé à son encontre une seconde interdiction d'entrée en Suisse jusqu'au 3 décembre 2015, dont le Tribunal administratif fédéral a, sur recours de l'intéressé, limité les effets au 11 mai 2013 (arrêt du Tribunal administratif fédéral du 19 août 2011, cause C-1039/2010).
Autorisé à entrer en Suisse à la suite d'une nouvelle demande de visa, A._ y est arrivé en février 2014. Il a obtenu une autorisation de séjour par regroupement familial le 6 mars 2014, qui a été renouvelée jusqu'au 9 novembre 2016.
Le 16 janvier 2015, l'épouse d'A._ a obtenu une autorisation d'établissement puis, à une date indéterminée mais au plus tard le 23 janvier 2017, la nationalité suisse, de même que les enfants.
Les époux se sont séparés le 29 avril 2016. Par ordonnance de mesures protectrices de l'union conjugale du 11 novembre 2016, le Tribunal d'arrondissement de Lausanne a autorisé les époux à vivre séparés. La garde des enfants a été attribuée à la mère, le père jouissant d'un libre et large droit de visite s'exerçant - à défaut d'entente entre les parents - un week-end sur deux du vendredi soir au dimanche soir et durant la moitié des vacances scolaires et des jours fériés, dès que le père disposerait d'un appartement adéquat. Les époux ont convenu qu'A._ verserait une contribution mensuelle de 315fr. pour l'entretien de sa famille.
Durant son séjour en Suisse, A._ a été condamné:
- le 13 avril 2005, à une peine d'emprisonnement de 20 jours, assortie d'un sursis de 2 ans, pour délit contre la loi fédérale sur le séjour et l'établissement des étrangers,
- le 23 mai 2006, à une peine d'emprisonnement de 3 mois, assortie d'un sursis de 2 ans, pour faux dans les certificats et délit contre la loi fédérale sur le séjour et l'établissement des étrangers,
- le 7 mars 2014, à une peine privative de liberté de 6 mois, assortie d'un sursis de 3 ans, pour escroquerie,
- le 6 avril 2016, à une peine pécuniaire de 120 jours-amende à 30 fr., assortie d'un sursis de 4 ans, et à une amende de 720 fr., pour escroquerie,
- le 31 mars 2017, à une peine pécuniaire de 60 jours-amende à 30 fr., pour complicité de faux dans les certificats et complicité d'activité lucrative sans autorisation.
Le 23 mai 2017, le Service cantonal a informé A._ qu'il était favorable à la poursuite de son séjour en Suisse, sous réserve de l'approbation du Secrétariat d'Etat aux migrations.
B.
Par décision du 15 décembre 2017, le Secrétariat d'Etat aux migrations a refusé d'approuver la prolongation de l'autorisation de séjour de l'intéressé et ordonné son renvoi de Suisse. A._ a recouru contre cette décision auprès du Tribunal administratif fédéral, concluant à la prolongation de son autorisation de séjour.
Le 7 octobre 2019, le Centre universitaire et romand de médecine légale a rendu un rapport dans le cadre d'une action en désaveu de paternité ouverte par la curatrice de représentation de B._. Ce rapport conclut qu'A._ n'est pas le père biologique de cette enfant.
Par arrêt du 28 avril 2020, le Tribunal administratif fédéral a rejeté le recours. En substance, il a estimé que le recourant, qui vivait séparé de son épouse, n'avait pas de droit à obtenir la prolongation de son autorisation de séjour. Il ne pouvait en particulier pas se prévaloir de ses liens avec les enfants, dont la paternité sur l'un était douteuse, pour obtenir un droit de séjourner en Suisse. Son comportement pénal plaidait en outre en sa défaveur.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, outre l'effet suspensif et l'octroi de l'assistance judiciaire, principalement, de réformer l'arrêt attaqué en ce sens que son autorisation de séjour est prolongée; subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants.
Le Tribunal administratif fédéral et le Secrétariat d'Etat aux migrations se sont déterminés et ont conclu au rejet du recours.
Par ordonnance du 5 juin 2020, le juge présidant la Cour de céans a octroyé l'effet suspensif au recours. Il a par ailleurs été provisoirement renoncé à exiger une avance de frais.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'espèce, le recourant fait valoir un droit à la prolongation de son autorisation de séjour en invoquant l'art. 50 de l'ancienne loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (aLEtr [RO 2007 5437]), intitulée, depuis le 1 er janvier 2019, loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20). Dès lors que le contenu de l'art. 50 LEI diffère en partie de l'art. 50 LEtr et eu égard aux dispositions transitoires qui conduisent à l'application de l'ancien droit (art. 126 al. 1 LEI), il sera fait référence ci-après à la LEtr (arrêt 2C_26/2020 du 19 février 2020 consid. 4.1). L'art. 50 LEtr confère un droit, à certaines conditions, à la poursuite du séjour au conjoint d'un ressortissant suisse ou titulaire d'une autorisation d'établissement après la dissolution de la famille. Le recourant invoque par ailleurs aussi les art. 8 CEDH et 13 Cst. sous l'angle de la protection de sa vie familiale. Comme il n'est pas d'emblée exclu que les conditions de ces dispositions soient remplies en l'espèce, le recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF. Le recours est partant recevable, étant rappelé que le point de savoir si le recourant dispose effectivement d'un droit au séjour relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1 p. 179).
1.2. Le recours, dirigé contre une décision finale (<ref-law>) rendue par le Tribunal administratif fédéral (<ref-law>), a par ailleurs été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours, le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, et conformément à l'<ref-law>, il ne connaît de la violation des droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.4 p. 368).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), hormis dans les cas visés à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>).
En l'occurrence, dans la mesure où le recourant présente dans son mémoire une argumentation appellatoire, en complétant ou en modifiant librement l'état de fait retenu dans le jugement entrepris, sans invoquer une constatation arbitraire des faits, le Tribunal fédéral ne peut pas en tenir compte. Pour le reste, les critiques qu'il formule sous l'angle de l'arbitraire à l'encontre des constatations de fait de l'arrêt attaqué, dans la mesure où elles respectent l'<ref-law>, seront traitées ci-après (consid. 4).
3.
Le litige porte sur le droit du recourant à séjourner en Suisse (cf. arrêt 2C_800/2019 du 7 février 2020 consid. 3.4.3; cf. aussi arrêt 2C_987/2019 du 8 juillet 2020 consid. 2).
4.
Le recourant critique en premier lieu les constatations de fait de l'arrêt attaqué. Il reproche aux juges précédents d'avoir arbitrairement omis de prendre en compte les motifs qui l'ont empêché d'exercer son droit de visite sur les enfants, à savoir que son épouse l'avait volontairement entravé dans l'exercice de son droit et qu'il avait dû saisir la justice pour le faire respecter. Il expose en détail la manière dont les événements se sont déroulés et demande au Tribunal fédéral de compléter les faits constatés en ce sens.
4.1. En matière d'établissement des faits et d'appréciation des preuves, il y a arbitraire (art. 9 Cst.) si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 3.6.2 p. 287; <ref-ruling> consid. 6 p. 358).
4.2. En l'occurrence, il faut d'abord souligner que, contrairement à ce qu'allègue le recourant, le Tribunal administratif fédéral a dûment constaté que le tribunal civil compétent avait à deux reprises, par mesures superprovisionnelles des 8 août et 19 décembre 2018, interdit à l'épouse d'entraver l'exercice des relations personnelles de l'intéressé avec ses enfants (arrêt attaqué consid. 9.1 p. 19) et que, par ailleurs, le Tribunal administratif fédéral a pris en compte les entraves que la mère avait mises par le passé à l'exercice du droit de visite du recourant pour apprécier l'intensité des relations personnelles de ce dernier avec les enfants (arrêt attaqué consid. 9.2). On ne voit donc a priori pas en quoi les faits seraient incomplets à ce sujet, à supposer qu'ils soient pertinents (cf. infra consid. 6.2.3).
4.3. Le grief d'arbitraire dans l'établissement des faits est partant infondé et doit être rejeté. Le Tribunal fédéral statuera exclusivement sur la base des faits constatés dans l'arrêt attaqué (<ref-law>).
5.
En vertu de l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a droit à une autorisation de séjour et à la prolongation de sa durée de validité à la condition de faire ménage commun avec lui. En l'occurrence, le recourant est marié avec une personne qui était titulaire d'une autorisation d'établissement et qui a obtenu la nationalité suisse au plus tard en janvier 2017. Il vit toutefois séparé de son épouse depuis le 29 avril 2016. Au moment de l'expiration de son autorisation de séjour le 9 novembre 2016, le recourant ne faisait plus ménage commun avec son épouse, ce que les juges précédents ont aussi constaté (consid. 5.1.2). Il ne pouvait donc pas obtenir la prolongation de son autorisation de séjour en vertu de l'art. 42 al. 1 LEtr, voire en vertu de l'art. 43 al. 1 LEtr, dès lors que, pendant le ménage commun, l'épouse n'avait pas encore la nationalité suisse, mais était titulaire d'une autorisation d'établissement. Il ne le prétend d'ailleurs pas.
6.
Selon l'art. 50 al. 1 LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste lorsque l'union conjugale a duré au moins trois ans et l'intégration est réussie (let. a) ou si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures (let. b).
6.1. En l'espèce, le Tribunal administratif fédéral a exclu que le recourant puisse se prévaloir de l'art. 50 al. 1 let. a LEtr, parce que l'union conjugale n'avait pas duré trois ans. Le délai de trois ans prévu à l'art. 50 al. 1 let. a LEtr se calcule en fonction de la durée pendant laquelle les époux ont fait ménage commun en Suisse (<ref-ruling> consid. 4.1 p. 348 et les références). En l'occurrence, il ressort des faits constatés que le recourant n'a vécu que durant deux ans et demi en communauté conjugale en Suisse avec son épouse. C'est donc à bon droit que le Tribunal administratif fédéral a conclu que le recourant ne pouvait pas se prévaloir de l'art. 50 al. 1 let. a LEtr pour obtenir la prolongation de son autorisation de séjour. Le recourant ne le conteste pas.
6.2. Le Tribunal administratif fédéral a ensuite estimé que le recourant ne pouvait pas invoquer des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr, en lien avec la protection de sa vie familiale garantie aux art. 8 CEDH et 13 Cst., pour obtenir la prolongation de son autorisation de séjour en Suisse afin d'y exercer son droit de visite sur les enfants. Le recourant invoque une violation de ces dispositions.
6.2.1. Des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr peuvent découler d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (<ref-ruling> consid. 4.1 p. 24 s.; <ref-ruling> consid. 2.1 p. 318 s.). Pour déterminer si tel est le cas, il faut examiner la situation dans son ensemble, en tenant compte de la jurisprudence rendue en application de l'art. 8 CEDH, respectivement de l'art. 13 Cst., étant rappelé que, sous cet angle, ces deux dispositions ont la même portée (<ref-ruling> consid. 8.3.2 p. 350 et les références; arrêt 2C_678/2019 du 21 novembre 2019 consid. 4.3). Les raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr ne peuvent en effet pas être comprises de manière plus restrictive que les droits découlant de ces garanties constitutionnelles et conventionnelles (arrêt 2C_904/2018 du 24 avril 2019 consid. 2.1; cf. aussi <ref-ruling> consid. 4.1 p. 24 s.).
6.2.2. Un étranger peut, selon les circonstances, se prévaloir de l'art. 8 CEDH pour s'opposer à une éventuelle séparation de sa famille. Selon la jurisprudence, le parent étranger qui dispose d'un droit de visite sur son enfant habilité à résider en Suisse peut en principe exercer ce droit même s'il vit à l'étranger (cf. <ref-ruling> consid. 5.1 p. 96 s.). Un droit plus étendu ne peut le cas échéant exister qu'en présence 1) de relations étroites et effectives avec l'enfant d'un point de vue affectif et 2) d'un point de vue économique, 3) de l'impossibilité pratique à maintenir la relation en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent et 4) d'un comportement irréprochable.
Selon la jurisprudence, les conditions ouvrant un droit de séjour doivent être appréciées ensemble et faire l'objet d'une pesée des intérêts globale (cf. <ref-ruling> consid. 5.1 et 5.2 p. 96 ss et les arrêts cités, notamment <ref-ruling> consid. 5.2 p. 27 s.; <ref-ruling> consid. 6.1 et 6.2 p. 46 ss; <ref-ruling> consid. 3.2 p. 147 s.). Dans la pesée des intérêts, il faut aussi tenir compte de l'intérêt fondamental de l'enfant (cf. art. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant [CDE; RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses parents (<ref-ruling> consid. 5.2 p. 97 s.; <ref-ruling> consid. 5.5.1 p. 29).
L'exigence du lien affectif particulièrement fort est considérée comme remplie lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui, soit, en Suisse romande, un week-end toutes les deux semaines et durant la moitié des vacances (<ref-ruling> consid. 5.2.1 p. 98). Le lien économique est particulièrement fort lorsque l'étranger verse effectivement à l'enfant des prestations financières dans la mesure décidée par les instances judiciaires civiles (ATF <ref-ruling> consid. 3.2).
6.2.3. En l'occurrence, le recourant dispose, selon l'ordonnance de mesures protectrices de l'union conjugale du 11 novembre 2016, d'un libre et large droit de visite s'exerçant - à défaut d'entente entre les parents - un week-end sur deux du vendredi soir au dimanche soir et durant la moitié des vacances scolaires et des jours fériés, dès que le père disposerait d'un appartement adéquat. Les époux ont convenu qu'A._ verserait une contribution mensuelle de 315 fr. pour l'entretien de sa famille.
Il ressort des faits constatés que le recourant a régulièrement versé cette contribution d'entretien. Il remplit donc la condition de l'existence d'un lien économique particulièrement fort avec les deux enfants, comme l'ont aussi constaté les juges précédents. La réalisation de cette condition n'est partant pas litigieuse.
Sous l'angle personnel, il faut d'abord souligner que, s'il est établi que le recourant n'est pas le père biologique de l'enfant B._, il bénéficie encore, comme l'ont souligné les juges précédents, de la présomption de paternité. Cela étant, compte tenu des faits constatés de manière détaillée par les juges précédents s'agissant de l'exercice du droit de visite, on ne peut en conclure que le recourant entretient des relations étroites et effectives avec les enfants sous l'angle affectif. Il ressort en particulier de l'arrêt attaqué qu'au début de l'année 2018, les enfants n'ont pas vu le recourant durant plus de trois mois et qu'une mesure de curatelle de surveillance des relations personnelles au sens de l'<ref-law> a été instituée le 27 avril 2018, qui n'a pas été levée à ce jour. Le 20 juin 2018, l'exercice du droit de visite du père a dû être suspendu pour une courte période et, par la suite, ce droit ne s'est pas déroulé sur un week-end complet jusqu'au mois d'août 2018. A quelques reprises, la justice civile a dû fixer le droit de visite du père, essentiellement pour des jours de vacances déterminés, en raison de conflits entre les parents. Enfin, tant l'épouse du recourant que l'enfant B._ ont affirmé que les enfants étaient parfois gardés par des tiers. Depuis septembre 2018, le Tribunal administratif fédéral relève que la situation évoluait positivement, mais que le recourant avait annulé cinq week-ends de visite jusqu'en septembre 2019, souvent au dernier moment. L'arrêt attaqué ne contient au surplus pas de constat selon lequel le recourant aurait exercé un droit de visite durant la moitié des vacances scolaires. Enfin, un rapport de renseignements du Service de protection de la jeunesse daté du 29 janvier 2020 relève que B._ est réticente à poursuivre les contacts avec le recourant depuis qu'elle a appris qu'il n'était pas son père biologique.
Le recourant tente en vain d'imputer à son épouse la responsabilité du caractère irrégulier de l'exercice de son droit de visite, au motif qu'elle aurait tout fait pour entraver ses relations personnelles avec les enfants. S'il est établi que, à une époque, l'épouse a effectivement entravé le droit de visite du recourant (cf. consid. 4.2 supra), ces événements datent de 2018 et ne suffisent pas à expliquer l'absence de droit de visite usuel sur les enfants et en particulier l'absence de prise en charge durant la moitié des vacances, étant au surplus rappelé que, de son côté, le recourant est à l'origine de plusieurs annulations de visites le week-end entre septembre 2018 et septembre 2019. C'est donc à bon droit que le Tribunal administratif fédéral a refusé d'admettre que le recourant entretenait des relations affectives particulièrement fortes avec les enfants.
S'agissant de l'intérêt privé des enfants, il faut tenir compte du fait que l'enfant B._ est désormais réfractaire à poursuivre les contacts avec le recourant; quant à C._, il n'a presque jamais vécu avec son père, la séparation du couple étant intervenue alors qu'il avait à peine cinq mois. Dans ces circonstances, et compte tenu de la manière irrégulière, voire chaotique (arrêt attaqué consid. 9.2), dont le droit de visite a été exercé, un départ du recourant pour le Cameroun n'entraînerait pas un changement à ce point important pour les enfants qu'il justifierait le prolongement du séjour du recourant en Suisse, étant rappelé que l'intérêt des enfants ne suffirait de toute manière pas à lui seul à fonder un droit de séjour pour le recourant, mais qu'il doit être mis en balance avec toutes les circonstances d'espèce, en particulier le comportement du recourant.
6.2.4. C'est en vain que le recourant tente de manière appellatoire de minimiser la gravité de son comportement. Celui-ci est au contraire loin d'être irréprochable, puisque le recourant a été condamné pénalement à cinq reprises entre entre 2005 et 2017. Le mariage du recourant, ainsi que la naissance des enfants, n'ont par ailleurs eu aucun effet sur sa propension à commettre des infractions, puisque les condamnations pénales les plus lourdes qui lui ont été infligées (cf. les condamnations du 7 mars 2014 et du 6 avril 2016 pour escroquerie au sens de l'<ref-law>) l'ont été alors qu'il était déjà marié et père de famille.
6.2.5. Enfin, il n'est pas douteux qu'au vu de la distance géographique entre les pays, le départ du recourant pour le Cameroun rendra l'exercice du droit de visite plus difficile. Le contact pourra toutefois être maintenu, le cas échéant, par d'autres biais, notamment par les moyens de communication modernes.
6.3. Ces circonstances prises dans leur ensemble font apparaître que les juges précédents n'ont pas violé l'art. 50 al. 1 let. b LEtr et les art. 13 Cst. et 8 CEDH sous l'angle de la protection de la vie familiale en considérant que le recourant ne pouvait pas se prévaloir de ses liens avec les enfants pour obtenir la prolongation de son autorisation de séjour en Suisse.
7.
Ce qui précède conduit au rejet du recours. Celui-ci étant d'emblée dénué de chance de succès, l'assistance judiciaire ne sera pas accordée (<ref-law>) et il se justifie de faire supporter au recourant les frais judiciaires (<ref-law>), qui seront toutefois fixés en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Tribunal administratif fédéral, Cour VI, au Secrétariat d'État aux migrations et au Service de la population du canton de Vaud.
Lausanne, le 10 novembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens