Faits :
A.
A.a. Le 9 juin 2003, A._, ressortissant guinéen né en 1982, a déposé une demande d'asile en Suisse, se faisant passer pour un mineur; le 31 octobre 2003 cette demande a été rejetée et son renvoi de Suisse a été prononcé.
Le 25 juin 2004, le prénommé a contracté un mariage avec B._, ressortissante suisse née en 1979. Le couple a un fils né en mai 2009.
Le 24 juin 2008, A._ a introduit une requête de naturalisation facilitée. Dans le cadre de cette demande, les époux ont contresigné, le 4 juin 2010, une déclaration écrite par laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation ni divorce.
Le 5 août 2010, A._ est devenu le père d'une enfant, issue d'une relation extraconjugale avec C._, ressortissante burundaise née en 1984. La reconnaissance de sa fille a été effectuée en août 2011.
Par décision du 14 décembre 2010, entrée en force le 31 janvier 2011, l'intéressé a été mis au bénéfice d'une naturalisation facilitée.
A.b. Le 30 novembre 2011, A._ s'est séparé de son épouse et a quitté le domicile conjugal. Le 2 décembre 2011, il est devenu père d'un second enfant, issu de sa relation extraconjugale avec C._, enfant qu'il a reconnu en mars 2014.
Le 27 décembre 2012, les époux ont introduit une requête commune de divorce avec accord complet. Le jugement a été prononcé le 3 juillet 2013, attribuant l'autorité parentale, la garde et l'entretien de leur fils exclusivement à B._.
Le 14 février 2014, C._ s'est installée chez A._ avec leurs enfants, à Genève.
B.
Après avoir entendu A._ et fait procéder à l'audition de son ex-épouse, le Secrétariat d'Etat aux migrations (ci-après: SEM) a prononcé, par décision du 24 octobre 2017 et avec l'assentiment des autorités cantonales compétentes, l'annulation de la naturalisation facilitée accordée au prénommé, faisant aussi perdre la nationalité suisse aux membres de sa famille qui l'auraient acquise en vertu de la décision annulée.
C.
Par arrêt du 8 novembre 2019, le Tribunal administratif fédéral a confirmé l'annulation de la naturalisation facilitée accordée à A._, mais a admis le recours en tant qu'il concernait l'annulation de la naturalisation de ses enfants et a renvoyé la cause au SEM pour complément d'instruction sur ce point. L'instance précédente a notamment considéré que l'enchaînement chronologique des événements fondait la présomption qu'au moment de la signature de la déclaration de vie commune, la communauté conjugale n'était plus stable et orientée vers l'avenir; les éléments avancés par l'intéressé n'étaient pas susceptibles de renverser cette présomption.
D.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt précité du 8 novembre 2019 en tant qu'il annule sa naturalisation facilitée. Il requiert en outre l'assistance judiciaire.
Le Tribunal administratif fédéral renonce à prendre position. Le SEM conclut au rejet du recours.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'art. 83 let. b LTF n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il convient donc d'entrer en matière sur le recours.
2.
L'entrée en vigueur, au 1 er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies par le droit en vigueur au moment où le fait déterminant s'est produit. Dans la présente cause, les faits se sont déroulés sous l'empire de l'ancien droit, de sorte que l'aLN s'applique.
3.
Le recourant se plaint d'une mauvaise application du droit. Il conteste avoir obtenu la naturalisation par des déclarations mensongères sur la stabilité de sa vie conjugale durant la procédure de naturalisation facilitée.
3.1.
3.1.1. Conformément à l'art. 41 al. 1 aLN, le SEM peut, avec l'assentiment de l'autorité du canton d'origine, annuler la naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2.2 p. 67). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêts 1C_272/2009 du 8 septembre 2009 consid. 3.1, in SJ 2010 p. 69; 1C_142/2019 du 27 juin 2019 consid. 4.1; 1C_98/2019 du 3 mai 2019 consid. 3.1).
La nature potestative de l'art. 41 al. 1 aLN confère une certaine liberté d'appréciation à l'autorité compétente qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 403).
D'après la jurisprudence, la notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98).
3.1.2. La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'art. 19 PA). Ce principe vaut également devant le Tribunal administratif fédéral (art. 37 LTAF [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 3.2 p. 485). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption en raison, non seulement de son devoir de collaborer à l'établissement des faits (art. 13 al. 1 let. a PA; cf. <ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 3.2 p. 115 s.), mais encore de son propre intérêt (ATF <ref-ruling> consid. 3.2 p. 485 s.). Le fait de taxer de plus ou moins rapide un enchaînement de circonstances pertinentes pour l'issue d'un litige relève du pouvoir d'appréciation du juge, opération dans le cadre de laquelle le Tribunal fédéral n'intervient qu'en cas d'excès de ce pouvoir (arrêts 1C_142/2019 du 27 juin 2019 consid. 4.2; 1C_172/2012 du 11 mai 2012 consid. 2.3).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (cf. <ref-ruling> consid. 3 p. 166), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s. et les arrêts cités).
3.2. En l'espèce, le Tribunal administratif fédéral a constaté qu'il s'était écoulé moins de 18 mois entre la signature de la déclaration de vie commune (4 juin 2010) et la séparation des époux (30 novembre 2011). Au vu de ces éléments de fait non contestés par le recourant, le Tribunal administratif fédéral pouvait à juste titre considérer que le laps de temps écoulé entre ces deux événements permettait encore d'appliquer la présomption selon laquelle, au moment de la signature de la déclaration de vie commune, la communauté conjugale n'était plus stable et orientée vers l'avenir.
Pour l'instance précédente, la présomption était renforcée notamment par les relations extraconjugales entretenues durant deux phases avec la mère de ses enfants, l'une vers le mois de novembre 2009 et l'autre vers le mois de mars 2011. Par ailleurs, son ex-épouse avait confirmé que le couple avait rencontré des difficultés durant la deuxième moitié de l'année 2009, période correspondant à la première relation extraconjugale.
Conformément à la jurisprudence précitée, il s'agit donc uniquement de déterminer si l'intéressé est parvenu à renverser cette présomption en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une dégradation aussi rapide du lien conjugal, soit l'absence de conscience de la gravité des problèmes de couple au moment de la signature de la déclaration commune.
3.3. Pour renverser cette présomption, le recourant affirme qu'il n'a pas menti. Il soutient notamment qu'il est notoire que les infidélités n'impliquent pas forcément une séparation et ajoute qu'on ne saurait retenir son infidélité comme la preuve qu'il ne concevait pas sa vie conjugale comme stable et tournée vers l'avenir. Il ajoute qu'il a appris seulement en 2011 qu'il avait un enfant avec C._.
Les explications du recourant ne sont toutefois pas convaincantes et ne permettent manifestement pas de renverser la présomption établie. En particulier, le recourant ne répond pas à l'argumentation de l'instance précédente qui a exposé pour quelles raisons il ne pouvait prétendre que la nouvelle au sujet de l'existence de sa fille au printemps 2011 était un événement extraordinaire au sens de la jurisprudence. L'instance pré cédente pouvait à bon droit considérer que la relation extraconjugale entretenue avec C._ en 2009 - période durant laquelle le couple rencontrait des difficultés -, puis à nouveau en début d'année 2011 - peu après l'obtention de la naturalisation facilitée -, confirmaient que l'union entre les ex-époux ne présentait pas la stabilité requise au moment déterminant et qu'il est peu plausible que le recourant n'ait découvert la dégradation de son couple qu'après l'obtention de la naturalisation facilitée. Si le recourant se prévaut d'efforts entrepris pour surmonter les difficultés conjugales en 2009, preuve selon lui que l'union était effective, il ne prétend pas qu'il aurait entrepris des mesures concrètes en ce sens après l'octroi de la naturalisation facilitée; il a au contraire rapidement renoué avec son ancienne maîtresse pour lui donner un second enfant.
Le fait que le recourant est bien intégré en Suisse et que ses enfants y vivent n'est pas pertinent pour l'examen de la question de savoir s'il y a eu obtention frauduleuse de la naturalisation au sens de l'art. 41 aLN.
3.4. En définitive, les éléments avancés par le recourant ne suffisent pas à renverser la présomption établie. Il en découle que les conditions d'application de l'art. 41 aLN sont réunies et le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de sa naturalisation facilitée.
4.
Le recourant soutient également qu'il est disproportionné de lui retirer la nationalité suisse qu'il a acquise par la voie de la naturalisation facilitée, puisqu'il aurait déjà pu l'acquérir par celle de la naturalisation ordinaire. Sa critique est vaine. En effet, le fait que l'intéressé puisse solliciter la naturalisation ordinaire n'empêche pas le retrait de la naturalisation facilitée. La naturalisation ordinaire et la naturalisation facilitée se distinguent non seulement dans leurs conditions d'octroi, mais aussi quant à la procédure applicable et aux autorités compétentes (arrêts 1C_270/2018 du 6 novembre 2018 consid. 4 et 1C_292/2010 du 5 août 2010 consid. 5.2).
5.
Enfin, le recourant se prévaut en vain du fait qu'il a dû renoncer à sa nationalité guinéenne. Comme l'a retenu le Tribunal administratif fédéral, le risque que le recourant devienne apatride ne fait pas obstacle à l'annulation de la naturalisation facilitée. Si celle-ci a été obtenue frauduleusement, l'intéressé doit en effet supporter les conséquences qui résultent pour lui de la perte de la nationalité suisse. Admettre qu'il en aille autrement reviendrait à conférer aux apatrides potentiels une protection absolue contre une éventuelle annulation de la naturalisation facilitée, ce qui contreviendrait au principe de l'égalité de traitement (cf. <ref-ruling> consid. 4.2.1 p. 72 s.; arrêts 1C_98/2019 du 3 mai 2019 consid. 4; 1C_214/2015 du 6 novembre 2015 consid. 2.2.4).
6.
Il résulte de ce qui précède que le recours doit être rejeté. Dans la mesure où le recours paraissait d'emblée voué à l'échec, l'assistance judiciaire ne peut être accordée pour la procédure devant le Tribunal fédéral (art. 64 al. 1 et 2 LTF). A titre exceptionnel, il est renoncé à percevoir des frais judiciaires pour tenir compte de la situation financière du recourant (art. 66 al. 1, 2 ème phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 28 février 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn