Faits :
A.
A._, ressortissant nigérian, né en mai 1980, est arrivé en Suisse le 27 septembre 2000 pour y déposer une demande d'asile, rejetée le 24 janvier 2002. Son recours contre cette décision a été déclaré sans objet le 1 er mars 2002. Le 6 juin 2003, l'intéressé s'est marié avec B._, ressortissante suisse, née en janvier 1978.
Par requête du 27 avril 2006, A._ a déposé une demande de naturalisation facilitée qu'il a obtenue le 20 août 2007, après avoir co-signé avec son épouse, le 13 juillet 2007, une déclaration confirmant la stabilité et l'effectivité de la communauté conjugale.
Les époux se sont séparés au début du mois d'avril 2008, des mesures protectrices de l'union conjugale ont été prononcées le 18 décembre 2008. Les époux ont déposé une requête commune de divorce le 16 février 2009; par jugement du 25 juin 2009, entré en force le 11 septembre 2009, le divorce a été prononcé. Le 10 septembre 2010, A._ s'est marié avec C._, une compatriote, née en août 1982; le couple a eu deux enfants, la première née le 18 juin 2011.
B.
A la suite d'un courrier du Service de l'état civil et des naturalisations du canton de Fribourg (SECiN), l'Office fédéral des migrations (ODM) a informé A._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée; l'intéressé a eu la possibilité de se déterminer mais n'a fait valoir aucune observation; il a renvoyé la déclaration autorisant l'ODM à consulter le dossier de son divorce.
B._, entendue le 8 juillet 2011, a déclaré avoir rencontré par hasard l'intéressé mi-juillet 2002 à Fribourg. Elle indique l'avoir demandé en mariage car il avait reçu son avis d'expulsion et ils voulaient poursuivre leur relation. Elle expose également que peu après leur mariage des tensions sont apparues, l'intéressé étant au chômage et approchant de la fin de droit alors qu'elle-même était également au chômage. Elle souligne que, dès la fin 2006 et le début 2007, le couple a rencontré d'importantes difficultés; elle a d'ailleurs, à ce moment-là, eu une relation adultérine. Elle a avoué immédiatement cette liaison à son époux, ce qui n'a fait qu'envenimer une situation déjà fortement dégradée. Finalement, ils se sont séparés en 2008 car leur relation était devenue invivable notamment en raison de son infidélité et des reproches qu'elle encourait de ce fait. Selon B._, lors de la signature de la déclaration commune, ils vivaient ensemble et essayaient de sauver leur couple. Elle aurait signé cette déclaration en espérant que leurs problèmes se résoudraient et que la vie commune pourrait se poursuivre.
A._ s'est déterminé sur les observations de son ex-épouse et a souligné que lors de l'octroi de la naturalisation facilitée ils vivaient en harmonie avec elle. Il a également mentionné qu'après la naturalisation, son ex-épouse se sentant coupable en raison de son adultère aurait souhaité la séparation puis le divorce. Par décision du 4 juin 2012, l'ODM a prononcé, avec l'assentiment des autorités cantonales compétentes du canton de Fribourg, l'annulation de la naturalisation facilitée accordée à A._. Selon cet office, la nationalité avait été obtenue sur la base de déclarations mensongères. En effet, l'intéressé ne vivait pas en communauté stable lors de la déclaration commune et du prononcé de la naturalisation. L'adultère de l'ex-épouse, à l'origine de la désunion, avait été commis et porté à la connaissance de l'intéressé avant la signature de la déclaration commune et ne constituait donc pas un événement extraordinaire et postérieur à la naturalisation propre à renverser la présomption.
C.
Par arrêt du 24 octobre 2013, le Tribunal administratif fédéral a rejeté le recours intenté par A._ contre cette décision. L'instance précédente a considéré que l'enchaînement chronologique des faits et le court laps de temps les séparant étaient de nature à fonder la présomption de faits selon laquelle, au moment de la signature de la déclaration commune et lors de la décision de naturalisation, A._ n'avait plus la volonté de maintenir une communauté stable.
En outre, les premiers juges ont relevé que, lors de la célébration de son mariage avec B._, A._ était sous le coup d'une décision de renvoi dans le cadre d'une procédure d'asile négative. Ils soulignent également que selon B._ leur couple avait connu des difficultés peu de temps déjà après la célébration du mariage, difficultés qui s'étaient aggravées six à sept mois avant la signature de la déclaration commune. Ce fait est d'ailleurs reconnu par le recourant qui a admis, dans sa réplique du 23 avril 2013, qu'il avait des disputes avec son ex-épouse. Enfin les juges du Tribunal administratif fédéral ont souligné qu'il ressortait clairement de la procédure d'instruction que A._ avait connaissance de l'adultère de son épouse avant la décision de naturalisation.
D.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt. Il soutient qu'il n'avait pas connaissance de l'adultère de son épouse au moment de l'octroi de la naturalisation facilitée et que la cause de la désunion doit uniquement être recherchée dans cet adultère. Il souligne en effet que la procédure de divorce a été souhaitée et entamée par son ex-épouse. Il requiert en outre l'assistance judiciaire gratuite.
Invité à se déterminer, l'ODM a confirmé sa position tandis que l'autorité précédente a renoncé à formuler ses observations.
Par ordonnance du 10 janvier 2014, le Président de la Ire Cour de droit public du Tribunal fédéral a accordé l'effet suspensif.

Considérant en droit :
1.
1.1. L'arrêt attaqué émane du Tribunal administratif fédéral et concerne l'annulation de la naturalisation facilitée accordée au recourant, si bien qu'il peut faire l'objet d'un recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTAF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de la naturalisation facilitée et non pas de la naturalisation ordinaire.
Pour le surplus, le recourant possède la qualité pour recourir au sens de l'<ref-law> et les conditions de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
1.2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF).
2.
2.1. Conformément à l'art. 41 al. 1 de la loi sur la nationalité du 29 septembre 1952 (LN, RS 141.0) qui, sur le fond est identique à l'art. 41 LN dans sa teneur jusqu'au 1 er mars 2011, l'ODM peut, avec l'assentiment de l'autorité du canton d'origine, annuler la naturalisation ou la réintégration obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. L'art. 41 al. 1bis LN indique que la naturalisation ou la réintégration peut être annulée dans un délai de deux ans à compter du jour où l'office a pris connaissance des faits déterminants, mais au plus tard huit ans après l'octroi de la nationalité suisse.
2.1.1. Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été obtenue alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est pas besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 3.1 p. 115 et les références). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 1C_587/2013 du 29 août 2013 consid. 3.2.1 et les arrêts cités).
La nature potestative de l'art. 41 al. 1 LN confère une certaine latitude à l'autorité. Dans l'exercice de cette liberté, celle-ci doit s'abstenir de tout abus; commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 5.1 p. 73; <ref-ruling> consid. 3.1 p. 403; <ref-ruling> consid. 1a/cc p. 279; <ref-ruling> consid. 2 p. 310 s. et les références).
La notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98 s.; <ref-ruling> consid. 2b p. 51 s.).
2.1.2. La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale du 4 décembre 1947 [PCF, RS 273], applicable par renvoi de l'<ref-law>. Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law> [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3 p. 166). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré, en raison non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; <ref-ruling> consid. 2.2 p. 68; <ref-ruling> consid. 3.2 p. 115), mais encore dans son propre intérêt, de renverser cette présomption (ATF <ref-ruling> consid. 3.2 p. 485 s.).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (<ref-ruling> consid. 3 p. 166 et les références), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'a pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s. et les références).
2.2. En l'espèce, l'arrêt attaqué retient que les époux se sont mariés le 6 juin 2003 alors que le recourant était sous le coup d'une décision de renvoi, ensuite d'une procédure d'asile négative. Avant l'échéance du délai de trois ans, le recourant a déposé une demande de naturalisation facilitée. Le 13 juillet 2007, les époux ont signé la déclaration commune attestant de la stabilité de leur union. Moins de huit mois plus tard ils se sont définitivement séparés. Le 17 avril 2008, B._ a déposé une requête en vue du prononcé de mesures protectrices de l'union conjugale et le 16 février 2009 les époux ont signé une requête commune en divorce avec accord sur les effets accessoires. Leur union conjugale a été dissoute par le divorce par jugement du 25 juin 2009, entré en force le 11 septembre 2009. Le 10 septembre 2010, le recourant a épousé C._ et ils ont eu leur premier enfant le 18 juin 2011. Par ailleurs, l'audition de B._ a permis d'établir que peu de temps déjà après la célébration du mariage, les époux ont connu d'importantes difficultés qui se sont aggravées "fin 2006 début 2007" soit six à sept mois déjà avant la signature de la déclaration commune. L'autorité précédente a estimé que ces éléments et leur enchaînement chronologique rapide étaient de nature à fonder la présomption que la stabilité requise du mariage n'existait déjà plus au moment de la déclaration commune et, a fortiori, lors du prononcé de la naturalisation facilitée. En particulier le court laps de temps séparant la déclaration commune (13 juillet 2007), l'octroi de la naturalisation facilitée (20 août 2007), la séparation définitive (début avril 2008), la demande de mesures protectrices de l'union conjugale (17 avril 2008), la demande de divorce (16 février 2009), le divorce (11 septembre 2009) et le remariage du recourant (10 septembre 2010) laisse effectivement présumer qu'au moment de la signature de la déclaration, le recourant n'envisageait déjà plus une vie partagée avec son épouse.
Ce raisonnement ne prête pas le flanc à la critique. En effet, l'ex-épouse a bien expliqué que lors de la signature de la déclaration commune elle espérait que les problèmes allaient se résoudre. Cet affirmation témoigne que l'union conjugale entre les ex-époux ne présentait pas la stabilité requise au moment déterminant. Le recourant l'a d'ailleurs lui-même confirmé dans sa réplique du 23 avril 2013 où il admet avoir eu des disputes avec son ex-épouse même si, à ses yeux, celles-ci n'auraient pas entravé la vie ordinaire du couple. Au demeurant, le fait qu'il n'y ait pas eu "de violences physiques et intensives" durant la vie commune ne peut être considéré comme un gage d'une vie conjugale harmonieuse et tournée vers l'avenir. En réalité, la signature de la déclaration commune n'a pas permis d'améliorer une union déjà chancelante. Il apparaît par conséquent que la présomption de fait selon laquelle l'intéressé a fait une déclaration mensongère peut effectivement se fonder sur un enchaînement relativement rapide des événements (cf. arrêt 1C_172/2012 du 11 mai 2012 consid. 2.3).
Conformément à la jurisprudence précitée, il convient donc de déterminer si l'intéressé est parvenu à renverser cette présomption en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une dégradation aussi rapide du lien conjugal, soit l'absence de conscience de la gravité des problèmes de couple au moment de la signature de la déclaration commune.
2.3. Pour expliquer une soudaine détérioration du lien conjugal, le recourant soutient n'avoir eu connaissance de l'adultère de son ex-épouse qu'après la décision de naturalisation. Or le Tribunal administratif fédéral a retenu, sans sombrer dans l'arbitraire et au vu des éléments qui suivent, que cette affirmation n'était pas crédible: B._ a indiqué, lors de son audition le 8 juillet 2011, avoir trompé une fois son ex-époux fin 2006, début 2007, soit environ six à sept mois avant la signature de la déclaration commune et le lui avoir révélé tout de suite car elle ne voulait pas qu'il y ait de mensonge entre eux; elle a également souligné qu'ils en avaient parlé des heures durant; le recourant a reçu le procès-verbal de cette audition et il a formulé des remarques à l'ODM dans une lettre du 12 mai 2012 sans toutefois indiquer que la relation des faits présentés par son ex-épouse serait inexacte. Dans son recours au Tribunal administratif fédéral du 4 juillet 2012, le recourant n'a pas non plus mentionné qu'il y aurait erreur sur la date. C'est finalement le 23 avril 2013 que, pour la première fois, dans le cadre d'un échange d'écritures ordonné par le Tribunal administratif fédéral en réponse à une prise de position de l'ODM - indiquant que l'adultère de l'épouse ne pouvait être considéré comme un événement extraordinaire au sens de la jurisprudence en raison de la date de sa survenance - que le recourant a soutenu qu'il avait appris l'adultère de son épouse après la décision de naturalisation. Dans ces circonstances, les juges précédents pouvaient retenir sans arbitraire que cette affirmation tardive du recourant n'était pas convaincante et ne pouvait être retenue comme un événement postérieur à la naturalisation permettant de renverser la présomption.
Il en découle que les conditions d'application de l'art. 41 LN sont réunies et que le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée qui avait été octroyée au recourant.
3.
Il s'ensuit que le recours doit être rejeté. Il n'y a pas lieu d'accorder l'assistance judiciaire dès lors que les conclusions du recours paraissaient d'emblée vouées à l'échec (<ref-law>). Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 24 octobre 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Arn