Faits :
A.
A._, ressortissant algérien, né en 1978, est entré en Suisse pour y épouser le 13 décembre 2005 B._, ressortissante suisse née en 1966. En date du 19 août 2014, il a déposé une demande de naturalisation facilitée et, dans le cadre de cette procédure, les époux ont contresigné, le 20 mars 2015, une déclaration écrite par laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation ni divorce.
Par décision du 24 mars 2015, le Secrétariat d'Etat aux migrations (SEM) a accordé la naturalisation facilitée à A._.
B.
Le 26 octobre 2017, le SEM a informé A._ qu'une procédure en annulation de sa naturalisation facilitée était ouverte, à la suite des éléments rapportés par les autorités neuchâteloises, à savoir qu'il était séparé de son épouse depuis le 30 août 2016, que les époux avaient divorcé le 11 février 2017 et qu'il s'était remarié, le 10 avril 2017 en Algérie, avec une compatriote, née en 1986.
Dans ses déterminations du 27 novembre 2017, A._ a affirmé avoir formé pendant près de onze ans une véritable communauté conjugale, contestant avoir abusé de la législation en matière de naturalisation facilitée. Il a produit divers document, dont des déclarations écrites de la fille de son ex-épouse et de son ami, lesquels confirmaient que les ex-époux avaient mené durant de longues années une vie de couple normale.
Par courrier du 22 novembre 2017, l'ex-épouse a notamment indiqué au SEM avoir été pendant des années " sous l'emprise d'un homme qui m'a manipulée mentalement et qui m'a fait souffrir physiquement " et a ajouté que " lors du divorce qu'il a exigé à l'amiable pour me prendre le peu qui me restait il m'a encore menacée à plusieurs reprises ". Auditionnée le 8 août 2018, l'ex-épouse de A._ a entre autres exposé que les problèmes du couple avaient commencé peu après leur mariage, qu'ils avaient fait chambre à part après trois ans de mariage et que, lorsqu'elle avait contresigné la déclaration écrite relative à leur communauté conjugale, celle-ci n'était alors, ni stable, ni tournée vers l'avenir; elle a également exposé que son ex-époux ne l'avait épousée que pour les papiers et qu'elle était fâchée avec sa fille, celle-ci ayant pris parti pour son ex-époux. En octobre 2018, A._ s'est déterminé sur les déclarations de son ex-épouse.
Par décision du 18 avril 2019, le SEM a prononcé l'annulation de la naturalisation facilitée de A._.
C.
Le 27 mai 2019, A._ a formé recours auprès du Tribunal administratif fédéral contre cette décision du SEM. Dans le cadre de l'instruction de cette procédure, le prénommé a notamment produit une nouvelle déclaration écrite du 22 juin 2019 de la fille de son ex-épouse, laquelle a exposé que sa mère et A._ avaient mené une vie de couple normale, mais que leur relation avait commencé à se détériorer en été 2016 lorsque sa mère s'était remise à boire de l'alcool; elle a ajouté que sa mère cherchait des ennuis à son ex-époux par jalousie. Par arrêt du 17 août 2020, le Tribunal administratif fédéral a confirmé la décision du SEM. Il a considéré en particulier que l'enchaînement chronologique rapide des événements fondait la présomption qu'au moment de la signature de la déclaration de vie commune, la communauté conjugale n'était plus stable et orientée vers l'avenir; les éléments avancés par A._ n'étaient pas susceptibles de renverser cette présomption.
D.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral et la décision du SEM et de confirmer sa naturalisation facilitée et celle de son fils, né de l'union avec sa nouvelle épouse.
Le Tribunal administratif fédéral renonce à prendre position. Le SEM observe que le recours ne contient aucun élément propre à démontrer une violation du droit fédéral ou l'établissement inexact de faits. Le recourant n'a pas déposé d'autres écritures.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de la naturalisation facilitée et non pas de la naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law> et les conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2.
L'entrée en vigueur, au 1 er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN, RO 1952 1115), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies par le droit en vigueur au moment où le fait déterminant s'est produit. Dans la présente cause, les faits déterminants pour l'annulation de la naturalisation facilitée se sont déroulés sous l'empire de l'ancien droit. De plus, la procédure d'annulation a été introduite par le SEM avant le 1er janvier 2018, de sorte qu'il y a lieu d'appliquer l'aLN, même si l'annulation a été prononcée après cette date (cf. arrêt 1C_104/2021 du 7 juillet 2021 consid. 1 et les réf. cités).
3.
Invoquant l'<ref-law>, le recourant se plaint d'une constatation manifestement inexacte des faits.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si le recourant entend s'écarter de ces constatations de fait, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (cf. <ref-law>; <ref-ruling> consid. 1.6). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'arrêt attaqué (<ref-ruling> consid. 2.2; 141 IV 416 consid. 4). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques appellatoires concernant l'établissement des faits ou l'appréciation des preuves opérés par l'autorité précédente (<ref-ruling> consid. 5.1; cf. aussi <ref-ruling> consid. 2.3).
3.2. Le recourant reproche tout d'abord au Tribunal administratif fédéral d'avoir retenu que la séparation définitive des époux était intervenue le 30 août 2016 et d'avoir ainsi considéré que 18 mois s'étaient écoulés entre la signature de la déclaration de vie commune et la séparation du couple. Il conviendrait, selon le recourant, de retenir au plus tôt, pour la séparation du couple, la date du 24 septembre 2016 qui correspond à la date de signature de la convention de divorce, et non pas le 30 août 2016. Le recourant ne démontre cependant pas, et on ne voit pas d'emblée, en quoi une modification de l'état de faits sur ce point serait susceptible d'influer sur le sort de la cause. En effet, même si l'on suivait le raisonnement du recourant, le laps de temps écoulé entre la séparation des époux et l'octroi de la naturalisation facilitée - qui serait alors de 19 mois, et non pas de 18 mois - permettrait encore de retenir la présomption que celle-ci avait été obtenue frauduleusement (cf. ci-dessous consid. 4.2).
Le recourant fait ensuite grief à l'instance précédente d'avoir omis de mentionner qu'il avait déjà invoqué, dans son mémoire de recours du 27 mai 2019, la rechute de son ex-épouse dans l'alcoolisme comme explication de la rapide dégradation du lien conjugal. Certes l'état de fait de l'arrêt entrepris n'expose pas en détail tous les allégués du recourant. Cependant, l'instance précédente s'est déterminée sur cet élément et a considéré qu'il était peu convaincant que le seul fait que son épouse " replonge dans l'alcool " puisse constituer un événement extraordinaire pouvant entraîner en trois ou quatre mois la séparation définitive des époux, suivie immédiatement de la rédaction d'une convention de divorce (cf. consid. 8.3 arrêt entrepris). En réalité, le recourant ne conteste pas l'établissement des faits en tant que tel mais plutôt leur appréciation juridique. Il s'agit ainsi d'une question de droit qui sera examinée avec le fond (voir ci-dessous consid. 4.3).
Le recourant critique l'arrêt litigieux en tant qu'il n'expose pas que son ex-épouse souffrait de bipolarité au moins depuis 2003, mais seulement d'avoir exposé qu'elle était au bénéfice d'une demi-rente d'invalidité. En l'espèce, le recourant se contente d'énoncer ce fait, dans un style purement appellatoire, sans entreprendre de démontrer le caractère arbitraire de l'état de fait retenu par l'instance précédente. Il ne cherche en particulier pas à démontrer, à l'appui de sa critique des faits, en quoi la maladie de son ex-épouse serait déterminant pour l'issue du lit ige. Au demeurant, pour les motifs exposés ci-dessous, cet élément n'est pas décisif (cf. ci-dessous 4.3).
3.3. Le grief de constatation manifestement inexacte des faits soulevé par le recourant est donc rejeté dans la mesure de sa recevabilité.
4.
Le recourant invoque ensuite une violation de l'art. 41 al. 1 aLN et conteste avoir obtenu la naturalisation par des déclarations mensongères.
4.1. Conformément à l'art. 41 al. 1 aLN, le SEM peut, avec l'assentiment de l'autorité du canton d'origine, annuler la naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels.
Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2.2). Le comportement déloyal et trompeur du requérant doit ainsi porter sur l'allégation de faits mensongers ou la dissimulation de faits décisifs pour décider de l'octroi de la naturalisation facilitée.
La nature potestative de l'art. 41 al. 1 aLN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1).
D'après la jurisprudence, la notion de communauté conjugale visée à l'art. 27 al. 1 let. c aLN suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2; <ref-ruling> consid. 3a).
La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'<ref-law> [RS 172.021]). Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law> [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption en raison, non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; cf. <ref-ruling> consid. 3; <ref-ruling> consid. 3.2), mais encore de son propre intérêt (ATF <ref-ruling> consid. 3.2). Par enchaînement rapide des événements, la jurisprudence entend une période de plusieurs mois, voire d'une année, mais ne dépassant pas deux ans (arrêts 1C_618/2020 du 19 mai 2021 consid. 3.1; 1C_80/2019 du 2 mai 2019 consid. 4.2).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (cf. <ref-ruling> consid. 3), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 et les arrêts cités).
4.2. En l'espèce, le Tribunal administratif fédéral a considéré que le laps de temps de dix-huit mois entre la signature de la déclaration de vie commune (le 20 mars 2015), et la séparation définitive des époux (30 août 2016), concrétisée par la signature de leur convention de divorce (le 24 septembre 2016) était de nature à fonder la présomption de fait selon laquelle, au moment de la signature de la déclaration commune, la communauté conjugale des époux n'était plus stable et orientée vers l'avenir.
Quoi qu'en pense le recourant, l'enchaînement chronologique des événement, en particulier le temps écoulé - moins de deux ans - entre la séparation des époux, respectivement la requête commune en divorce, et l'octroi de la naturalisation facilitée pouvait encore, au vu de la jurisprudence, fonder la présomption que celle-ci avait été obtenue frauduleusement (cf. arrêt 1C_24/2020 du 24 juillet 2020 consid. 3.3 et les arrêts cités).
Conformément à la jurisprudence précitée, il s'agit donc uniquement de déterminer si l'intéressé est parvenu à renverser cette présomption en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une dégradation aussi rapide du lien conjugal, soit l'absence de conscience de la gravité des problèmes de couple au moment de la signature de la déclaration commune.
4.3. Pour renverser cette présomption, le recourant soutient qu'il formait une union conjugale stable et effective au moment de la naturalisation. Il explique que la rechute de son ex-épouse dans l'alcool, amplifiée par les problèmes de bipolarité, constitue l'élément extraordinaire expliquant la détérioration rapide du lien conjugal.
Les explications du recourant ne sont toutefois pas convaincantes et ne permettent pas de renverser la présomption établie. En effet, ce n'est que devant l'instance précédente que le recourant a brièvement invoqué le fait que son ex-épouse se serait remise à boire de l'alcool pour expliquer la dégradation rapide du lien conjugal. Il ne donne par ailleurs aucun détail à ce sujet dans les écritures qu'il a déposées devant l'instance précédente, se contentant de se référer à un témoignage écrit et à un message Whatsapp du 21 mai 2016 de la fille de son ex-épouse. A cet égard, l'instance précédente peut être suivie lorsqu'elle considère qu'il est peu plausible, s'agissant d'un couple totalisant alors plus de dix ans de vie commune, que le seul fait que l'épouse " replonge dans l'alcool " puisse constituer un événement extraordinaire pouvant entraîner en trois ou quatre mois la séparation définitive des époux, suivie immédiatement de la rédaction d'une convention de divorce signée le 24 septembre 2016. Le recourant ne démontre par ailleurs pas qu'il aurait tenté d'une manière ou d'une autre de sauver son couple; le fait qu'il ait aussi rapidement et facilement accepté l'idée d'une séparation définitive et que, environ, deux mois après son divorce, il se soit remarié (le 10 avril 2017) avec une compatriote qui lui a très rapidement donné un enfant (né le 1er janvier 2018), tend à confirmer que le lien conjugal ne présentait pas la stabilité requise au moment déterminant et qu'il est peu plausible que le recourant l'ignorait. Celui-ci n'apporte au demeurant aucun élément permettant de contredire cette dernière appréciation. Il importe peu en l'occurrence que l'ex-épouse ait pris l'initiative de la séparation. Quant à la maladie de cette dernière (trouble bipolaire), le recourant ne l'invoque, en tant que cause de la détérioration rapide du lien conjugal, qu'au stade du présent recours et ne donne à nouveau aucun détail à ce sujet. Cela étant, dans la mesure où la maladie était connue du recourant avant l'introduction de la demande de naturalisation, elle ne saurait être retenue comme un événement extraordinaire postérieur à la naturalisation permettant de renverser la présomption établie.
Enfin, le fait que le recourant aurait pu formuler sa demande de naturalisation en 2011 déjà et qu'il est également ressortissant italien n'est pas pertinent pour l'examen de la question de savoir s'il y a eu obtention frauduleuse de la naturalisation au sens de l'art. 41 aLN.
4.4. Par conséquent, les conditions d'application de l'art. 41 aLN sont réunies et le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée qui avait été octroyée au recourant, ainsi que celle de la nationalité accordée à son enfant (art. 41 al. 3 aLN).
5.
Il s'ensuit que le recours est rejeté. Le recourant qui succombe supporte les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 22 octobre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Arn