Faits :
A.
A.a. A._, ressortissant sénégalais, né en 1977, est arrivé en Suisse afin d'y épouser B._, ressortissante suisse née en 1971. Le mariage a eu lieu en 2008. Le 6 septembre 2012, il a déposé prématurément une demande de naturalisation facilitée. Le 17 janvier 2014, il a obtenu une autorisation d'établissement (permis C).
Le couple a signé une déclaration concernant la communauté conjugale le 18 mars 2014, par laquelle les époux ont confirmé former une communauté conjugale effective et stable et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des conjoints demandait le divorce ou la séparation ou que la communauté conjugale effective n'existait pas. Si cet état de fait était dissimulé, la naturalisation facilitée pouvait ultérieurement être annulée, conformément au droit en vigueur.
Par décision du 17 avril 2014, entrée en force le 29 mai 2014, l'intéressé a été mis au bénéfice de la naturalisation facilitée.
A.b. Le 1er octobre 2014, B._ a quitté le domicile conjugal et déménagé chez une connaissance, dans une chambre adaptée à ses difficultés de mobilité. Les autorités cantonales ont enregistré la séparation officielle du couple le 1er décembre 2014. Les époux ont déposé une requête de divorce avec accord complet le 16 avril 2015 et, par jugement du 18 juin 2015, devenu définitif et exécutoire le 25 août 2015, le divorce a été prononcé.
A._ s'est remarié au Sénégal le 28 mars 2018 avec une ressortissante de ce pays pour laquelle il a déposé une demande de regroupement familial. Le 25 octobre 2018, le Service de la population du canton de Vaud a transmis le dossier au Secrétariat d'Etat aux migrations (SEM) dans le cadre d'une éventuelle ouverture de procédure de révocation de naturalisation.
Le 5 novembre 2018, le SEM a informé A._ de l'ouverture d'une procédure en annulation de sa naturalisation facilitée et lui a donné l'occasion de se prononcer. Celui-ci a fait part de ses déterminations au SEM le 7 janvier 2019. Le 4 mars 2019, B._ a été entendue en la présence de la mandataire de A._. Elle a délié certains de ses médecins du secret médical. Le SEM a adressé plusieurs questions à sa médecin traitante qui a répondu par courrier du 30 octobre 2019, transmis au recourant. Par lettre du 20 novembre 2019, B._ a apporté au SEM des précisions sur les réponses de sa médecin traitante.
B.
Le 20 décembre 2019, le SEM a prononcé l'annulation de la naturalisation facilitée de A._. Par arrêt du 21 mai 2021, le Tribunal administratif fédéral a rejeté le recours intenté par A._ contre cette décision.
C.
A._ forme un recours en matière de droit public à l'encontre de l'arrêt du Tribunal administratif fédéral et conclut principalement à l'annulation de la décision du SEM et à l'abandon de toute procédure en annulation de la naturalisation facilitée, subsidiairement à l'annulation de l'arrêt du Tribunal administratif fédéral et de la décision du SEM ainsi qu'à l'abandon de toute procédure en annulation de la naturalisation facilitée et subsidiairement à l'annulation de l'arrêt du Tribunal administratif fédéral et de la décision du SEM avec renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il a également requis l'octroi de l'effet suspensif.
Invités à se déterminer, le Tribunal administratif fédéral renonce à prendre position tandis que le SEM observe que le recours ne contient aucun élément prouvant une violation du droit fédéral dans l'arrêt attaqué ou un établissement inexact des faits. Au surplus, le SEM ne s'oppose pas à l'octroi de l'effet suspensif.
Par ordonnance présidentielle du 27 juillet 2021, la requête d'effet suspensif a été admise.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'art. 83 let. b LTF n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il convient donc d'entrer en matière sur le recours.
2.
L'entrée en vigueur, au 1er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies par le droit en vigueur au moment où le fait déterminant s'est produit.
Dans la présente cause, la nationalité a été accordée au recourant selon les règles de l'ancien droit. Au contraire de ce qu'expose l'arrêt attaqué, il est douteux que puisse être retenu comme fait déterminant au sens de l'art. 50 LN l'ouverture de la procédure en annulation de la naturalisation facilitée (cf. l'art. 36 al. 2 LN qui fait courir le délai relatif d'annulation de la naturalisation dès le moment où "le SEM a eu connaissance de l'état de fait juridiquement pertinent", ce qui exclut a priori de considérer le moment de la prise de connaissance du problème comme le fait déterminant). Cette question peut toutefois demeurer indécise, dès lors que les dispositions régissant les conditions matérielles d'annulation de la naturalisation facilitée sont analogues dans l'ancien et le nouveau droit. La jurisprudence rendue à ce propos sous l'ancien droit conserve partant toute sa pertinence (cf. arrêts 1C_206/2021 du 19 août 2021 consid. 3.1; 1C_24/2020 du 24 juillet 2020 consid. 3.1).
3.
A teneur de l'art. 21 al. 1 LN (cf. art. 27 aLN), un étranger peut, ensuite de son mariage avec un ressortissant suisse, former une demande de naturalisation facilitée si, notamment, il vit depuis trois ans en union conjugale avec son conjoint (let. a) et a séjourné en Suisse pendant cinq ans en tout, dont l'année ayant précédé le dépôt de la demande (let. b).
Conformément à l'art. 36 al. 1 LN (cf. art. 41 al. 1 aLN), le SEM peut annuler la naturalisation ou la réintégration obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. Si l'assentiment de l'autorité du canton d'origine n'est désormais plus nécessaire, les conditions matérielles d'annulation de la naturalisation facilitée prévues par l'art. 36 LN (déclarations mensongères ou dissimulation de faits essentiels) correspondent, ainsi qu'on l'a rappelé ci-dessus, à celles de l'ancien art. 41 al. 1 aLN.
Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'étaient pas remplies; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2.2). Le comportement déloyal et trompeur du requérant doit ainsi porter sur l'allégation de faits mensongers ou la dissimulation de faits décisifs pour décider de l'octroi de la naturalisation facilitée.
La nature potestative de l'art. 36 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou non conforme au principe de la proportionnalité (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2).
D'après la jurisprudence, la notion de communauté conjugale (art. 27 al. 1 let. c aLN) - respectivement d'union conjugale selon le nouveau droit (cf. art. 21 al. 2 let. a LN) - suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2; <ref-ruling> consid. 3a).
La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale [PCF; RS 273] applicable par renvoi de l'art. 19 de la loi fédérale sur la procédure administrative [PA; RS 172.021]). Ce principe vaut également devant le Tribunal administratif fédéral (art. 37 LTAF [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption en raison non seulement de son devoir de collaborer à l'établissement des faits (art. 13 PA; <ref-ruling> consid. 3), mais encore de son propre intérêt (<ref-ruling> consid. 3.2). Par enchaînement rapide des événements, la jurisprudence entend une période de plusieurs mois, voire d'une année, mais ne dépassant pas deux ans (arrêt 1C_80/2019 du 2 mai 2019 consid. 4.2).
4.
Dans une première argumentation, le recourant soutient que l'autorité précédente est tombée dans l'arbitraire en refusant de tenir compte du fait que la procédure d'annulation a été déclenchée par une demande de regroupement familial qui finalement n'a pas eu lieu et que la décision d'annulation intervient près de quatre ans et demi après le divorce d'avec sa première épouse.
4.1. L'art. 36 al. 2 LN (cf. art. 41 al. 1bis aLN) prévoit que la naturalisation peut être annulée dans un délai de deux ans après que le SEM a eu connaissance de l'état de fait juridiquement pertinent, mais au plus tard huit ans après l'octroi de la nationalité suisse; un nouveau délai de prescription de deux ans commence à courir après tout acte d'instruction signalé à la personne naturalisée; les délais de prescription sont suspendus pendant la procédure de recours.
4.2. En l'espèce, il ressort de l'état de fait de l'arrêt attaqué, par lequel le Tribunal fédéral est lié (art. 105 al. 1 LTF), que le SEM a eu connaissance des faits déterminants pour engager une procédure d'annulation de la naturalisation facilitée au plus tôt le 30 octobre 2018, date à laquelle le Service de la population du canton de Vaud a porté à sa connaissance que les époux étaient séparés depuis le 1 er décembre 2014 et que le divorce avait été prononcé le 25 août 2015. Le 5 novembre 2018, le SEM a averti le recourant de l'ouverture d'une procédure en annulation de la naturalisation à son encontre et, le 20 décembre 2019, a prononcé l'annulation de la naturalisation. Le délai de deux ans est ainsi sauvegardé. Il n'est pas déterminant que la décision d'annulation de la naturalisation intervienne près de 4 ans après le divorce ou que la demande de regroupement familial, n'ait finalement pas eu lieu. Seule est déterminante la question de savoir si la décision d'annulation a été rendue dans les deux ans qui suivent la connaissance de l'élément déclencheur, ici la connaissance par le SEM de la séparation puis du divorce des époux. Enfin, contrairement aux allégations du recourant sur ce point, la loi sur la nationalité n'exige pas que le SEM ou le Service cantonal compétent entreprenne des recherches pour déterminer si des "faits déterminants" qui permettent d'initier une procédure d'annulation se produisent. La procédure d'annulation peut être déclenchée pour autant que le délai de huit ans à compter de l'octroi de la naturalisation facilitée ne soit pas échu.
Les délais de prescription absolue et relative de l'art. 36 LN ont donc été respectés. Mal fondé, le grief doit être écarté.
5.
Le recourant souligne que l'instance précédente n'est pas parvenue à apporter la preuve que la naturalisation facilitée aurait été obtenue de manière frauduleuse.
5.1. Il soutient en premier lieu que Tribunal administratif fédéral aurait à tort retenu que la demande de naturalisation déposée prématurément devrait être considérée comme une présomption de fraude à la naturalisation facilitée.
Le Tribunal administratif fédéral a constaté que le recourant avait déposé sa demande de naturalisation facilitée de manière prématurée, soit neuf mois avant de remplir les conditions légales. Il en a conclu que le recourant avait hâte d'obtenir la nationalité suisse et que ses explications sur son empressement à participer aux votations, n'étaient pas suffisamment convaincantes pour ne pas tenir compte de cet élément, comme un parmi d'autres, parlant en sa défaveur. L'autorité précédente n'a donc pas considéré ce seul élément comme un indice de fraude à la loi mais l'a compté parmi plusieurs autres indices tels que la séparation effective du couple quatre mois après l'entrée en force de la naturalisation facilitée, l'enchaînement chronologique rapide des faits entre l'obtention de la naturalisation et le prononcé du divorce, l'absence de volonté de sauver le couple trouvant son expression dans l'absence d'une procédure de mesures protectrices de l'union conjugale, dans le dépôt rapide de la requête commune en divorce soit seulement six mois après le déménagement de l'épouse et quatre mois après leur séparation officielle. Dans ces circonstances, l'autorité précédente pouvait, sans violer le droit fédéral estimer que le dépôt prématuré de la requête était un des éléments parlant en défaveur du recourant.
5.2. Le recourant voit une interprétation arbitraire et une constatation inexacte des faits dans l'omission du Tribunal administratif fédéral de considérer les difficultés du couple à trouver un appartement adapté aux problèmes de l'épouse comme une circonstance extraordinaire susceptible d'expliquer la détérioration rapide du lien conjugal.
Selon l'autorité précédente, l'épouse connaît des problèmes de santé depuis de nombreuses années. Elle a été diagnostiquée "borderline" depuis l'âge de 22 ans et souffre, depuis 2009, de sérieux problèmes de santé, en particulier d'une malformation congénitale non diagnostiquée et d'une paralysie causée par les suites opératoires d'une forte hernie discale. Elle ressent quotidiennement d'importantes douleurs. Son état de santé nécessite un lit orthopédique et l'utilisation d'une chaise roulante. Le Tribunal administratif fédéral a relevé qu'elle avait confirmé qu'au moment de la naturalisation de son mari, le couple avait pour projet de trouver un appartement adapté à ses difficultés. Cela étant, comme l'a souligné l'autorité précédente, si les deux époux ont évoqué une dégradation de l'état de santé, leurs déclarations sont restées vagues quant au moment où cette dégradation se serait produite. Le mari évoque une opération en 2012 alors que l'épouse ne fournit aucune précision à ce sujet, si ce n'est qu'elle indique, dans une lettre adressée au SEM, une opération difficile en septembre 2010. Aucun des deux conjoints n'a mentionné, ni même évoqué une brusque aggravation de l'état de santé de l'ex-épouse après l'obtention de la naturalisation facilitée qui aurait potentiellement rendu la situation insoutenable pour le couple. L'état de santé précaire de l'épouse, tant psychique que physique, existait déjà au moment de la signature de la déclaration sans qu'aucun élément ne démontre une quelconque aggravation de ceux-ci. Le Tribunal administratif fédéral pouvait ainsi arriver à la conclusion que l'état de santé de l'ex-épouse et, partant, les difficultés à trouver un logement en raison de cet état de santé, ne pouvait être considéré comme une circonstance extraordinaire expliquant la détérioration rapide du lien conjugal.
Dans ce contexte, l'autorité inférieure pouvait également relativiser la valeur probante des déclarations de l'ex-épouse dans la mesure où, bien qu'elle affirme être seule à l'origine de la séparation, les éléments ci-dessus démontrent que, dans les faits, rien ne peut expliquer la soudaine séparation des époux. Enfin, le Tribunal administratif met également en évidence que le départ précipité de l'épouse, quatre mois après l'entrée en force de la naturalisation, ne lui a pas permis, comme elle le soutient, de prendre de la distance puisque deux mois plus tard la séparation officielle du couple était enregistrée. L'autorité précédente pouvait donc considérer que la valeur probante des déclarations de l'épouse devait être tempérée.
5.3. Dans une dernière argumentation, le recourant revient sur ses propres déclarations en expliquant qu'il a finalement accepté l'idée de la dissolution de son mariage plutôt que de la combattre par pur intérêt personnel. Ce faisant, il se limite à exposer sa propre version des faits qu'il juge pertinents. Il ne démontre cependant pas, au moyen d'une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, que l'autorité précédente a constaté les faits de façon manifestement inexacte, notion qui correspond à celle d'arbitraire (art. 97 al. 1 LTF; <ref-ruling> consid. 4.3). Dans ces conditions, il n'y a pas lieu de s'écarter des faits retenus dans la décision attaquée (art. 105 al. 1 LTF). En particulier, il ne saurait tirer argument du fait qu'il aurait accepté le divorce uniquement dans le but de préserver leur couple d'une procédure dévastatrice. En effet, s'il entendait préserver leur couple, il lui appartenait de prendre des mesures dans ce sens. Or, comme l'a souligné l'autorité précédente, le recourant n'a pas démontré avoir cherché à sauver l'union conjugale que ce soit par des discussions avec son épouse, une thérapie conjugale ou des mesures de protection de l'union conjugale. Au contraire, six mois après le départ de son épouse, il signait avec elle une requête conjointe en divorce avec accord complet.
5.4. A l'instar de ce qu'a retenu le Tribunal administratif fédéral, les éléments qui précèdent corroborent la présomption d'obtention frauduleuse de la naturalisation facilitée qui découlait de l'enchaînement chronologique rapide entre l'obtention de la naturalisation et la séparation du couple.
Les conditions d'application de l'art. 36 LN (respectivement 41 aLN) sont ainsi réunies; le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée octroyée au recourant.
6.
Il s'ensuit que le recours est rejeté, aux frais du recourant, qui succombe (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 21 décembre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Sidi-Ali