Faits :
A.
A._, ressortissant de la Côte d'Ivoire, né le 5 juillet 1967, a fait la connaissance de B._, ressortissante suisse, née le 3 janvier 1942. Le 8 avril 2006, les intéressés ont contracté mariage en Côte d'Ivoire permettant ainsi à B._ d'acquérir la nationalité ivoirienne en 2012.
Le 2 avril 2013, A._ a introduit une demande de naturalisation facilitée. Dans le cadre de cette demande, il a, le même jour, certifié vivre à la même adresse que son épouse en Côte d'Ivoire, sous la forme d'une communauté conjugale effective et stable et n'avoir aucune intention de se séparer ou de se divorcer. Il a également été informé que de fausses déclarations ou des réticences de sa part au sujet de la qualité de son union conjugale pouvaient entraîner l'annulation de sa naturalisation facilitée.
Par décision du 26 février 2014, entrée en force le 30 mars 2014, l'intéressé a été mis au bénéfice de la naturalisation facilitée.
B.
Le 1 er avril 2015, A._ est devenu père d'un enfant né hors mariage (C._), puis d'un second (D._) né le 14 novembre 2017. Les deux enfants ont été mis au monde par E._, ressortissante ivoirienne, née en 1984.
Par courrier du 13 août 2018, B._ s'est adressée au Secrétariat d'Etat aux migrations (SEM) afin de demander l'annulation de la naturalisation facilitée de son époux et a, le 6 novembre 2018, introduit une requête aux fins de citation en divorce auprès du Juge des affaires matrimoniales de Grand-Bassam.
C.
Après avoir donné l'occasion à A._ de se déterminer sur les circonstances de leur mariage et de leur divorce, le SEM a, par décision du 6 août 2019, prononcé l'annulation de la naturalisation facilitée accordée au prénommé.
Par arrêt rendu le 24 février 2021, le Tribunal administratif fédéral a rejeté le recours intenté par A._ contre cette décision.
D.
A._ forme un recours en matière de droit public à l'encontre de l'arrêt du Tribunal administratif fédéral et conclut à l'annulation de cet arrêt du 24 février 2021 et de la décision du SEM du 6 août 2019. Subsidiairement, il requiert le renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants, le tout avec suite de frais et dépens.
Invités à se déterminer, le Tribunal administratif fédéral a renoncé à prendre position tandis que le SEM a observé que le recours ne contenait aucun élément prouvant une violation du droit ou l'établissement inexact des faits.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law>. Il convient donc d'entrer en matière sur le recours.
2.
L'entrée en vigueur, au 1 er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies par le droit en vigueur au moment où le fait déterminant s'est produit. Dans la présente cause, la nationalité a été accordée au recourant selon les règles de l'ancien droit. Les faits déterminants ayant entraîné l'annulation de la naturalisation facilitée, à savoir l'ouverture de la procédure en annulation de la naturalisation facilitée, se sont toutefois produits postérieurement au 1 er janvier 2018, de sorte que le nouveau droit s'applique.
3.
Le recourant reproche au Tribunal administratif fédéral d'avoir retenu à tort et en omettant des faits pertinents, résultant des déclarations de son épouse, que sa relation extra-conjugale était suivie et sérieuse et qu'elle excluait de considérer sa relation de couple comme stable et effective au moment de la signature de la déclaration de vie commune. Les autorités précédentes auraient échoué à apporter la preuve que la naturalisation facilitée aurait été obtenue de manière frauduleuse.
3.1. Conformément à l'art. 36 al. 1 LN, le SEM peut annuler la naturalisation ou la réintégration obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. Si l'assentiment de l'autorité du canton d'origine n'est désormais plus nécessaire, les conditions matérielles d'annulation de la naturalisation facilitée prévues par l'art. 36 LN (déclarations mensongères ou dissimulation de faits essentiels) correspondent à celles de l'ancien art. 41 al. 1 aLN. La jurisprudence y relative garde ainsi toute sa pertinence.
Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2.2). Le comportement déloyal et trompeur du requérant doit ainsi porter sur l'allégation de faits mensongers ou la dissimulation de faits décisifs pour décider de l'octroi de la naturalisation facilitée.
La nature potestative de l'art. 36 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou non conforme au principe de la proportionnalité (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2).
D'après la jurisprudence, la notion de communauté conjugale - respectivement d'union conjugale selon le nouveau droit (cf. art. 21 al. 2 let. a LN) - suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2; <ref-ruling> consid. 3a).
La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale [PCF; RS 273] applicable par renvoi de l'art. 19 de la loi fédérale sur la procédure administrative [PA; RS 172.021]). Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law> [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption en raison non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; <ref-ruling> consid. 3), mais encore de son propre intérêt (<ref-ruling> consid. 3.2). Par enchaînement rapide des événements, la jurisprudence entend une période de plusieurs mois, voire d'une année, mais ne dépassant pas deux ans (arrêt 1C_80/2019 du 2 mai 2019 consid. 4.2).
3.2. En l'espèce, compte tenu du délai relativement long s'étant écoulé entre l'octroi de la naturalisation facilitée et la séparation du couple, le Tribunal administratif fédéral a, à juste titre, écarté la possibilité de retenir la présomption de fait que la naturalisation facilitée avait été obtenue frauduleusement.
A défaut d'une telle présomption, le fardeau de la preuve, au niveau de la vraisemblance prépondérante, d'un comportement déloyal et trompeur incombe intégralement à l'autorité qui a procédé à l'annulation de la naturalisation facilitée et il appartient ensuite au juge de procéder à une libre appréciation des éléments à disposition. Dans ce contexte, le Tribunal fédéral examine si l'autorité inférieure n'a pas excédé son pouvoir d'appréciation, consacrant ainsi une violation de l'art. 36 LN (arrêts 1C_618/2020 du 19 mai 2021 consid. 3.2; 1C_377/2017 du 12 octobre 2017 consid. 2.2).
3.3. En l'occurrence, le Tribunal administratif fédéral a retenu que le SEM avait démontré au niveau de la vraisemblance prépondérante, que la communauté conjugale formée par le recourant et son épouse ne revêtait ni la stabilité, ni l'intensité requises durant la procédure de naturalisation, l'union formée par ceux-ci ne correspondant déjà plus à celle jugée digne de protection par le législateur au moment de la signature de la déclaration de la vie commune et lors de la décision de naturalisation. Il est arrivé à la conclusion que le recourant avait obtenu la naturalisation facilitée sur la base de déclarations mensongères ou d'une dissimulation de faits essentiels.
Le Tribunal administratif fédéral s'est fondé en particulier sur les moyens de preuve déposés en cause, en particulier le message anonyme dénonçant la double vie du recourant, les énoncés de la requête en divorce déposée par l'épouse, le procès-verbal de constatation du 31 octobre 2018 d'un huissier de justice attestant des éléments figurant sur la page Facebook de E._, à savoir que cette dernière se fait appeler "épouse A._" et y figure dans l'uniforme des festivités s'apparentant à un mariage coutumier, qu'elle porte un enfant visiblement nouveau-né alors que le recourant et un autre enfant figurent sur la photo. Le Tribunal administratif fédéral souligne également que la conception du premier enfant né hors mariage est intervenue 4 mois environ après l'octroi de la naturalisation facilitée, que le recourant a admis avoir entretenu une relation extra-conjugale tout en qualifiant la première naissance comme le fruit d'une aventure alors que cette relation s'est consolidée par la venue d'un second enfant, que si la différence d'âge entre les époux n'est pas en soi de nature à exclure une relation maritale il n'en reste pas moins vrai que le recourant a conçu un enfant avec une ressortissante ivoirienne 17 ans plus jeune que lui. La juridiction précédente souligne également que les déclarations du recourant au SEM relatives à l'absence de descendance commune laissent transparaître une déception et que l'incompréhension du recourant face à la demande de divorce déposée par son épouse, alors qu'il a affirmé vouloir poursuivre son mariage formel, démontre une conception du mariage incompatible avec celle du droit suisse.
3.4. En l'occurrence, il convient d'admettre avec l'instance précédente que le recourant a épousé une ressortissante suisse le 8 avril 2006, puis a introduit une demande de naturalisation facilitée le 2 avril 2013. Il a obtenu la nationalité suisse par décision du 26 février 2014 entrée en force le 30 mars 2014, après avoir signé le 2 avril 2013 une déclaration de vie commune confirmant la stabilité de son mariage.
L'instance précédente pouvait considérer que le recourant a entretenu une relation extra-conjugale qui a débuté, au plus tard, moins de 4 mois après l'obtention de la nationalité suisse. Nonobstant l'argument avancé par le recourant selon lequel ne figure au dossier aucune donnée précise sur la durée de la relation avec E._, il faut prendre en considération le fait que le recourant a reconnu entretenir une relation extra-conjugale et être le père de deux enfants conçus hors mariage environ en juillet 2014 et février 2017. Bien qu'il ait qualifié la première naissance comme le fruit d'une aventure et d'un écart, plusieurs éléments du dossier contredisent cette affirmation laissant entrevoir que le recourant menait une liaison parallèle. Ainsi, force est de constater que lorsque qu'en juin 2018 son épouse a eu connaissance de la relation extra-conjugale, le couple constitué par E._ et le recourant avait déjà donné naissance à un premier enfant de trois ans. Cette relation avait été encore consolidée par la seconde naissance intervenue en 2017. Le caractère durable de ce couple ressort également du courrier anonyme du 4 juin 2018 et du procès-verbal de constatation établi par l'huissier de justice. Le Tribunal administratif fédéral pouvait arriver à la conclusion que cette double vie s'est très vraisemblablement poursuivie durant plusieurs années, parallèlement à son mariage avec son épouse suisse. Cette interprétation est d'ailleurs corroborée par le procès-verbal de constatation du 31 octobre 2018 attestant que E._ se fait appeler "épouse A._", qu'elle figure sur des photos dans l'uniforme des festivités s'apparentant à un mariage coutumier, qu'elle y porte un enfant visiblement nouveau-né alors que le recourant et un autre enfant y figurent également.
Le Tribunal administratif fédéral pouvait également accorder foi aux déclarations de l'épouse qui a indiqué que, sept ans après leur mariage, le comportement de son époux avait radicalement changé, soulignant qu'il n'avait plus le temps de faire sortir sa femme comme ils en avaient l'habitude; il ne mangeait plus à la maison et trouvait mille et une excuses pour ne pas remplir ses devoirs conjugaux. Certes, comme le relève le recourant, le procès-verbal du 31 octobre 2018 indique que les époux ont vécu le parfait amour jusqu'en 2018. Toutefois, ledit procès-verbal avait pour but d'attester la réalité du compte Facebook de E._ et non pas de qualifier les relations conjugales entre les époux. Le recourant a lui-même indiqué au SEM que leur relation avait "connu des hauts et des bas" et que "seul l'écoulement du temps les a progressivement éloignés l'un de l'autre", attestant lui aussi des difficultés rencontrées par les époux bien avant le procès-verbal du 31 octobre 2018. L'autorité précédente pouvait ainsi accorder foi aux déclarations de l'épouse sur ce point.
Le Tribunal administratif fédéral a également relevé que le SEM avait mentionné à l'encontre du recourant la forte différence d'âge au sein du couple, son épouse étant de vingt-cinq ans son aînée, l'autorité soutenant en outre que cette dernière n'aurait pas le profil type de l'épouse en Côte d'Ivoire. L'autorité précédente a toutefois apprécié cet argument avec prudence car on ne saurait exclure toute union s'écartant un tant soit peu des normes sociales prévalant dans un pays donné. Le recourant soutient que l'autorité inférieure se serait laissée aller à des hypothèses ou des suppositions pour le moins douteuses en affirmant que le recourant aurait eu un désir d'enfant. Il oublie toutefois avoir indiqué précédemment au SEM que, comme dans toute relation, son union avait connu des hauts et des bas et qu'en particulier l'âge plus avancé de son épouse avait eu pour conséquence que le couple n'avait malheureusement pas pu avoir d'enfants ensemble, faisant ainsi transparaître une certaine déception. Dans ce contexte, l'autorité inférieure souligne, à juste titre, qu'on peine à penser que le désir d'avoir des enfants soit intervenu seulement après la clôture de la procédure de naturalisation, d'autant plus que le recourant a conçu un enfant avec sa concubine quelques mois déjà après l'obtention de la naturalisation.
Enfin, le Tribunal administratif fédéral pouvait également prendre en considération que l'intéressé a affirmé vouloir poursuivre son mariage formel avec son épouse suisse, tout en ayant parallèlement fondé une famille avec femme et enfants. Il reproche même à son épouse d'être à l'origine de la séparation et de vouloir lui causer du tort en demandant le divorce. L'instance précédente pouvait considérer que la conception du mariage du recourant est incompatible avec celle définie par les dispositions du code civil suisse sur le droit du mariage, à savoir une union contractée en vue de la constitution d'une communauté de vie étroite, au sein de laquelle les conjoints sont prêts à s'assurer mutuellement, fidélité et assistance et qui est envisagée comme durable.
Le Tribunal administratif fédéral n'a pas excédé son pouvoir d'appréciation en considérant que les moyens de preuve versés en cause ainsi qu'un faisceau d'indices convergents permettaient de conclure, au niveau de la vraisemblance prépondérante, qu'à tout le moins, lors de l'octroi de la naturalisation facilitée en février 2014, le recourant avait une conception du mariage diamétralement opposée à celle qu'avait en vue le législateur lorsqu'il a créé la naturalisation facilitée. La communauté conjugale formée par le recourant et son épouse ne revêtait ni la stabilité, ni l'intensité requises durant la procédure de naturalisation. Le recourant a dès lors obtenu la naturalisation facilitée sur la base de déclarations mensongères ou d'une dissimulation de faits essentiels.
Il en découle que les conditions d'application de l'art. 36 LN sont réunies; le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée octroyée au recourant.
4.
Le recourant soutient enfin que l'annulation de sa naturalisation facilitée serait disproportionnée (art. 36 Cst.). Il se plaint notamment de l'absence d'un intérêt public prépondérant.
Sa critique est vaine. En effet, l'annulation de la naturalisation facilitée obéit à des règles qui accordent une importance particulière à la relation de confiance avec l'administré. Si celui-ci trahit cette confiance, en adoptant un comportement déloyal et trompeur, l'art. 36 LN donne à l'autorité compétente la faculté d'annuler la naturalisation facilitée, les fondements de celle-ci n'étant plus réunis. Par conséquent, si des déclarations mensongères ou la dissimulation de faits essentiels peut être retenue en vertu des règles susmentionnées (cf. supra consid. 3.4), on ne voit pas à quel titre le recourant pourrait invoquer le principe de la proportionnalité.
5.
Il s'ensuit que le recours est rejeté aux frais du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour IV.
Lausanne, le 19 août 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Arn