Faits :
A.
A._, originaire du Kosovo, né en 1978, est entré en Suisse le 5 août 1998 et y a déposé une demande d'asile qui a été rejetée le 8 septembre 1999. Ce rejet était assorti d'une décision de renvoi. Le 7 juillet 2000, le prénommé s'est marié avec B._ ressortissante suisse née en 1971. Il s'est ainsi vu délivrer une autorisation de séjour.
Le 29 août 2003, A._ a déposé une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 15 septembre 2006, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus.
Par décision du 20 octobre 2006, l'Office fédéral des migrations (ci-après: l'ODM) a accordé la naturalisation facilitée à l'intéressé.
Par courrier du 24 juin 2010, le Service de l'état civil et des naturalisations du canton de Fribourg a informé l'ODM que bien que les époux soient toujours mariés, A._ avait eu un premier enfant au Kosovo avec une compatriote le 16 septembre 2005, soit une année avant sa naturalisation, puis un deuxième enfant avec la même personne le 10 avril 2008 et qu'il avait entrepris les démarches pour enregistrer ses deux enfants en Suisse.
Par lettre du 17 septembre 2010, l'ODM a informé l'intéressé qu'il se voyait dans l'obligation d'examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu des faits relatés par les autorités fribourgeoises, et l'a invité à se déterminer à ce sujet. Dans son courrier daté du 18 octobre 2010, cosigné par son épouse, A._ a expliqué que son épouse avait eu un grave accident fin 2003, qu'elle avait été hospitalisée durant un mois et demi et qu'étant déprimé et inquiet, il l'avait trompée; cette "histoire d'une seule nuit" avait suffi pour que la mère de son fils tombe enceinte. S'agissant de son deuxième fils, né en avril 2008, il a indiqué que celui-ci avait été conçu après que sa femme a pris la décision de le quitter.
Auditionnée le 25 février 2011, B._ a notamment déclaré que les réelles difficultés conjugales avaient commencé fin 2006 lorsqu'elle s'était installée à Neuchâtel où elle avait ouvert un fitness. Les problèmes conjugaux résidaient dans l'adultère commis par chacun des deux époux ainsi que dans le fait que ce dernier se trouvait trop souvent à Genève; son époux ne pouvait guère lui rendre visite dès lors qu'il vivait et travaillait à Genève durant la semaine. Elle a indiqué que la séparation du couple avait eu lieu, sauf erreur de sa part, vers fin 2007, précisant qu'ils n'avaient pas tout de suite divorcé dans l'espoir de se remettre ensemble. Elle s'est également exprimée au sujet de l'existence des deux enfants de son époux.
B.
Par décision du 21 septembre 2011, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._, faisant ainsi perdre la nationalité suisse aux membres de sa famille qui l'auraient acquise en vertu de la décision annulée.
Le Tribunal administratif fédéral a confirmé cette décision dans un arrêt rendu le 2 avril 2014. En substance, il a considéré que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus stable au moment de la signature de la déclaration commune et du prononcé de la décision de naturalisation, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement d'annuler l'arrêt du Tribunal administratif fédéral ainsi que la décision de l'ODM, et subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Invités à se déterminer, le Tribunal administratif fédéral a renoncé à prendre position, alors que l'ODM a conclu au rejet du recours.
Par ordonnance du 24 juin 2014, le Président de la Ire Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal administratif fédéral qui confirme l'annulation de la naturalisation facilitée accordée au recourant, le recours est recevable comme recours en matière de droit public (art. 82 al. 1 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de naturalisation facilitée et non pas de naturalisation ordinaire. Pour le surplus, les recourants ont la qualité pour recourir au sens de l'<ref-law> et les conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2.
Invoquant l'art. 29 al. 1 Cst., le recourant se plaint d'un déni de justice en tant que l'instance précédente n'aurait pas pris en considération les preuves qu'il aurait produites, à savoir les réponses écrites de son ex-épouse au questionnaire adressé par son conseil ainsi que les déclarations écrites de tierces personnes.
2.1. Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique notamment pour l'autorité l'obligation de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
Une autorité se rend en revanche coupable d'un déni de justice formel prohibé par l'art. 29 al. 2 Cst. si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (cf. <ref-ruling> consid. 5.2 p. 248; <ref-ruling> consid. 2).
2.2. Contrairement à ce que soutient le recourant, l'instance précédente n'a pas méconnu les éléments de preuve présentés censés démontrer la stabilité et l'effectivité de son mariage. Ceux-ci ressortent en effet dûment des parties en fait et/ou en droit de l'arrêt entrepris ("[le recourant] versait au dossier un questionnaire que son avocat avait adressé à la prénommée le 17 novembre 2011 et les réponses de celle-ci", cf. arrêt entrepris p. 5-6; "il [le recourant] a par ailleurs joint diverses attestations et requis du Tribunal de procéder à l'audition des personnes ayant signé ces écrits", cf. arrêt entrepris p. 6; "il [le recourant] a pu verser au dossier plusieurs attestations écrites d'amis du couple", cf. arrêt entrepris p. 17). Le fait que le résultat de l'appréciation juridique à laquelle s'est livrée l'instance précédente ne soit pas celui voulu par le recourant ne signifie pas que les éléments en question (réponses écrites de l'ex-épouse au questionnaire et déclarations écrites de tiers) n'ont pas été pris en considération dans la subsomption. Quoi qu'en pense le recourant, le fait que l'instance précédente n'évoque pas le questionnaire litigieux lorsque, procédant à une appréciation anticipée des moyens de preuve, elle rejette la demande du recourant tendant à une nouvelle audition de l'ex-épouse, ne permet pas d'aboutir à une telle conclusion. En l'occurrence, rien n'indique que le Tribunal administratif fédéral aurait ignoré les éléments litigieux au moment de procéder à son appréciation juridique. Enfin, l'instance précédente n'avait pas l'obligation d'exposer et de discuter tous les faits et moyens de preuve invoqués par le recourant; elle n'était en particulier pas obligée de se prononcer sur toutes les déclarations écrites et orales de l'ex-épouse. L'instance précédente pouvait au contraire se limiter aux éléments qui, sans arbitraire, pouvaient être tenus pour pertinents. Sa critique doit dès lors être rejetée.
A l'occasion de son grief tiré du déni de justice, le recourant semble émettre quelques critiques en lien avec le refus de l'instance précédente d'administrer ses offres de preuve. Celle-ci a en l'occurrence estimé que l'état de fait pertinent apparaissait suffisamment établi par les pièces du dossier et qu'elle pouvait se dispenser de procéder aux auditions de l'ex-épouse et d'amis du couple. L'instance précédente relevait notamment que l'ex-épouse avait déjà été entendue par les autorités cantonales sur les circonstances de son mariage et les motifs de la séparation en présence du recourant, lequel avait par ailleurs eu la possibilité de se déterminer sur le procès-verbal de cette audition. Le Tribunal administratif fédéral retenait également que l'intéressé avait en outre versé au dossier plusieurs attestations écrites d'amis du couple (cf. arrêt entrepris consid. 7). Confronté à un rejet d'offre de preuves fondé sur une appréciation anticipée de celles-ci, le recourant devrait entreprendre de démontrer, s'agissant d'un grief d'ordre constitutionnel, que l'arrêt attaqué serait arbitraire ou violerait son droit à la preuve. Or le grief du recourant ne contient aucune démonstration de ce type. Sur ce point, le recours est irrecevable.
3.
Dans un second moyen, le recourant se plaint d'une application arbitraire de l'art. 41 de la loi sur la nationalité du 29 septembre 1952 (LN, RS 141.0), faisant en substance grief à l'instance précédente d'avoir retenu qu'il avait obtenu la naturalisation facilitée par des déclarations mensongères. Il critique à cet égard l'état de fait établi par l'instance précédente qu'il conviendrait de rectifier (<ref-law>).
3.1. Conformément à l'art. 41 al. 1 LN qui, sur le fond est identique à l'art. 41 LN dans sa teneur jusqu'au 1 er mars 2011, l'ODM peut, avec l'assentiment de l'autorité du canton d'origine, annuler la naturalisation ou la réintégration obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. L'art. 41 al. 1bis LN indique que la naturalisation ou la réintégration peut être annulée dans un délai de deux ans à compter du jour où l'office a pris connaissance des faits déterminants, mais au plus tard huit ans après l'octroi de la nationalité suisse. Un nouveau délai de prescription de deux ans commence à courir après tout acte d'instruction communiqué à la personne naturalisée. Les délais sont suspendus pendant la procédure de recours.
3.1.1. Pour qu'une naturalisation facilitée soit annulée, il ne suffit pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est point besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 3.1 p. 115 et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 1C_406/2009 du 28 octobre 2009 consid. 3.1.1 et l'arrêt cité).
La nature potestative de l'art. 41 al. 1 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 403; <ref-ruling> consid. 4a p. 101 et les arrêts cités). D'après la jurisprudence, la notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 2 p. 484).
3.1.2. La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'<ref-law>). Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law>). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3 p. 166). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré de renverser cette présomption en raison, non seulement de son devoir de collaborer à l'établissement des faits (<ref-law> ; cf. <ref-ruling> consid. 3 p. 166), mais encore de son propre intérêt (ATF <ref-ruling> consid. 3.2 p. 485 s.).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (cf. ATF <ref-ruling> consid. 3.2 p. 486), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s. et les arrêts cités).
3.2. En l'espèce, le Tribunal administratif fédéral a relevé que le recourant avait épousé une ressortissant suisse, de sept ans son aînée, à peine dix mois après le rejet définitif de sa demande d'asile. Le 29 août 2003, il avait déposé une demande de naturalisation facilitée et les époux avaient signé la déclaration commune le 15 septembre 2006. Par décision du 20 octobre 2006, l'ODM avait accordé la naturalisation facilitée. Le 1 er novembre 2006, son épouse avait pris un domicile séparé, dans le canton de Neuchâtel, pour des raisons professionnelles. Les époux se sont séparés en fin d'année 2007 - soit quatorze mois après l'octroi de la naturalisation facilitée -, voire même au début juillet 2007 - soit moins de neuf mois plus tard - (cf. déterminations du recourant des 14 février 2012 et du 8 avril 2013 selon lesquelles la vie commune avait déjà pris fin au moment de la conception de son deuxième enfant). Les époux ont introduit une requête commune de divorce avec accord complet sur les effets accessoires en février 2011 et leur union conjugale a été dissoute par jugement du 10 mai 2011. Le Tribunal administratif fédéral a considéré que les éléments précités et leur enchaînement chronologique relativement rapide étaient de nature à fonder la présomption de fait que le recourant n'envisageait déjà plus une vie future partagée avec son épouse au moment de la déclaration commune, respectivement du prononcé de la naturalisation facilitée; la naturalisation avait dès lors été obtenue frauduleusement.
En l'occurrence, la présomption de fait n'est pas discutée par le recourant et elle peut effectivement se fonder sur un enchaînement chronologique relativement rapide des événements, en particulier la séparation définitive des époux intervenue environ 14 mois - dans l'hypothèse la plus favorable au recourant - après l'octroi de la naturalisation (cf. notamment arrêts 1C_172/2012 du 11 mai 2012 consid. 2.3 et 1C_155/2012 du 26 juillet 2012 consid. 2.3). Il s'agit dès lors uniquement de déterminer si le recourant est parvenu à renverser cette présomption (cf. supra consid. 3.1.2).
3.3. A titre liminaire, le recourant soutient que, au vu des réponses de son ex-épouse au questionnaire établi par son mandataire, il conviendrait de rectifier l'arrêt entrepris (<ref-law>) et de retenir que les époux se sont mariés par amour, qu'ils ont élaboré de nombreux projets d'avenir, qu'ils ont entretenu une véritable communauté (de toit, de table et de lit), qu'ils ont envisagé d'adopter l'enfant né hors mariage en 2005, que le recourant a songé à déménager à Neuchâtel, que les époux se voyaient régulièrement même lorsque le recourant résidait à Genève, qu'ils ont continué à voyager ensemble, que leur mariage était sincère et que le recourant avait fait beaucoup pour son ex-épouse; aux yeux du recourant, ces éléments démontraient la stabilité et l'effectivité de leur union conjugale.
Le recourant n'invoque toutefois aucun arbitraire dans la présentation des faits et se contente d'énoncer, dans un style essentiellement appellatoire, plusieurs éléments factuels, sans entreprendre de démontrer le caractère arbitraire de l'état de fait retenu par l'instance précédente. Sa critique qui ne satisfait pas aux exigences strictes de motivation requises (cf. <ref-ruling> consid. 4.1.2 p. 62) est donc irrecevable. Cela étant, le silence du Tribunal administratif fédéral à propos de certains faits signifie qu'il ne les a pas considérés comme décisifs et non pas que l'état de fait qu'il a établi est incomplet (cf. supra consid. 2.2). En réalité, il ne s'agit pas d'une question de constatation des faits mais d'appréciation de ces faits, question que le Tribunal fédéral revoit librement.
3.4. Pour renverser la présomption établie, le recourant se prévaut des réponses écrites formées par son ex-épouse et il fait grief à l'instance précédente d'avoir tiré de l'existence de ses deux enfants nés hors mariage la conclusion que son union conjugale n'était pas stable. Le recourant se contente pour l'essentiel d'affirmer que les déclarations écrites de son ex-épouse démontreraient qu'en automne 2006 leur mariage était stable et effectif, que l'enfant né en 2008 avait été conçu après la rupture définitive de la communauté conjugale et que les époux avaient envisagé d'adopter l'enfant né en 2005, l'adoption ayant échoué en raison du refus de la mère de l'enfant. Cette dernière affirmation, censée démontrer la volonté du couple de poursuivre une vie commune, est cependant contredite par les premières déclarations de l'ex-épouse qui a indiqué lors de son audition que le recourant avait voulu faire venir cet enfant en Suisse pour l'élever, sans toutefois évoquer un projet d'adoption.
En l'occurrence, les éléments avancés par le recourant ne permettent pas de remettre en cause l'appréciation convaincante de l'instance précédente qui a estimé qu'il était peu vraisemblable, au vu notamment du comportement adultère du recourant durant son mariage, que celui-ci ait pu avoir la conviction que sa communauté conjugale était stable, effective et tournée vers l'avenir au moment de la signature de la déclaration commune. Le Tribunal administratif fédéral a d'ailleurs à juste titre retenu que le recourant n'était pas crédible en affirmant que la naissance de son premier enfant en septembre 2005 n'avait eu aucune incidence sur l'union conjugale. L'ex-épouse de l'intéressé a en effet déclaré qu'il n'avait pas été facile pour elle d'apprendre la naissance de cet enfant. Elle en outre précisé que les réelles difficultés au sein du couple avaient leur origine tout d'abord dans l'adultère de chacun des deux ex-époux et également dans le fait que le recourant "se trouvait beaucoup trop souvent à Genève". Quoi qu'en pense le recourant, les déclarations de l'ex-épouse, prises dans leur ensemble, ne sont pas susceptibles de détruire la présomption fondée sur la chronologie des événements (cf. consid. 3.2).
Le recourant insiste également sur le fait que lorsqu'il a conçu son deuxième enfant au Kosovo en juillet 2007, soit environ neuf mois après avoir obtenu la nationalité suisse, il considérait sa communauté conjugale comme définitivement terminée; en été 2007, la mère des enfants du recourant et l'enfant né en 2005 ont d'ailleurs formé une demande de visa pour entrer en Suisse, laquelle leur a été refusée. Contrairement à ce que pense le recourant, le fait qu'il a conçu son deuxième enfant seulement après avoir acquis la conviction que la rupture était définitive n'est pas déterminant pour démontrer la stabilité du couple au moment de la signature de la déclaration commune. En l'occurrence, cette nouvelle relation extraconjugale avec la mère de son premier fils - ayant de surcroît conduit à la naissance d'un deuxième enfant - seulement quelque mois après l'obtention de la nationalité suisse tend davantage à confirmer que l'union conjugale entre les ex-époux ne présentait pas la stabilité requise au moment déterminant. Le recourant a en l'occurrence rapidement et facilement accepté l'idée d'une rupture définitive. Il n'a du reste pas fait valoir qu'il a entrepris des efforts avant l'été 2007 pour sauver sa communauté conjugale.
Par ailleurs, le recourant n'invoque aucun événement extraordinaire susceptible d'expliquer la brusque dégradation du lien conjugal. L'éloignement physique des époux durant la semaine ne saurait en particulier constituer un tel événement. Enfin, pour l'examen de la question de savoir s'il y a eu obtention frauduleuse de la naturalisation, il est sans pertinence que les époux se sont mariés par amour, que la décision de reprendre le fitness à Neuchâtel a longuement été débattue entre les ex-époux et que le recourant a dû poursuivre son travail à Genève.
3.5. En définitive, les éléments que le recourant a avancés ne suffisent pas à renverser la présomption établie. Il en découle que les conditions d'application de l'art. 41 LN sont réunies et que le Tribunal administratif fédéral n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée qui avait été octroyée au recourant.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 23 juillet 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : La Greffière :
Fonjallaz Arn