Faits: A. Le 16 mai 2000 à Vallorbe, X._, ressortissant kosovar né en 1975, a épousé Y._, ressortissante suisse née en 1951. Il a alors été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Aucun enfant n'est issu de cette union. Par requête du 29 février 2004, X._ a demandé la naturalisation facilitée qu'il a obtenue le 17 avril 2007, après avoir co-signé avec son épouse le 5 janvier 2007 une déclaration confirmant la stabilité et l'effectivité de leur communauté conjugale. Le 23 janvier 2008, les époux ont déposé une requête commune en divorce, assortie d'une convention sur les effets accessoires. Le divorce a été prononcé le 29 avril 2008. Le 22 juin 2008, est né l'enfant issu de la relation de X._ avec une compatriote, née en 1982; cette dernière est devenue ensuite son épouse. B. A la suite d'une enquête administrative de l'Office fédéral des migrations (ODM), Y._ a été entendue le 1er juillet 2009. Elle a expliqué que son couple s'était séparé à la fin 2007 en raison de problèmes d'argent et du fait qu'ils n'avaient plus la même complicité. X._ a été auditionné le 15 décembre 2009 par le Service de la population du canton de Vaud (SPOP) dans le cadre de ses démarches en vue d'épouser la mère de son enfant. Il a expliqué qu'à la suite des problèmes de santé de son ex-épouse, celle-ci s'était sentie "vieille" et n'avait plus voulu de lui. Au début, il avait catégoriquement refusé qu'ils se séparent, mais comme elle était décidée, il avait quitté le domicile conjugal en février 2008. Il a ensuite reconnu qu'il n'y était pas retourné depuis août 2007. Concernant la naissance de son enfant en juin 2008, il a déclaré que comme les choses n'allaient pas bien, il était rentré en septembre 2007 au Kosovo et y avait rencontré dès le début de ses vacances sa fiancée. Il a assuré que c'était un coup de foudre et que la rencontre n'avait pas été arrangée. De retour en Suisse, il avait résidé à son domicile professionnel, y attendant sans succès des nouvelles de son ex-femme. Le 25 août 2010, l'ODM a informé X._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu de la relation extraconjugale entamée en septembre 2007 et qui avait débouché sur la naissance d'un enfant en juin 2008, alors que l'intéressé avait refusé d'officialiser sa séparation avec Y._ avant le mois de février 2008. Dans ses déterminations du 16 septembre 2010, puis du 23 mai 2011, X._ a expliqué en substance que les multiples problèmes de santé de son ex-épouse les avaient "au fur et à mesure" amenés à une situation difficile, celle-ci l'ayant alors rejeté. Après plusieurs tentatives pour sauver leur couple, il avait fini par accepter sa demande de divorce. Se déterminant par écrit le 22 septembre 2010, puis le 20 août 2011 et entendue le 9 décembre 2010, Y._ a déclaré que les difficultés conjugales avaient débuté en 2007 à la suite de problèmes liés à sa santé. En raison de ceux-ci, elle s'était renfermée sur elle-même. C'était elle qui avait commencé à parler de séparation durant l'été 2007, dès lors que son état de santé continuait à se dégrader. Elle a dit qu'elle savait que son mari avait eu des relations intimes avec une ressortissante kosovare dès septembre 2007 et qu'il avait eu un enfant avec cette dernière au mois de juin 2008. Si elle avait été choquée, elle l'avait ensuite compris, car vu sa santé, elle-même refusait toute relation intime avec son mari depuis 2006. Après avoir obtenu l'assentiment des autorités cantonales, l'ODM a, par décision du 3 août 2011, annulé la naturalisation facilitée. L'enchaînement des faits démontrait que le souhait de l'intéressé était de se procurer une possibilité de séjour en Suisse, respectivement d'y acquérir le plus rapidement possible la nationalité afin d'y créer une famille avec une ressortissante de son pays d'origine. De plus, l'état de santé de l'ex-épouse de X._ ne saurait être constitutif d'un événement extraordinaire postérieur à la naturalisation dès lors que celle-ci avait connu de sérieux ennuis sur ce plan dès 2001. En conséquence, au moment de la déclaration du 5 janvier 2007 ou du prononcé de naturalisation le 17 avril 2007, le mariage de l'intéressé n'était pas constitutif d'une communauté conjugale effective et stable. La naturalisation facilitée avait donc été octroyée sur la base de déclarations mensongères et d'une dissimulation de faits essentiels. C. Par arrêt du 17 juin 2013, le Tribunal administratif fédéral a rejeté le recours formé par X._ contre cette décision. Par acte du 23 juillet 2013, X._ forme un recours en matière de droit public, concluant à l'annulation de l'arrêt du 17 juin 2013, ainsi que de la décision du 3 août 2011 de l'ODM, au prononcé du maintien de sa naturalisation facilitée et de la nationalité des membres de sa famille. A titre subsidiaire, il requiert l'annulation du jugement du Tribunal administratif fédéral et conclut au renvoi de la cause pour nouvelle décision au sens des considérants. Le recourant sollicite l'octroi de l'effet suspensif. Invités à se déterminer, l'ODM a confirmé sa position, tandis que l'autorité précédente a renoncé à formuler des observations. Le recourant n'a pas déposé de détermination complémentaire. Par ordonnance du 3 septembre 2013, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.