Faits:
A.
Le 8 novembre 2002, à A._, X._, né en 1973 au Kosovo, a épousé Y._, ressortissante suisse née en 1957. Aucun enfant n'est issu de cette union.
Par requête du 28 mai 2006, X._ a demandé la naturalisation facilitée qu'il a obtenue le 28 décembre 2006, après avoir co-signé avec son épouse le 4 décembre 2006 une déclaration confirmant la stabilité et l'effectivité de leur communauté conjugale. La décision d'octroi de la nationalité est entrée en force le 29 janvier 2007.
Le 7 octobre 2008, les époux ont déposé une requête commune de divorce, assortie d'une convention sur les effets accessoires conclue le 4 octobre 2008. Le divorce a été prononcé le 30 janvier 2009 et est entré en force le 25 février suivant. Le 13 août 2009, Z._, ressortissante kosovare née en 1977, a déposé une demande de visa pour venir vivre auprès de X._ dans le cadre du regroupement familial. Ils se sont mariés le 16 avril 2010.
B.
Par courrier du 16 décembre 2009, l'Office fédéral des migrations (ODM) a informé X._ qu'il devait examiner s'il y avait lieu d'annuler la naturalisation facilitée, compte tenu de la conclusion de son mariage alors qu'il était sous le coup d'une décision négative en matière d'asile assortie d'un renvoi de Suisse, de la différence d'âge entre les époux, de la signature de la déclaration commune le 4 décembre 2006, de la décision d'octroi de la naturalisation le 28 décembre 2006 et du divorce intervenu le 25 février 2009 déjà. X._ s'est déterminé à plusieurs reprises par écrit (cf. les courriers du 15 janvier, du 26 février, du 27 mai, du 13 août, du 2 et du 10 septembre, du 2 et du 16 novembre, du 3 décembre 2010, du 21 janvier et du 15 février 2011) et a été entendu le 15 février 2010 par le Service des migrations neuchâtelois sur ses projets de mariage avec Z._. Il ressort en particulier de ses déclarations qu'il savait depuis longtemps que son ex-épouse ne pouvait plus avoir d'enfant; elle n'en désirait d'ailleurs pas, étant déjà mère de deux enfants majeurs. Il a également affirmé que son propre désir d'enfant n'était apparu qu'en 2007, notamment à la suite de la naissance de la fille d'un de ses cousins et de la présence d'un chiot dans son foyer. Il a affirmé que c'était sûrement à cause de l'impossibilité de le satisfaire sur cette question que son ex-épouse avait une image négative de leur relation de couple. Selon X._, il n'y avait aucun élément concret qui pouvait laisser sous-entendre des risques de violence de sa part ou de celle de sa famille. L'intéressé a encore relevé qu'il avait rencontré sa future seconde épouse en mars 2009 et qu'ils s'étaient fiancés au mois de juillet suivant. Par le biais de son mandataire, il a demandé plusieurs fois à consulter le dossier de la procédure, ainsi que l'audition en qualité de témoins de son ex-femme et de deux voisins. Sollicités par l'ODM, ces derniers se sont déterminés par écrit le 20, respectivement le 23 novembre 2010. Le premier a indiqué avoir eu l'impression que le couple formé par X._ et Y._ était harmonieux. Quant à la seconde, elle n'a pas désiré se prononcer sur le mariage de l'intéressé. Elle a en particulier relevé qu'elle ne savait qui croire entre X._ - qui lui demandait "une belle lettre en sa faveur" en oubliant sa violence - ou son ex-femme, avec qui elle s'est rendue à la police pour de tels actes, mais qui n'avait pas porté plainte. Elle a ajouté qu'elle avait "bien entendu" des disputes - en anglais, langue qu'elle ne comprenait pas bien -, mais "pas plus que chez d'autres voisins". Y._, dont une détermination écrite a également été requise, a refusé de s'exprimer par écrit sur son mariage, considérant celui-ci, ainsi que son divorce comme des épisodes douloureux (cf. le courrier du 8 novembre 2010). Elle a dit craindre en outre d' "éventuelles représailles" de la part de son ex-mari, ainsi que de la famille de celui-ci en Suisse et au Kosovo. Sur requête directe de l'avocat de l'intéressé, elle lui a adressé un courrier similaire le 13 février 2011.
Au cours de l'instruction, X._ a pu avoir accès au dossier, sous réserve de pièces confidentielles. Selon la note du 29 avril 2010, il ressortait de ces pièces que "l'intéressé avait [eu] un comportement violent et menaçant dans le cadre de son union conjugale" et qu'il "n'avait pas [eu] l'intention de fonder un foyer lors de son premier mariage".
Après avoir obtenu l'assentiment des autorités cantonales, l'ODM a, par décision du 3 juin 2011, annulé la naturalisation facilitée. Il a rejeté la requête d'audition de l'ex-épouse, considérant que la présomption de fait se dégageant du faisceau d'indices déjà recueillis ne serait pas remise en cause par le témoignage de celle-ci. L'enchaînement des faits, l'impossibilité connue d'avoir des enfants avec son ex-conjointe, les disputes et violences conjugales évoquées par leur voisine - éléments qui semblaient au surplus ressortir aussi des pièces confidentielles -, la crainte de son ex-femme de représailles et le désengagement économique au soutien de son foyer de X._ permettaient de retenir que son mariage n'était pas constitutif d'une communauté conjugale effective et stable au moment de la déclaration commune ou lors du prononcé de la naturalisation facilitée. Celle-ci avait donc été octroyée sur la base de déclarations mensongères, voire d'une dissimulation de faits essentiels.
C.
Par arrêt du 6 juin 2013, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre cette décision.
D.
Le 19 août 2013, X._ forme un recours en matière de droit public, concluant à l'annulation de l'arrêt du 6 juin 2013 et à la constatation que sa naturalisation n'est pas annulée.
Invités à se déterminer, l'ODM a en substance conclu au rejet du recours, tandis que l'autorité précédente a renoncé à prendre position. Le recourant n'a pas déposé d'observations complémentaires.

Considérant en droit:
1.
L'arrêt attaqué émane du Tribunal administratif fédéral et concerne l'annulation de la naturalisation facilitée accordée au recourant, si bien qu'il peut faire l'objet d'un recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'art. 83 let. b LTF n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce de la naturalisation facilitée et non pas de la naturalisation ordinaire. Pour le surplus, le recourant possède la qualité pour recourir au sens de l'art. 89 al. 1 LTF et le recours a été déposé en temps utile (art. 45, 46 et 100 al. 1 LTF). Les conditions de recevabilité étant remplies, il y a lieu d'entrer en matière.
2.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.).
2.1. Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, d'offrir des preuves pertinentes, d'obtenir qu'il y soit donné suite, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.2 p. 255; <ref-ruling> consid. 5.1 p. 293 et les arrêts cités).
2.2. Invoquant tout d'abord une violation des art. 26 ss PA (RS 172.021), le recourant soutient en substance que l'autorité précédente aurait fondé son raisonnement sur les pièces du dossier auxquelles il n'avait pas eu accès.
Le droit de consulter le dossier s'étend à toutes pièces décisives figurant au dossier (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 4c/cc p. 478; <ref-ruling> consid. 2a p. 227). L'art. 27 al. 1 let. b PA permet cependant à l'autorité de refuser la consultation de pièces si des intérêts privés importants, en particulier ceux des parties adverses, exigent que le secret soit gardé (cf. également <ref-ruling> consid. 2b p. 10; <ref-ruling> consid. 6a p. 161; <ref-ruling> consid. 2 p. 227 ss). Selon la jurisprudence, les intérêts opposés - soit, d'une part, le droit à la consultation et, d'autre part, le maintien du secret - doivent être pondérés (ATF <ref-ruling> consid. 6a p. 161) et le principe de proportionnalité respecté (<ref-ruling> consid. 5c p. 304). En vertu de l'art. 28 PA, une pièce dont la consultation a été refusée à une partie ne peut être utilisée à son désavantage que si l'autorité lui en a communiqué, oralement ou par écrit, le contenu essentiel se rapportant à l'affaire et lui a donné en outre l'occasion de s'exprimer et de fournir des contre-preuves (<ref-ruling> consid. 5c p. 304 s.).
En l'espèce, la juridiction précédente a estimé que les pièces litigieuses - dont le contenu essentiel a été communiqué de manière suffisante par l'ODM dans sa note du 29 avril 2010 - n'étaient pas décisives dans la présente cause. Il n'est ainsi fait aucune référence dans la décision attaquée à de possibles comportements violents du recourant; les arguments développés par ce dernier afin de démontrer l'absence de tels gestes de sa part sont dès lors dénués de toute pertinence (cf. en particulier ad let. e et f de son mémoire). Quant aux conclusions relatives au défaut de volonté de maintenir une union conjugale avec sa première épouse, elles résultent, ainsi que l'a clairement indiqué le Tribunal administratif fédéral, de l'enchaînement des événements, de la convention réglant les effets accessoires du divorce (cf. consid. 7.3.2 du jugement attaqué, p. 19 s.), des courriers du recourant du 15 janvier et du 26 février 2010 (cf. consid. 7.3.2 et 7.3.3 p. 19 s.) et de son mémoire de recours (cf. consid. 7.3.3 p. 20).
En conséquence, les pièces soustraites à la connaissance du recourant n'ont eu aucune influence sur l'issue du litige et il ne peut ainsi être reproché aux premiers juges d'avoir maintenu la protection conférée par l'art. 27 al. 1 PA à certaines pièces du dossier.
2.3. Le recourant reproche ensuite à l'instance précédente d'avoir refusé d'entendre son ex-épouse en qualité de témoin.
L'autorité de décision peut renoncer à l'administration de certaines preuves offertes, lorsque le fait dont les parties veulent rapporter l'authenticité n'est pas important pour la solution du cas, lorsque les preuves résultent déjà de constatations versées au dossier ou lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157; sur la notion d'arbitraire, voir <ref-ruling> consid. 6.1 p. 379 s.).
En l'espèce, l'ex-épouse du recourant a été formellement sollicitée par l'ODM au cours de la procédure afin qu'elle dépose des déterminations écrites. Or elle a clairement indiqué le 8 novembre 2010 ne pas vouloir s'exprimer sur son mariage et la procédure de naturalisation. Dès lors et au vu de l'importance du dossier, l'autorité pouvait légitimement retenir que l'audition de cette dernière n'apporterait aucun élément supplémentaire à ceux déjà recueillis, en particulier sur la base des nombreuses écritures du recourant, des courriers des deux voisins requis par ce dernier et du jugement de divorce. La juridiction précédente n'a donc pas procédé de manière arbitraire en rejetant la requête d'audition de l'ex-épouse du recourant.
2.4. En conséquence, le grief de violation du droit d'être entendu doit être écarté.
3.
Le recourant se plaint d'une violation de l'art. 41 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN ou loi sur la nationalité; RS 141.0).
3.1. Conformément à l'art. 41 al. 1 LN qui, sur le fond est identique à l'art. 41 LN dans sa teneur jusqu'au 1er mars 2011, l'ODM peut, avec l'assentiment de l'autorité du canton d'origine, annuler la naturalisation ou la réintégration obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels. L'art. 41 al. 1bis LN indique que la naturalisation ou la réintégration peut être annulée dans un délai de deux ans à compter du jour où l'office a pris connaissance des faits déterminants, mais au plus tard huit ans après l'octroi de la nationalité suisse. Un nouveau délai de prescription de deux ans commence à courir après tout acte d'instruction communiqué à la personne naturalisée. Les délais sont suspendus pendant la procédure de recours.
3.1.1. Pour qu'une naturalisation facilitée soit annulée, il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur : l'intéressé doit avoir donné sciemment de fausses informations à l'autorité ou l'avoir délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 3.1 p. 114 s. et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêts 1C_256/2012 du 22 novembre 2012 consid. 3.2.1; 1C_406/2009 du 28 octobre 2009 consid. 3.1.1 et l'arrêt cité).
La nature potestative de l'art. 41 al. 1 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire (sur cette notion, cf. <ref-ruling> consid. 6.1 p. 379 s., 393 consid. 4.3.1 p. 198), contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 403; <ref-ruling> consid. 4a p. 101 et les arrêts cités).
3.1.2. La notion de communauté conjugale suppose non seulement l'existence formelle d'un mariage, mais encore une véritable communauté de vie des conjoints; tel est le cas s'il existe une volonté commune et intacte de ceux-ci de maintenir une union conjugale stable; une séparation survenue peu après l'octroi de la naturalisation constitue un indice de l'absence de cette volonté lors de l'obtention de la citoyenneté suisse (<ref-ruling> consid. 2 p. 165; <ref-ruling> consid. 2 p. 484; <ref-ruling> consid. 3a p. 98 s.; <ref-ruling> consid. 2b p. 51 s.). En revanche, le fait qu'une ressortissante suisse et un ressortissant étranger contractent mariage afin notamment de permettre au conjoint étranger d'obtenir une autorisation de séjour ne préjuge pas en soi de la volonté des époux de fonder une communauté conjugale effective et ne peut constituer un indice de mariage fictif que si elle est accompagnée d'autres éléments troublants, comme une grande différence d'âge entre les époux (arrêt 5A.11/2006 du 27 juin 2006 consid. 3.1).
3.2. La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale du 4 décembre 1947 de procédure civile fédérale [PCF; RS 273], applicable par renvoi de l'art. 19 PA). Ce principe vaut également devant le Tribunal administratif fédéral (art. 37 LTAF [RS 173.32]). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet que l'autorité puisse se fonder sur une présomption pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime et difficiles à prouver (<ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 3.2 p. 485 s.). Si l'enchaînement rapide des événements fonde une telle présomption, c'est alors à l'administré qu'il incombe de la renverser (ATF <ref-ruling> consid. 3.2 p. 486). Il n'a pas besoin, pour cela, de rapporter la preuve contraire : il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire notamment en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple et, ainsi, l'existence d'une véritable volonté de maintenir une union stable avec son conjoint lorsqu'il a signé la déclaration (<ref-ruling> consid. 3 p. 165 s. et les arrêts cités).
3.3. Le Tribunal administratif fédéral a considéré que l'enchaînement relativement rapide des faits - rejet de la demande d'asile assortie d'un renvoi (8 février 2000), rencontre avec sa future épouse (automne 2001), mariage avec celle-ci (8 novembre 2002), requête de naturalisation facilitée (28 mai 2006), déclaration commune (4 décembre 2006), octroi de la nationalité (28 décembre 2006), dépôt d'une requête commune de divorce (7 octobre 2008), jugement de divorce (30 janvier 2009), rencontre de sa future seconde femme au Kosovo (mars 2009), fiançailles et demande de visa pour cette dernière en vue de son remariage (juillet 2009) - permettait de conclure que la communauté conjugale que le recourant formait avec sa première épouse n'était plus étroite et effective au moment de la signature de la déclaration commune et, à plus forte raison, au moment de la naturalisation. Pour les premiers juges, cette présomption était corroborée par le fait que la décision de se marier avait été prise alors que le recourant ne bénéficiait d'aucun titre de séjour, par la différence d'âge entre les époux (16 ans), le défaut de volonté du recourant de sauver son union, la constatation dans la convention sur les effets accessoires du divorce qu'il n'aurait "guère contribué au paiement des charges du ménage" et la célérité avec laquelle il avait rencontré sa future seconde épouse, puis entamé des démarches en vue du regroupement familial après son divorce.
Ce raisonnement ne prête pas le flanc à la critique. En effet, contrairement à ce que soutient le recourant, la présomption de fait que la naturalisation facilitée a été obtenue frauduleusement ne peut être exclue du seul fait que le couple n'aurait déposé sa requête commune en divorce (le 7 octobre 2008) que vingt-et-un mois après l'octroi de la nationalité (cf. notamment arrêts 1C_172/2012 du 11 mai 2012 consid. 2.2 [21 mois]; 1C_472/2011 du 22 décembre 2011 consid. 2.1.3 [20 mois]; 1C_158/2011 du 26 août 2011 consid. 4.3 [20 mois]).
En conséquence, les premiers juges n'ont pas violé le droit fédéral en retenant que la présomption de fait était réalisée.
3.4. Conformément à la jurisprudence précitée, il convient encore d'examiner si le recourant est parvenu à renverser cette présomption en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une dégradation aussi rapide du lien conjugale, soit l'absence de conscience de la gravité des problèmes de couple au moment de la signature de la déclaration commune.
En l'occurrence, les éléments avancés par le recourant ne permettent pas de démontrer que la communauté conjugale qu'il formait avec son ex-épouse postérieurement à l'octroi de la nationalité était stable et orientée vers un avenir commun. Il ne peut ainsi être tiré aucun argument des voyages effectués, faute d'indication temporelle précise à leur sujet (cf. notamment la photographie du couple à Paris) ou de preuve que le recourant aurait voyagé avec son ex-épouse (cf. le visa égyptien). Quant à la photographie alléguée prise au Kosovo en 2007, elle est en contradiction avec les déclarations mêmes du recourant qui affirme que son ex-femme ne s'y serait rendue que préalablement à leur mariage (cf. son courrier du 3 décembre 2010 p. 1 s.). Dès lors, le seul séjour à Hongkong au début février 2007 n'est pas suffisant pour remettre en cause les constatations de l'autorité précédente; au vu de sa date, il pourrait d'ailleurs avoir été planifié avant la réception de la décision d'octroi de la nationalité du 28 décembre 2006, a fortiori avant l'entrée en force de celle-ci au 29 janvier 2007. Enfin, les remarques figurant dans le rapport de police du 28 juillet 2006 établi dans la cadre de la procédure d'octroi de la nationalité ne garantissent pas que les relations du couple ne se soient pas dégradées dans les mois suivants.
Quant à l'envie de paternité alléguée depuis 2007 - soit la même année que celle de l'entrée en force de la décision d'octroi de la naturalisation -, elle ne peut avoir à elle seule provoqué la désunion du couple et permettre de renverser la présomption de fait. En effet, au moment du mariage en novembre 2002, le recourant n'ignorait ni l'âge de son épouse, ni son opinion sur la question d'une descendance commune. Il ne peut donc pas prétendre ne pas avoir été conscient que s'il entendait un jour fonder une famille, il devrait mettre un terme à cette union. Par conséquent, les premiers juges ont considéré avec raison que le recourant ne pouvait avoir la conviction que sa communauté conjugale était stable, effective et tournée vers l'avenir au moment de la signature de la déclaration commune ou de la décision de naturalisation.
3.5. Il en découle que les conditions d'application de l'art. 41 LN sont réunies et que l'instance précédente n'a pas violé le droit fédéral en confirmant l'annulation de la naturalisation facilitée qui avait été octroyée au recourant.
4.
Il s'ensuit que le recours est rejeté. Le recourant qui succombe supporte les frais de la présente procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 12 décembre 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Kropf