Faits:
A. Entré illégalement en Suisse le 31 janvier 1996, A._, né en 1970, y a déposé le même jour une demande d'asile. Par décision du 18 avril 1996, l'Office fédéral des réfugiés (actuellement: l'Office fédéral des migrations; ci-après: l'ODM) a rejeté sa demande et prononcé son renvoi de Suisse. Le prénommé a quitté le pays le 24 janvier 1997.
A._ est revenu illégalement en Suisse le 8 décembre 1997 pour y déposer une seconde demande d'asile. Par décision du 10 décembre 1999, l'ODM a également rejeté cette requête et prononcé son renvoi.
Le 3 juillet 2000, l'ODM a prononcé à l'endroit de A._ une décision d'interdiction d'entrée valable jusqu'au 5 juillet 2003. Annoncé disparu le 3 juillet 2000, l'intéressé a finalement quitté la Suisse pour le Kosovo le 23 décembre 2000.
B. Le 29 août 1997, A._ avait épousé au Kosovo B._, union dont est issu l'enfant C._, né le 23 décembre 1997, lequel est ultérieurement venu rejoindre son père en Suisse. Le divorce des époux A._ et B._ a été prononcé le 26 avril 2001, compte tenu de la "rupture irrémédiable des liens conjugaux et une vie conjugale insupportable".
C. Le 28 mai 2001, A._ a contracté mariage au Kosovo avec D._, une ressortissante suisse née en 1980. Revenu en Suisse le 21 août 2001, il y a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial.
Sur la base de son union avec une ressortissante suisse, A._ a introduit, le 31 juillet 2005, une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, le prénommé et son épouse ont contresigné, le 10 avril 2006, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce.
Par décision du 26 mai 2006, l'ODM a accordé la naturalisation facilitée à A._.
Le 23 septembre 2008, A._ et D._ ont déposé une requête commune en divorce auprès du Tribunal d'arrondissement de l'Est vaudois. Par jugement du 12 janvier 2009, le Tribunal précité a prononcé le divorce des époux A._ et D._.
D. Le 23 janvier 2009, A._ a sollicité l'octroi d'un visa d'entrée en Suisse en faveur de son ex-épouse B._ et de l'enfant E._, né le 6 mars 2002 au Kosovo, qu'il a présenté comme le "demi-frère" de son fils C._.
Le 6 avril 2009, B._ a déposé une demande d'autorisation d'entrée en Suisse pour elle et son fils E._, pour une visite d'un mois à A._. Cette demande a été rejetée par l'ODM le 9 septembre 2009, au motif que la sortie des intéressés de l'Espace Schengen à l'issue du séjour projeté n'apparaissait pas suffisamment garantie.
Le 15 décembre 2009, B._ a déposé une nouvelle demande d'autorisation d'entrée en Suisse pour elle et son fils E._, cette fois-ci en vue d'un séjour durable auprès de A._.
E. Informé du divorce des époux A._ et D._, le Service de l'état civil et des naturalisations du canton de Berne a dénoncé A._ à l'ODM. Par courrier du 26 février 2010, l'ODM a invité l'intéressé à se déterminer.
Dans ses déterminations du 2 juillet 2010, A._ a relevé qu'il n'avait appris qu'en septembre 2009 qu'il était le père de l'enfant E._. Il a exposé en outre que son union avec D._ n'avait pas été un mariage de complaisance. Enfin, il a indiqué que ses projets de remariage avec son ex-épouse kosovare étaient motivés par la naissance de leur deuxième enfant E._ et par la nécessité, pour son fils aîné C._, de bénéficier de la présence de sa mère à ses côtés, compte tenu de ses problèmes de santé et de sa fragilité psychologique.
Interrogée le 2 septembre 2010, D._ a déclaré avoir fait la connaissance de A._ à l'automne 1997, alors qu'il était requérant d'asile et l'avoir épousé après trois années de fréquentation. Elle a ensuite exposé que leur mariage s'était déroulé harmonieusement jusqu'au mois de septembre 2006, lorsque son ex-époux lui avait annoncé qu'il ne voulait pas avoir d'enfants, alors qu'il lui avait jusque-là laissé entendre le contraire, précisant qu'elle avait ensuite quitté le domicile conjugal au début de l'année 2007. D._ a indiqué enfin n'avoir appris qu'au début de l'année 2010 que son ex-époux avait eu un deuxième enfant et avoir été choquée de constater que A._ avait conçu cet enfant avec son ex-épouse kosovare alors qu'ils venaient de se marier.
Par décision du 8 février 2011, l'ODM a prononcé l'annulation de la naturalisation facilitée de A._.
F. A._ a porté sa cause devant le Tribunal administratif fédéral. Il a en particulier fait valoir qu'une certaine usure du couple avait abouti à sa séparation, que D._ était malade et que les premiers signes de cette maladie étaient apparus avant leur séparation.
Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 11 mai 2012. Il a considéré en substance que l'enchaînement chronologique des faits fondait la présomption que la naturalisation facilitée avait été obtenue frauduleusement, constaté que l'intéressé n'avait apporté aucun élément permettant de renverser cette présomption et considéré que le mariage de A._ n'était pas constitutif d'une communauté conjugale effective et stable à la date de la déclaration écrite du 10 avril 2006 ou lors du prononcé de la naturalisation.
G. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal administratif fédéral du 11 mai 2012 en ce sens qu'il conserve sa nationalité suisse, la décision de l'ODM du 8 février 2011 étant annulée. Subsidiairement, il conclut à ce que le dossier soit renvoyé à l'ODM pour nouvelle instruction et décision dans le sens des considérants.
Le Tribunal administratif fédéral renonce à prendre position. L'ODM observe que le recours ne contient aucun motif permettant de remettre en question l'arrêt attaqué.

Considérant en droit:
1. L'arrêt attaqué émane du Tribunal administratif fédéral et concerne l'annulation de la naturalisation facilitée accordée au recourant, si bien qu'il peut faire l'objet d'un recours en matière de droit public (art. 82 let. a et 86 al. 1 let. a LTF). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, puisqu'il s'agit de naturalisation facilitée et non pas de naturalisation ordinaire. Il ne fait pas de doute que le recourant est particulièrement atteint par la décision attaquée et qu'il possède la qualité pour recourir au sens de l'<ref-law>. Pour le surplus, les conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2. A titre de moyen de preuve, le recourant sollicite l'audition de son ex-épouse. Il n'y a toutefois pas lieu de donner suite à cette requête, dès lors que le Tribunal fédéral s'estime suffisamment renseigné pour statuer en l'état du dossier.
3. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus par l'<ref-law>. Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées.
Le recourant résume, au début de son mémoire, les faits essentiels de la procédure, tout en apportant des précisions aux éléments retenus dans l'arrêt attaqué. Une telle argumentation, dans la mesure où elle s'écarte des faits établis dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322). Par ailleurs, il n'y a pas lieu d'entrer en matière sur les éventuelles critiques du recourant relatives aux constatations de fait, dans la mesure où elles ne sont jamais motivées sous l'angle de l'arbitraire. Il s'ensuit que le Tribunal fédéral est lié par les faits retenus dans l'arrêt attaqué, conformément à l'<ref-law>.
4. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu. Il reproche à l'ODM d'avoir procédé à l'interrogatoire de son ex-épouse sans qu'il puisse y assister et estime que le Tribunal administratif fédéral aurait dû ordonner l'audition de cette dernière.
4.1 Le droit d'être entendu, tel qu'il est garanti à l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 2.2 p. 504 s.; <ref-ruling> consid. 2b p. 56 et les arrêts cités).
L'autorité de décision peut se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17).
4.2 En l'espèce, l'arrêt attaqué indique que le recourant a été averti par écrit de l'audition de son ex-épouse et de la possibilité qu'il avait d'y assister. Il ne ressortait pas du dossier qu'il avait exprimé sa volonté d'être présent lors de cette audition, laquelle s'était déroulée près d'un mois et demi après que la date lui avait été communiquée. A cela s'ajoutait que l'ODM avait transmis au recourant le procès-verbal de l'audition en question le 2 septembre 2010 et lui avait donné la possibilité de faire part de ses déterminations à ce sujet. L'intéressé avait déposé ses observations le 9 décembre 2010, sans invoquer avoir été privé de la possibilité d'assister à cette audition, ni demander à ce que son ex-épouse soit réentendue dans le cadre d'une nouvelle audition à laquelle il pourrait assister et poser des questions complémentaires, ni remettre en cause le contenu du procès-verbal. Ce n'était que dans son recours au Tribunal administratif fédéral du 16 mars 2011 qu'il avait pour la première fois soulevé le grief de violation du droit d'être entendu, alors qu'il lui appartenait de s'en prévaloir déjà au cours de la procédure ouverte devant l'ODM. Dans ces circonstances, le Tribunal administratif fédéral a considéré que, même si le recourant avait été empêché d'assister à l'audition, son grief était de toute façon tardif et devait être rejeté.
Le recourant ne fait pas valoir que le Tribunal administratif fédéral aurait constaté les faits de façon arbitraire; le Tribunal fédéral est dès lors lié par ceux-ci conformément à l'<ref-law> (cf. consid. 3 ci-dessus). C'est dès lors en vain que l'intéressé allègue, en contradiction avec l'arrêt attaqué, qu'il n'a pas pu assister à l'audition malgré son intention communiquée de le faire. Au surplus, il ne conteste pas que son grief était tardif. Sur le vu des éléments précités, l'on ne décèle pas de violation de son droit d'être entendu en relation avec l'audition de son ex-épouse par l'ODM. Son grief doit être rejeté sur ce point.
4.3 Le recourant reproche ensuite au Tribunal administratif fédéral de n'avoir pas donné suite à sa requête tendant à ordonner l'audition de son ex-épouse. Le Tribunal administratif fédéral a considéré qu'une telle audition était inutile, puisque d'éventuelles déclarations - même à supposer qu'elles soient diamétralement contraires à celles déjà faites devant l'ODM - ne changeraient rien à l'issue de la procédure. Le recourant n'explique pas en quoi cette motivation serait constitutive d'arbitraire, ce qui n'apparaît pas être le cas. Le Tribunal administratif fédéral pouvait dès lors, par une appréciation anticipée dénuée d'arbitraire, renoncer à ordonner l'audition requise. Le grief de violation du droit d'être entendu doit dès lors également être rejeté sous cet angle.
5. Conformément aux art. 41 al. 1 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN; RS 141.0), dans sa teneur jusqu'au 1er mars 2011, et 14 al. 1 de l'ordonnance du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (RS 172.213.1), l'Office fédéral des migrations peut, avec l'assentiment de l'autorité du canton d'origine, annuler dans les cinq ans une naturalisation facilitée obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels.
5.1 Pour qu'une naturalisation facilitée soit annulée, il ne suffit donc pas qu'elle ait été accordée alors que l'une ou l'autre de ses conditions n'était pas remplie; il faut qu'elle ait été acquise grâce à un comportement déloyal et trompeur. S'il n'est pas besoin que ce comportement soit constitutif d'une escroquerie au sens du droit pénal, il est nécessaire que l'intéressé ait donné sciemment de fausses informations à l'autorité ou qu'il l'ait délibérément laissée dans l'erreur sur des faits qu'il savait essentiels (<ref-ruling> consid. 3.1 p. 115 et les arrêts cités). Tel est notamment le cas si le requérant déclare vivre en communauté stable avec son conjoint alors qu'il envisage de se séparer une fois obtenue la naturalisation facilitée; peu importe que son mariage se soit ou non déroulé jusqu'ici de manière harmonieuse (arrêt 5A.22/2006 du 13 juillet 2006 consid. 2.2).
La nature potestative de l'art. 41 al. 1 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 115; <ref-ruling> consid. 4a p. 101 et les arrêts cités).
5.2 La procédure administrative fédérale est régie par le principe de la libre appréciation des preuves (art. 40 de la loi fédérale de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'<ref-law>). Ce principe vaut également devant le Tribunal administratif fédéral (<ref-law>). L'administration supporte le fardeau de la preuve lorsque la décision intervient, comme en l'espèce, au détriment de l'administré. Cela étant, la jurisprudence admet dans certaines circonstances que l'autorité puisse se fonder sur une présomption. C'est notamment le cas pour établir que le conjoint naturalisé a menti lorsqu'il a déclaré former une union stable, dans la mesure où il s'agit d'un fait psychique, lié à des éléments relevant de la sphère intime, souvent inconnus de l'administration et difficiles à prouver (<ref-ruling> consid. 3.2 p. 485). Partant, si l'enchaînement rapide des événements fonde la présomption de fait que la naturalisation a été obtenue frauduleusement, il incombe alors à l'administré, en raison non seulement de son devoir de collaborer à l'établissement des faits (<ref-law>; cf. <ref-ruling> consid. 3.2 p. 115 s.), mais encore dans son propre intérêt, de renverser cette présomption (<ref-ruling> consid. 3.2 p. 485 s.).
S'agissant d'une présomption de fait, qui ressortit à l'appréciation des preuves et ne modifie pas le fardeau de la preuve (cf. <ref-ruling> consid. 3.2 p. 486), l'administré n'a pas besoin, pour la renverser, de rapporter la preuve contraire du fait présumé, à savoir faire acquérir à l'autorité la certitude qu'il n'a pas menti; il suffit qu'il parvienne à faire admettre l'existence d'une possibilité raisonnable qu'il n'ait pas menti en déclarant former une communauté stable avec son conjoint. Il peut le faire en rendant vraisemblable, soit la survenance d'un événement extraordinaire susceptible d'expliquer une détérioration rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple au moment de la signature de la déclaration commune (<ref-ruling> consid. 3 p. 165 s.; arrêt 5A.12/2006 du 23 août 2006 consid. 2.3 et les arrêts cités).
6. 6.1 En l'espèce, le Tribunal administratif fédéral, confirmant la décision de l'ODM, a relevé que l'enchaînement des événements fondait la présomption de fait que A._ avait obtenu la naturalisation frauduleusement. En particulier, il apparaissait que l'intéressé, sous le coup de deux mesures de renvoi à la suite du rejet de ses demandes d'asile, avait entamé une relation avec une jeune fille de dix-sept ans qui a débouché sur un mariage lui permettant de régulariser sa situation en Suisse, et qu'il avait conçu un deuxième enfant avec son ex-épouse kosovare au moment même de son mariage avec D._, alors que le jugement de divorce du 26 avril 2001 mentionnait une rupture irrémédiable des liens conjugaux et une vie conjugale insupportable avec son ex-épouse. Au surplus, les démarches entreprises par son ex-épouse kosovare en vue d'un regroupement familial en Suisse avec celui qu'elle nomme son époux mettaient définitivement à jour les objectifs de l'intéressé et leur planification.
Cette présomption était corroborée par plusieurs autres indices. Le Tribunal administratif fédéral a ainsi souligné que le recourant s'était marié avec D._ un mois seulement après son divorce du 26 avril 2001 et qu'il était ensuite aussitôt retourné auprès de son ex-épouse kosovare pour entretenir des relations sexuelles avec elle, alors même que leur divorce venait d'être prononcé en raison d'une "vie conjugale insupportable", et qu'il venait d'épouser une Suissesse qui s'était déplacée au Kosovo pour leur mariage. Dans ce contexte, avec les juges précédents, on peut relever que l'argument avancé par le recourant, au demeurant peu crédible, selon lequel il aurait ignoré jusqu'en 2009 qu'il était le père de l'enfant E._, n'a guère de portée sur l'analyse des faits précités, dès lors qu'il ne remet nullement en cause le fait que l'intéressé avait conçu cet enfant presque simultanément à son mariage avec D._.
Enfin, il n'est pas contesté qu'après son divorce d'avec D._, intervenu par jugement du 12 janvier 2009, le recourant a sollicité, le 23 janvier 2009, l'octroi d'un visa d'entrée en Suisse pour B._ et son fils E._, étant précisé que son premier enfant C._ l'avait déjà rejoint dans l'intervalle. Cette démarche tend à confirmer les liens qu'il avait conservés avec son ex-épouse kosovare et son désir d'entreprendre rapidement une procédure lui permettant de venir en Suisse. A cela s'ajoute que, trois mois seulement après le rejet, le 9 septembre 2009, de la demande de visa d'entrée en Suisse de B._ (et de son fils E._), la prénommée a déposé, le 15 décembre 2009, une nouvelle demande d'autorisation d'entrée et de séjour en Suisse, cette fois-ci expressément formulée en vue d'un regroupement familial avec A._, requête qui ne laisse planer aucun doute sur ses relations avec celui-ci. L'argument du recourant, selon lequel le terme "Eheman" apparu dans cette demande résultait d'une incompréhension ou d'une erreur, n'est guère pertinent, dès lors que cette demande visait clairement la réunification familiale en Suisse de B._ avec A._, puisqu'une procédure en vue du (re)mariage des prénommés avait alors été ouverte.
Les éléments qui précèdent sont propres à fonder la présomption que la naturalisation du recourant a été obtenue frauduleusement. Il est en effet peu probable, dans les circonstances décrites, que celui-ci ait pu avoir la conviction que sa communauté matrimoniale était stable, effective et tournée vers l'avenir au moment de la signature de la déclaration commune le 2 avril 2006. Il importe peu à cet égard que les époux A._ et D._ aient vécu en bonne harmonie durant la période de leur mariage et ce jusqu'en septembre 2006, comme le soutient le recourant. Ce dernier ne peut au demeurant être suivi lorsqu'il affirme que l'ODM a posé sa présomption en se fondant essentiellement sur des faits intervenus après la décision de naturalisation, ceci étant contredit par les éléments relevés ci-dessus. Au surplus, on peut souligner que le temps écoulé entre la déclaration de vie commune et la séparation définitive des époux (environ dix mois) est de loin inférieur à ce qui est généralement admis dans ce domaine (cf. arrêt 1C_172/ 2012 du 11 mai 2012 consid. 2.3 et les arrêts cités).
6.2 Selon la jurisprudence précitée (cf. consid. 5.2 ci-dessus), il incombait dès lors au recourant de renverser cette présomption en rendant vraisemblable, soit la survenance d'un événement extraordinaire, susceptible d'expliquer une dégradation aussi rapide du lien conjugal, soit l'absence de conscience de la gravité de ses problèmes de couple au moment de la signature de la déclaration commune.
Le recourant explique que le motif essentiel justifiant la dégradation de son couple est qu'il aurait affirmé à son ex-épouse, en septembre 2006, ne pas vouloir d'enfants avec elle. Cette décision serait liée au fait que son ex-épouse était malade. Il précise que cette maladie (dépression, stress, maux de tête et autres symptômes neurologiques) s'est déclarée en novembre 2006. Le recourant estime qu'il a ainsi suffisamment démontré que les problèmes conjugaux n'étaient pas connus de lui au moment où il a déposé sa demande de naturalisation et lorsque celle-ci lui a été octroyée. Le Tribunal administratif fédéral a toutefois relevé que l'évocation de la maladie de D._ comme éventuelle cause de la désunion était intervenue à un stade très avancé de la procédure et n'était guère crédible. Le recourant avait plutôt évoqué dans son mémoire de recours devant l'instance précédente la probabilité qu'une "certaine usure relative à des thèmes (comme les relations familiales et le sujet concernant d'éventuels enfants) plus sensibles se soit installée au fil des années, laquelle ait pu conduire les époux à décider de finalement divorcer". Il décrivait là plutôt un phénomène progressif qui avait débuté avant la décision de naturalisation facilitée. Dans ces circonstances, il apparaît que le recourant n'a pas réussi à rendre vraisemblable la survenance d'un événement extraordinaire susceptible d'expliquer une dégradation aussi rapide du lien conjugal et que les éléments avancés ne permettent pas de renverser la présomption établie.
Il en découle que les conditions d'application de l'art. 41 LN sont remplies et que le Tribunal administratif fédéral n'a pas abusé de son pouvoir d'appréciation en confirmant l'annulation de la naturalisation facilitée octroyée au recourant.
7. Il résulte de ce qui précède que le recours doit être rejeté, aux frais du recourant qui succombe (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 27 septembre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard