Faits: A. Entré illégalement en Suisse le 31 janvier 1996, A._, né en 1970, y a déposé le même jour une demande d'asile. Par décision du 18 avril 1996, l'Office fédéral des réfugiés (actuellement: l'Office fédéral des migrations; ci-après: l'ODM) a rejeté sa demande et prononcé son renvoi de Suisse. Le prénommé a quitté le pays le 24 janvier 1997. A._ est revenu illégalement en Suisse le 8 décembre 1997 pour y déposer une seconde demande d'asile. Par décision du 10 décembre 1999, l'ODM a également rejeté cette requête et prononcé son renvoi. Le 3 juillet 2000, l'ODM a prononcé à l'endroit de A._ une décision d'interdiction d'entrée valable jusqu'au 5 juillet 2003. Annoncé disparu le 3 juillet 2000, l'intéressé a finalement quitté la Suisse pour le Kosovo le 23 décembre 2000. B. Le 29 août 1997, A._ avait épousé au Kosovo B._, union dont est issu l'enfant C._, né le 23 décembre 1997, lequel est ultérieurement venu rejoindre son père en Suisse. Le divorce des époux A._ et B._ a été prononcé le 26 avril 2001, compte tenu de la "rupture irrémédiable des liens conjugaux et une vie conjugale insupportable". C. Le 28 mai 2001, A._ a contracté mariage au Kosovo avec D._, une ressortissante suisse née en 1980. Revenu en Suisse le 21 août 2001, il y a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Sur la base de son union avec une ressortissante suisse, A._ a introduit, le 31 juillet 2005, une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, le prénommé et son épouse ont contresigné, le 10 avril 2006, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Par décision du 26 mai 2006, l'ODM a accordé la naturalisation facilitée à A._. Le 23 septembre 2008, A._ et D._ ont déposé une requête commune en divorce auprès du Tribunal d'arrondissement de l'Est vaudois. Par jugement du 12 janvier 2009, le Tribunal précité a prononcé le divorce des époux A._ et D._. D. Le 23 janvier 2009, A._ a sollicité l'octroi d'un visa d'entrée en Suisse en faveur de son ex-épouse B._ et de l'enfant E._, né le 6 mars 2002 au Kosovo, qu'il a présenté comme le "demi-frère" de son fils C._. Le 6 avril 2009, B._ a déposé une demande d'autorisation d'entrée en Suisse pour elle et son fils E._, pour une visite d'un mois à A._. Cette demande a été rejetée par l'ODM le 9 septembre 2009, au motif que la sortie des intéressés de l'Espace Schengen à l'issue du séjour projeté n'apparaissait pas suffisamment garantie. Le 15 décembre 2009, B._ a déposé une nouvelle demande d'autorisation d'entrée en Suisse pour elle et son fils E._, cette fois-ci en vue d'un séjour durable auprès de A._. E. Informé du divorce des époux A._ et D._, le Service de l'état civil et des naturalisations du canton de Berne a dénoncé A._ à l'ODM. Par courrier du 26 février 2010, l'ODM a invité l'intéressé à se déterminer. Dans ses déterminations du 2 juillet 2010, A._ a relevé qu'il n'avait appris qu'en septembre 2009 qu'il était le père de l'enfant E._. Il a exposé en outre que son union avec D._ n'avait pas été un mariage de complaisance. Enfin, il a indiqué que ses projets de remariage avec son ex-épouse kosovare étaient motivés par la naissance de leur deuxième enfant E._ et par la nécessité, pour son fils aîné C._, de bénéficier de la présence de sa mère à ses côtés, compte tenu de ses problèmes de santé et de sa fragilité psychologique. Interrogée le 2 septembre 2010, D._ a déclaré avoir fait la connaissance de A._ à l'automne 1997, alors qu'il était requérant d'asile et l'avoir épousé après trois années de fréquentation. Elle a ensuite exposé que leur mariage s'était déroulé harmonieusement jusqu'au mois de septembre 2006, lorsque son ex-époux lui avait annoncé qu'il ne voulait pas avoir d'enfants, alors qu'il lui avait jusque-là laissé entendre le contraire, précisant qu'elle avait ensuite quitté le domicile conjugal au début de l'année 2007. D._ a indiqué enfin n'avoir appris qu'au début de l'année 2010 que son ex-époux avait eu un deuxième enfant et avoir été choquée de constater que A._ avait conçu cet enfant avec son ex-épouse kosovare alors qu'ils venaient de se marier. Par décision du 8 février 2011, l'ODM a prononcé l'annulation de la naturalisation facilitée de A._. F. A._ a porté sa cause devant le Tribunal administratif fédéral. Il a en particulier fait valoir qu'une certaine usure du couple avait abouti à sa séparation, que D._ était malade et que les premiers signes de cette maladie étaient apparus avant leur séparation. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 11 mai 2012. Il a considéré en substance que l'enchaînement chronologique des faits fondait la présomption que la naturalisation facilitée avait été obtenue frauduleusement, constaté que l'intéressé n'avait apporté aucun élément permettant de renverser cette présomption et considéré que le mariage de A._ n'était pas constitutif d'une communauté conjugale effective et stable à la date de la déclaration écrite du 10 avril 2006 ou lors du prononcé de la naturalisation. G. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal administratif fédéral du 11 mai 2012 en ce sens qu'il conserve sa nationalité suisse, la décision de l'ODM du 8 février 2011 étant annulée. Subsidiairement, il conclut à ce que le dossier soit renvoyé à l'ODM pour nouvelle instruction et décision dans le sens des considérants. Le Tribunal administratif fédéral renonce à prendre position. L'ODM observe que le recours ne contient aucun motif permettant de remettre en question l'arrêt attaqué.