Faits: A. Le 10 juin 1998, A._, ressortissant serbe, né au Kosovo en octobre 1980, est entré en Suisse et y a déposé le même jour une demande d'asile. Par décision du 28 décembre 1998, l'Office fédéral des réfugiés (actuellement: Office fédéral des migrations; ODM) a rejeté cette demande et prononcé le renvoi de Suisse de l'intéressé, lequel a ensuite été annoncé disparu le 26 octobre 2000. Revenu en Suisse le 23 décembre 2001 au bénéfice d'un visa en vue de mariage, A._ a épousé à Genève, le 1er février 2002, B._, ressortissante suisse née en 1962. Il a ensuite été mis au bénéfice d'une autorisation de séjour. Se fondant sur son mariage, A._ a introduit le 16 juin 2005 une demande de naturalisation facilitée au sens de l'art. 27 de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (LN, RS 141.0). Dans le cadre de l'instruction de cette requête, A._ et son épouse ont signé, le 27 septembre 2007, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. L'attention des intéressés a, en outre, été attirée sur le fait que la naturalisation facilitée ne pouvait être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des conjoints demandait le divorce ou la séparation ou que la communauté conjugale n'existait pas, et que si cet état de fait était dissimulé, la naturalisation facilitée pouvait ultérieurement être annulée. Par décision du 8 octobre 2007 l'ODM a accordé la naturalisation facilitée à A._, lui conférant ainsi les droits de cité de son épouse. B. Le 13 décembre 2007, A._ et B._ ont formé une requête commune en divorce auprès du Tribunal de première instance de Genève. Par jugement du 30 avril 2008, le Tribunal précité a prononcé le divorce des époux A._ et B._. Les autorités cantonales genevoises ont ultérieurement été informées de ce divorce et ont dénoncé A._ à l'ODM, estimant qu'il avait acquis la naturalisation facilitée de manière frauduleuse au vu du court laps de temps écoulé entre cette dernière et la séparation des époux, survenue le 1er décembre 2007, et leur divorce entré en force le 27 juin 2008. Dans le cadre de l'instruction, A._ a été invité à se déterminer sur cette question et n'a pas répondu. Le 17 novembre 2010, l'ODM a informé A._ qu'il avait requis l'audition de son ex-épouse sur les circonstances qui avaient entouré leur mariage et leur divorce et l'a invité à participer à l'audition. Le recourant n'a pas donné suite à cette invitation. Lors de son audition, B._ a précisé qu'elle avait épousé A._ afin de vivre avec lui dans des conditions légales, que le couple avait rencontré au printemps 2007 des difficultés conjugales liées à leurs différences de caractère et d'origine mais qu'elle avait spontanément signé la déclaration écrite relative à la stabilité de leur communauté conjugale. Interrogée sur le fait de savoir si un événement particulier serait survenu juste après la naturalisation de son ex-époux qui aurait justifié la remise en cause de la communauté conjugale, elle a répondu par la négative, précisant les causes de la séparation en ces termes: "c'était une coquotte minute qui s'est mise à chauffer. Il travaillait beaucoup et n'avait guère de temps pour nous". Le 8 décembre 2010, l'ODM a transmis à l'intéressé une copie du procès-verbal d'audition de son épouse lui donnant l'occasion de faire part de ses éventuelles déterminations. Le 13 janvier 2010 (recte 2011), A._ a entièrement corroboré les déclarations de son ex-épouse. Le canton de Lucerne a donné son assentiment à l'annulation de la naturalisation facilitée conférée à l'intéressé le 9 février 2011. C. Par décision du 11 février 2011, l'ODM a prononcé l'annulation de la naturalisation facilitée en se fondant sur l'art. 41 LN. Le 18 mars 2011, A._ a recouru contre cette décision auprès du Tribunal administratif fédéral, en concluant à son annulation. Il a allégué que l'ODM avait abusé de son pouvoir d'appréciation en considérant que son union n'était plus stable lors de la déclaration écrite des époux du 27 septembre 2007, en affirmant que le court laps de temps écoulé entre cette déclaration et leur séparation, le 13 décembre 2007, ne permettait pas, en tant que tel, de conclure que le couple n'envisageait plus une vie future partagée à la date de la signature de ce document. Il a également allégué que la nouvelle relation amoureuse de son épouse constituait l'événement extraordinaire qui expliquait la brusque fin de leur union. Le recourant a versé au dossier une déclaration écrite de son ex-épouse du 2 mars 2011 attestant qu'elle était tombée amoureuse d'un autre homme au mois de septembre 2007 et qu'après avoir tenté de sauver leur union, elle avait demandé à son époux de consentir à une requête commune en divorce, ce qu'il avait accepté. Le recourant a expliqué qu'il avait tenté durant trois mois de reconquérir son épouse et de sauver l'union conjugale, mais sans succès. D. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé par arrêt du 28 mars 2012. Il a estimé que l'enchaînement chronologique particulièrement rapide des faits et le laps de temps extrêmement court qui s'était écoulé entre l'octroi de la naturalisation facilitée et dépôt de la demande commune de divorce étaient de nature à fonder la présomption de fait que la stabilité du mariage n'existait déjà plus au moment de la déclaration commune. Il a en particulier considéré que l'allégation tardive de la relation amoureuse de l'ex-épouse n'était guère crédible dans la mesure où ni le recourant ni l'ex-épouse n'avaient évoqué ce fait dans la procédure de première instance. L'autorité précédente a souligné que même si la rupture avait été provoquée par la liaison de l'ex-épouse, l'instruction avait permis d'établir que ce fait était préexistant à la signature de la déclaration; dès lors la communauté conjugale était à l'évidence altérée lors de la signature de la convention. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral. Il se plaint d'une constatation arbitraire des faits ainsi que d'une violation de l'art. 41 LN. Le Tribunal administratif fédéral et l'ODM se sont brièvement déterminés.