Faits:
A. X._, ressortissant éthiopien né le *** 1982, a contracté mariage le 12 janvier 2006, à Addis Abeba, avec A._, ressortissante suisse née le *** 1980, divorcée et mère d'une fille issue d'une précédente union. Il est arrivé en Suisse le 23 juillet 2006 au bénéfice d'un visa d'entrée afin de pouvoir rejoindre son épouse. Le 26 juillet 2006, il a obtenu une autorisation de séjour au titre du regroupement familial dans le canton de Neuchâtel.
Par courrier du 22 janvier 2010, le Service des migrations du canton de Neuchâtel (ci-après: le Service des migrations) a informé X._ que, selon les informations à sa disposition (annonce de mutation du 11 décembre 2009), l'intéressé ne vivait plus de manière régulière avec son épouse et qu'il était dès lors amené à analyser les conditions de séjour de celui-ci dans le but de se prononcer sur une éventuelle révocation de l'autorisation de séjour. A la demande du Service des migrations, X._ a notamment produit, par courrier du 8 avril 2010, la convention de séparation signée avec son épouse le 24 novembre 2009 et le nouveau contrat de bail du 18 février 2009, relatif à un studio qu'il louait depuis le 1er mars 2009.
Le 22 décembre 2012, le Service des migrations a informé X._ qu'il était favorable à la poursuite du séjour en Suisse de celui-ci, sous réserve de l'approbation de l'Office fédéral des migrations. Dans sa détermination à cet Office, l'intéressé a indiqué que, bien que la convention de séparation signée le 24 novembre 2009 mentionnait que les époux s'étaient séparés au mois de mars 2009, ceux-ci avaient, en réalité, continué à former une communauté conjugale. Au demeurant, X._ a précisé qu'il travaillait, qu'il ne faisait pas l'objet de poursuites et qu'il était bien intégré.
Par décision du 23 février 2011, l'Office fédéral des migrations a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé le renvoi de Suisse. Il a retenu que la vie commune des époux avait duré moins de trois ans. En effet, l'intéressé, entré en Suisse le 23 juillet 2006, avait quitté le domicile conjugal en mars 2009 selon la convention du 24 novembre 2009. A ce titre, il n'avait pas rendu vraisemblable la nécessité de disposer de deux domiciles.
B. X._ a recouru le 21 mars 2011 contre la décision précitée auprès du Tribunal administratif fédéral. Il a fait valoir que c'était à tort que l'Office fédéral des migrations avait retenu que la vie commune avec son épouse avait pris fin en mars 2009, alors que les autorités neuchâteloises de police des étrangers avaient retenu comme date de la séparation du couple le 11 décembre 2009. Il a également relevé à ce sujet que, par courrier du 7 février 2011, il avait informé l'Office fédéral des migrations que la convention de séparation du couple du 24 novembre 2009 présentait "des inexactitudes" et a indiqué que c'était ainsi "par inadvertance" que le texte de la convention situait la séparation du couple au mois de mars 2009. Il a produit un courrier daté du 14 mars 2011, signé par son épouse, indiquant que la séparation avait été effective en novembre 2009 et a conclu à l'annulation de la décision de l'Office fédéral des migrations du 23 février 2011, ainsi qu'à l'ordonnance de mesures d'instruction supplémentaires pour clarifier la durée de l'union conjugale. Le 14 août 2012, le Tribunal administratif fédéral a rejeté le recours.
C. X._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre le jugement du Tribunal administratif fédéral. Outre l'effet suspensif, il requiert l'annulation de l'arrêt entrepris et le renvoi de la cause à l'Office fédéral des migrations pour complément d'instruction, le tout sous suite de frais et dépens.
Le Tribunal administratif fédéral a renoncé à prendre position sur le recours, alors que l'Office fédéral des migrations conclut à son rejet.
Par ordonnance du 9 octobre 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, l'union conjugale du recourant avec une ressortissante suisse ayant cessé d'exister, celui-ci ne peut pas déduire de droit à une autorisation de séjour de l'art. 42 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20).
L'art. 50 al. 1 LEtr subordonne la prolongation de l'autorisation de séjour à certaines conditions dont se prévaut le recourant. En pareilles circonstances, il convient d'admettre un droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF. Le point de savoir si c'est à juste titre que les autorités fédérales ont nié la réalisation des conditions de l'art. 50 LEtr relève du fond et non de la recevabilité (<ref-ruling> consid. 1.1 p. 179).
1.2 Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>). Il a été formé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il est recevable en tant que recours en matière de droit public. La voie du recours constitutionnel subsidiaire est, au demeurant, d'emblée fermée à l'encontre des arrêts du Tribunal administratif fédéral (cf. <ref-law>).
1.3 Le Service des migrations a fait parvenir au Tribunal fédéral une pièce du 25 janvier 2013 émise par le Service de l'état civil du canton de Neuchâtel. Il s'agit là d'une pièce nouvelle, postérieure à l'arrêt attaqué, que le Tribunal fédéral ne peut pas prendre en considération (<ref-law>).
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant aux art. 42 al. 2 et 106 al. 2 LTF. Aux termes de cette dernière disposition, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits ou principes constitutionnels violés et préciser en quoi consiste la violation (<ref-ruling> consid. 1.4 p. 176). En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente, à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>).
3. Le recourant invoque une violation de l'art. 50 al. 1 let. a LEtr. Il conteste que l'union conjugale ait duré moins de trois ans, ainsi que l'a retenu le Tribunal administratif fédéral.
3.1 Selon cette disposition, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie.
La notion d'union conjugale ne se confond pas avec celle du mariage. Alors que celui-ci peut être purement formel, l'union conjugale ("eheliche Gemeinschaft") implique en principe la vie en commun des époux, sous réserve des exceptions mentionnées à l'art. 49 LEtr (cf. <ref-ruling> consid. 3.1 et 3.2 p. 115 ss; voir également l'arrêt du Tribunal fédéral 2C_195/2010 du 23 juin 2010 consid. 3). Le Tribunal fédéral considère que le moment déterminant, pour calculer si la vie commune des époux a bien duré trois ans, est celui où les époux ont cessé d'habiter ensemble sous le même toit; de plus, la cohabitation doit avoir eu lieu en Suisse et non à l'étranger (cf. <ref-ruling> consid. 3.2 in fine et 3.3 p. 115 ss; cf. également les arrêts du Tribunal fédéral 2C_430/2011 du 11 octobre 2011 consid. 4.1 et 2C_721/2011 du 21 septembre 2011 consid. 4.1). La durée de trois ans vaut de façon absolue, quand bien même la fin de la vie conjugale serait intervenue quelques jours ou semaines seulement avant l'expiration de ce délai (cf., notamment, arrêt du Tribunal fédéral 2C_287/2011 du 5 avril 2011 consid. 2.1.2 in fine).
3.2 Arrêter la durée de l'union conjugale est une question de fait. En l'espèce, le Tribunal administratif s'est fondé sur des documents clairs figurant au dossier, notamment la convention de séparation rédigée et signée le 24 novembre 2009, mentionnant que le recourant avait quitté le domicile conjugal au mois de mars 2009. Ce document précisait encore que c'était la raison pour laquelle les époux "ont décidé de régler conventionnellement les modalités de leur vie séparée". De plus, il ressort du contrat de bail signé par le recourant le 18 février 2009, que celui-ci avait loué son propre appartement à Neuchâtel depuis le 1er mars 2009, appartement encore occupé au moment de l'arrêt du Tribunal administratif fédéral. Dans de telles circonstances, il n'y a aucun arbitraire à admettre que l'union conjugale a pris fin au mois de mars 2009 et non pas lors de l'annonce faite par le recourant au contrôle des habitants de la commune de Neuchâtel en décembre 2009. Pour le reste, les critiques factuelles du recourant sont de nature purement appellatoire. Il en va de même de l'argumentation relative à la loi neuchâteloise du 3 février 1998 sur le contrôle des habitants, dont le Tribunal fédéral ne reverrait l'application que sous l'angle du respect du droit constitutionnel. L'invocation de l'<ref-law>, relatif à la force probante des registres et, partant, de l'avis de mutation du 11 décembre 2009, ne lui est ici d'aucun secours, dans la mesure où le registre en cause ne fait que mentionner les avis de changement de domicile mais n'atteste nullement de la date à laquelle le domicile a été concrètement constitué. Ainsi, le grief d'appréciation manifestement inexacte des faits doit, en tant que recevable, être rejeté.
3.3 Dès lors que l'union conjugale a pris fin avant l'expiration du délai de trois ans prévu par l'art. 50 al. 1 let. a LEtr et que le recourant n'invoque nullement une application de l'art. 49 LEtr, son recours doit être rejeté.
4. Compte tenu de ce qui précède, le recours est rejeté dans la mesure où il est recevable.
Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations du canton de Neuchâtel, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 11 février 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon