Faits:
A. A.a Dame A._, née en 1945, et A._, né en 1943, se sont mariés le 4 avril 1968 à Nidau (BE), sans conclure de contrat de mariage. Deux enfants, nés le 27 juillet 1968 et le 28 juin 1971, sont issus de cette union.
A.b Le 7 mai 1980, A._ a été inscrit au registre foncier comme propriétaire de l'immeuble formant la parcelle N° 5773 du cadastre de X._ (NE), en exécution d'un pacte d'emption passé le 22 janvier 1980. Le prix d'acquisition, s'élevant à 285'000 fr., a notamment été financé avec les économies réalisées par les époux A._ entre 1979 et 1980, alors qu'ils tenaient une boulangerie à Y._ (BE), ainsi que par le biais d'un crédit hypothécaire auprès de la Banque Cantonale Neuchâteloise, dont le mari est seul débiteur.
B. B.a Par ordonnance de mesures protectrices de l'union conjugale rendue le 11 novembre 2003, le président du Tribunal civil du district de Neuchâtel a autorisé les époux à vivre séparés, attribuant le domicile conjugal à l'épouse et fixant un délai au 31 décembre 2003 au mari pour le quitter. L'époux est parti à cette date et la vie commune n'a pas repris depuis lors.
B.b Le 19 janvier 2007, A._ a déposé une requête unilatérale en divorce devant le Tribunal civil du district de Neuchâtel, concluant notamment à ce que sa propriété sur l'immeuble soit reconnue, avec fixation d'une créance de l'épouse en liquidation du régime matrimonial et partage légal des prestations de sortie en matière de prévoyance professionnelle.
Le 3 avril 2007, dame A._ a déposé un mémoire d'acquiescement partiel, réponse et demande reconventionnelle, acquiesçant au prononcé du divorce ainsi qu'au partage de la prestation de sortie du mari et concluant reconventionnellement, notamment, à ce que l'immeuble de X._ lui soit attribué.
Les 26 mai, respectivement 4 juin 2009, les époux ont signé une convention réglant partiellement les effets accessoires du divorce et par laquelle chacune des parties reconnaissait devoir un montant de 132'140 fr. 85 à l'autre époux en cas d'attribution à son profit du bien immobilier litigieux.
Par jugement du 8 juin 2010, le Tribunal civil du district de Neuchâtel a notamment ratifié dite convention, prononcé le divorce des époux A._ et reconnu A._ comme seul propriétaire du bien-fonds N° 5773 du cadastre de X._.
B.c Statuant sur appel de dame A._, le Tribunal cantonal du canton de Neuchâtel a, par arrêt du 13 décembre 2011, partiellement réformé ledit jugement en ce sens qu'il a constaté notamment que les époux A._ étaient en réalité copropriétaires de l'immeuble formant la parcelle N° 5773 du cadastre de X._ (ch. 2), attribué celui-ci à dame A._ en application de l'art. 205 al. 2 CC et donné acte aux parties que dame A._ verserait à A._ la somme de 132'140 fr. 85 en contrepartie de cette attribution (ch. 3), dit que dame A._ sera seule débitrice, dans les rapports internes avec son ex-époux, de l'emprunt hypothécaire contracté auprès de la Banque Cantonale Neuchâteloise (ch. 4) et ordonné l'inscription au registre foncier de l'épouse comme seule propriétaire dudit immeuble à charge pour elle de supporter les frais de cette inscription (ch. 5).
C. Le 27 janvier 2012, A._ a formé un recours en matière civile auprès du Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à ce qu'il soit reconnu comme seul propriétaire de l'article 5773 du cadastre de X._; subsidiairement il conclut à l'annulation dudit arrêt et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. A l'appui de ses conclusions, il invoque la violation du droit fédéral au sens de l'art. 95 al. 1 let. a LTF et plus particulièrement des art. 9, 205 al. 2 et 937 al. 1 CC, ainsi que l'établissement arbitraire des faits au sens de l'art. 97 al. 1 LTF.
Invitées à se déterminer sur le recours, l'épouse a conclu à son rejet et l'autorité cantonale a renvoyé aux considérants de son arrêt.
Considérant en droit:
1. L'arrêt entrepris est une décision finale (art. 90 LTF), rendue en matière civile (art. 72 al. 1 LTF), dans une affaire de divorce dont seuls des effets accessoires (liquidation du régime de la copropriété), de nature pécuniaire et d'une valeur supérieure à 30'000 fr., sont litigieux (art. 74 al. 1 let. b LTF). Le recourant, qui a succombé en dernière instance cantonale, a qualité pour recourir (art. 75 al. 1 et 76 al. 1 LTF); il a en outre agi - compte tenu des féries de Noël - dans le délai (art. 46 al. 1 let. c et art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, de sorte que son recours est en principe recevable.
2. 2.1 Le Tribunal fédéral ne peut s'écarter des faits établis par l'autorité précédente que si ceux-ci ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte (art. 97 al. 1 LTF), à savoir arbitraire au sens de l'art. 9 Cst. (ATF 134 IV 36 consid. 1.4.1; 133 II 249 consid. 1.2.2), doit satisfaire au principe d'allégation (art. 106 al. 2 LTF; ATF 133 III 393 consid. 6; 133 III 638 consid. 2; 133 II 249 consid. 1.4.2). Il ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de la juridiction cantonale, mais doit démontrer, par une argumentation précise, que cette décision repose sur une appréciation des preuves manifestement insoutenable. Les critiques de nature appellatoire sont irrecevables (ATF 133 III 589 consid. 2 et les arrêts cités).
2.2 De jurisprudence constante, le Tribunal fédéral se montre réservé en matière d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (ATF 120 Ia 31 consid. 4b p. 40; 104 Ia 381 consid. 9 p. 399 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables; encore faut-il que la décision en soit viciée dans son résultat (ATF 129 I 8 consid. 2.1 p. 9; cf. aussi ATF 134 V 53 consid. 4.3 p. 62; 133 II 249 consid. 1.4.3 p. 254/255).
3. En substance, l'autorité cantonale a estimé que, malgré le fait que seul l'époux soit inscrit à titre de propriétaire de l'immeuble litigieux au registre foncier, la présomption de propriété qui en résultait devait toutefois être considérée comme renversée étant donné qu' "au vu du dossier et à la lumière du droit actuel des régimes matrimoniaux, [...] l'acquisition faite en 1980 constituait matériellement un acquêt en copropriété et [...] aurait dû être inscrit comme tel, sinon d'emblée, du moins avant l'ouverture du procès en divorce". Elle a ainsi retenu, en se fondant sur les déclarations des parties et des témoins, que les conjoints avaient acquis ce bien avec leurs économies communes et que seule la proposition du notaire, lui-même vraisemblablement influencé par l'état d'esprit propre au régime matrimonial légal de l'époque, à savoir l'union des biens, les avait conduits à faire inscrire le mari comme unique propriétaire du bien immobilier au registre foncier. Elle en a par conséquent déduit que l'art. 205 al. 2 CC, qui règle l'attribution préférentielle d'un bien appartenant en copropriété aux deux époux dans le cadre de la liquidation du régime matrimonial de la participation aux acquêts, était applicable en l'espèce. L'épouse pouvait se prévaloir à cet égard d'un intérêt prépondérant à l'attribution du bien, dans la mesure où elle avait toujours vécu dans l'immeuble depuis son acquisition il y a plus de trente ans et qu'elle y avait élevé ses enfants, qui y voyaient d'ailleurs un lieu de rencontres familiales et se déclaraient prêts à aider leur mère à supporter les charges de l'immeuble.
4. Le recourant reproche pour sa part à l'autorité cantonale d'avoir établi les faits de manière arbitraire dans la mesure où elle a retenu qu'elle disposait de suffisamment d'éléments pour considérer que l'inscription figurant au registre foncier ne correspondait pas à la volonté des époux et que ces derniers étaient en réalité copropriétaires de l'immeuble formant la parcelle N° 5773 du cadastre de X._. La juridiction cantonale aurait ainsi fait fi de la présomption de propriété résultant du registre foncier (art. 9 et 937 al. 1 CC), sans tenir compte de la déclaration de l'épouse selon laquelle elle aurait elle-même proposé que l'immeuble soit inscrit au seul nom du recourant, déclaration sur laquelle elle ne serait jamais revenue tout au long de la procédure. Le recourant estime dans un deuxième temps que le Tribunal cantonal a violé le droit fédéral dans la mesure où il a appliqué l'art. 205 al. 2 CC relatif à l'attribution d'un bien en copropriété à l'un des époux, alors même que cet article ne devait pas trouver application en l'espèce puisqu'il s'agit précisément d'un bien dont il a toujours été le propriétaire exclusif.
L'intimée soutient, quant à elle, en premier lieu, que le recours serait irrecevable dans la mesure où les conclusions du recourant seraient insuffisantes, celui-ci s'étant contenté de demander qu'il soit reconnu comme seul propriétaire de l'immeuble sans toutefois conclure à ce que celui-ci lui soit formellement attribué. Elle soutient en outre que les déclarations faites par le recourant devant les instances précédentes démontreraient que son inscription en tant qu'unique propriétaire avait eu lieu du seul fait de l'influence du notaire instrumentant mais ne correspondait cependant pas à la volonté des époux, qu'il était au surplus établi que la maison avait été achetée avec les économies communes des époux, que l'inscription du seul mari comme propriétaire était par conséquent une erreur qui ne correspondait pas à la réalité et que le fait pour l'épouse d'avoir allégué que l'achat du bien immobilier avait pu être effectué grâce au produit de leur travail démontrerait qu'elle considérait que l'acte d'acquisition était entaché d'un vice. Finalement, s'agissant de l'application de l'art. 205 al. 2 CC, elle soutient que le recourant se contente de contester l'application dudit article sans toutefois s'en prendre à l'examen objectif par la cour cantonale des intérêts respectifs des parties, appréciation qu'elle estime correcte.
5. Dans un premier grief, le recourant reproche à l'autorité cantonale d'avoir établi les faits de manière arbitraire en tant qu'elle a considéré que les époux étaient en réalité copropriétaires de l'immeuble litigieux.
5.1 Sauf déclaration contraire des époux (art. 9e Tit. fin. CC) ou exception de l'art. 11a Tit. fin. CC, non réalisées en l'espèce, les époux qui étaient soumis au régime de l'union des biens ont passé de par la loi sous le régime de la participation aux acquêts dans leurs rapports entre eux et avec les tiers au 1er janvier 1988 (art. 9b al. 1 Tit. fin. CC).
Selon l'art. 200 CC, quiconque allègue qu'un bien appartient à l'un ou à l'autre des époux est tenu d'en établir la preuve (al. 1); à défaut de cette preuve, le bien est présumé appartenir en copropriété aux deux époux (al. 2). Il s'agit d'une règle particulière de fardeau de la preuve, dès lors qu'elle détermine les conséquences de l'échec de la preuve de l'appartenance d'un bien à l'un des époux. Ainsi, il incombe à toute personne qui prétend qu'un bien déterminé est la propriété d'un époux et non de l'autre, de l'établir. Cette règle, qui découle de l'art. 8 CC, s'applique entre les époux, entre un époux et les héritiers de l'autre, ainsi qu'entre un époux et des tiers, notamment les créanciers du conjoint. La preuve des faits constitutifs du droit et, par suite, leur conséquence juridique (c'est-à-dire la propriété) peut être apportée par tous moyens: production de pièces, témoignages, expertises, inventaires. Pour le surplus, la preuve de la propriété est régie par les règles ordinaires, ce qui autorise le recours aux présomptions des art. 930 et 931 CC pour les choses mobilières et à celle de l'art. 937 CC pour les immeubles. Les présomptions tirées de la possession et du registre foncier l'emportent ainsi sur la présomption de copropriété de l'art. 200 al. 2 CC (ATF 117 II 124 consid. 2; arrêt 5A_28/2009 du 5 février 2010 consid. 4.2.1, publié in: FamPra.ch 2010 p. 420).
S'agissant en particulier des immeubles, les faits dont les inscriptions du registre foncier montrent l'existence bénéficient de la valeur probante accrue découlant de l'art. 9 CC (ATF 122 III 150 consid. 2b p. 155; arrêts 5A_28/2009 du 5 février 2010 consid. 4.2.1, publié in: FamPra.ch 2010 p. 420; 5A_352/2011 du 17 février 2012 consid. 5.1.2 destiné à la publication); il appartient à celui qui les conteste de démontrer leur inexactitude (PAUL-HENRI STEINAUER, Le titre préliminaire du Code civil in: Traité de droit privé suisse, vol. II/1, 2009, nos 747 ss). Le droit inscrit (c'est-à-dire la propriété de la personne inscrite) existe toutefois en vertu de la présomption de l'art. 937 al. 1 CC, qui est réfragable; il incombe dès lors à celui qui met en cause la propriété de la personne inscrite d'établir l'invalidité du titre d'acquisition (arrêts 5A_28/2009 du 5 février 2010 consid. 4.2.1, publié in: FamPra.ch 2010 p. 420; 5A_352/2011 du 17 février 2012 consid. 5.1.2 destiné à la publication). Une convention interne entre les conjoints, en vertu de laquelle l'un des époux n'entendait être propriétaire qu'à l'égard des tiers et renonçait à faire valoir son droit envers l'autre époux, est de nature à infirmer la validité de ce titre (arrêt 5A_137/2009 du 8 novembre 2011 consid. 3.4 et 3.5).
5.2 En l'espèce, il ressort des constatations de fait cantonales que le bien immobilier litigieux a été vendu par un tiers au mari uniquement, ce en exécution d'un pacte d'emption conclu entre eux; celui-ci a par conséquent été inscrit au registre foncier comme seul propriétaire de l'immeuble litigieux. Dans la mesure où l'autorité cantonale semble avoir déduit des faits de la cause que la volonté subjective des parties était différente de ce qui résultait du registre foncier, à savoir qu'elle a vraisemblablement considéré que les époux s'estimaient copropriétaires du bien dans leurs rapports internes alors que seul le recourant apparaissait comme propriétaire de l'immeuble à l'égard des tiers, elle a manifestement procédé à une constatation arbitraire des faits.
L'autorité cantonale ne pouvait en effet considérer comme déterminante l'influence du notaire, lui-même vraisemblablement inspiré par l'état d'esprit propre au régime matrimonial légal de l'époque, à savoir l'union des biens, puisqu'elle a retenu dans un même temps que l'intimée avait elle-même proposé que seul son époux soit inscrit en qualité de propriétaire, ce qui ressort au demeurant des pièces du dossier. Cette attitude démontre clairement que l'intimée avait alors pleinement adhéré aux motifs qui ont conduit à l'inscription du mari comme seul propriétaire du bien. Il était au même titre arbitraire de retenir comme pertinent le fait que le mari n'ait allégué aucun motif justifiant son inscription comme seul propriétaire, puisqu'en sa qualité d'intimé devant l'autorité de deuxième instance, il ne portait nullement le fardeau de l'allégation. Le fait que l'inscription du mari comme unique propriétaire ait ultérieurement suscité des disputes entre les époux n'est pas non plus décisif puisqu'il n'exclut pas que ce désaccord soit né seulement après la conclusion du contrat de vente et l'inscription du mari. Le désaccord subséquent de l'épouse ne permet en effet pas d'en déduire que sa volonté était viciée au moment de la conclusion du contrat. De même, la participation financière de l'épouse à l'acquisition du bien litigieux n'était à cet égard pas plus déterminante (arrêt 5A_28/2009 du 5 février 2010 consid. 4.2.2), contrairement à ce qu'elle soutient.
L'arrêt attaqué doit donc être annulé.
5.3 S'il dispose de tous les éléments nécessaires, le Tribunal fédéral statue lui-même sur le fond (art. 107 al. 2 LTF).
En l'espèce, l'épouse n'a jamais allégué la nullité (la simulation) du contrat de vente à la base de l'inscription. Une convention interne entre les conjoints en vertu de laquelle le mari n'entendait être propriétaire qu'à l'égard des tiers et renonçait à faire valoir son droit envers son épouse était nécessaire pour apporter la preuve d'une telle nullité. L'intimée n'a toutefois jamais soulevé et encore moins démontré qu'une convention aurait été conclue entre elle et son époux, se contentant de faire valoir dans son écriture en appel que l'immeuble devait lui être attribué en raison d'un droit à la valeur d'affection que représentait pour elle cette maison, fondant son argumentation pour l'essentiel sur une interprétation doctrinale large de l'art. 28 CC. Si elle s'était estimée également propriétaire du bien, mettant ainsi en cause la propriété exclusive de son époux, elle aurait agi sur la base de l'art. 975 CC, ce qu'elle n'a pas fait. On ne voit au surplus pas comment, du fait que l'intimée a allégué avoir participé financièrement à l'acquisition du bien, on pourrait déduire qu'elle aurait ainsi soutenu que l'acte d'acquisition serait entaché d'un vice, ce qu'elle semble prétendre dans sa réponse.
Il s'ensuit que la présomption de propriété résultant du registre foncier n'a pas été renversée valablement et que seule la personne inscrite, à savoir le recourant, doit être considérée comme propriétaire de l'immeuble formant la parcelle N° 5773 du cadastre de X._.
6. Le recourant invoque également une violation du droit fédéral et plus particulièrement de l'art. 205 al. 2 CC aux termes duquel "lorsqu'un bien est en copropriété, un époux peut demander, en sus des autres mesures prévues par la loi, que ce bien lui soit attribué entièrement s'il justifie d'un intérêt prépondérant, à charge de désintéresser son conjoint".
Au vu des développements qui précèdent et en conclusion desquels le recourant doit être reconnu comme seul propriétaire du bien litigieux, il n'y a pas lieu d'appliquer l'art. 205 al. 2 CC puisque les parties ne sont précisément pas copropriétaires dudit immeuble. Il n'y a donc pas à examiner dans quelle mesure l'intimée aurait pu avoir un intérêt prépondérant à l'attribution de ce bien, puisqu'une telle attribution présuppose la copropriété.
Par conséquent, contrairement à ce que soutient l'intimée, il n'était pas nécessaire que le recourant, en tant qu'unique propriétaire de l'immeuble, conclue formellement à son attribution, laquelle ne se justifie que lorsque plusieurs personnes sont en mesure de prétendre à l'attribution d'un bien, à savoir les deux époux dans le cas particulier de l'art. 205 al. 2 CC.
7. Au demeurant, compte tenu de la convention conclue d'un commun accord entre les parties et signée par elles en date des 26 mai et 4 juin 2009, et par laquelle chacune des parties reconnaissait devoir un montant de 132'140 fr. 85 à l'autre époux en cas d'attribution à son profit du bien immobilier litigieux, le recourant sera condamné à verser cette somme à l'intimée.
8. Vu ce qui précède, le recours doit être admis, l'arrêt attaqué annulé et réformé en ce sens que A._ est reconnu seul propriétaire de l'immeuble formant la parcelle N° 5773 du cadastre de X._. Il est donné acte aux parties que A._ versera à titre de contrepartie la somme de 132'140 fr. 85 à son ex-épouse. Les frais judiciaires seront supportés par l'intimée qui succombe (art. 66 al. 1 LTF). Celle-ci versera en outre au recourant une indemnité de dépens (art. 68 al. 1 LTF). La cause sera renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est réformé en ce sens que A._ est reconnu comme seul propriétaire de l'immeuble formant la parcelle N° 5773 du cadastre de X._ et est condamné à verser en contrepartie la somme de 132'140 fr. 85 à dame A._.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge de l'intimée.
3. Une indemnité de 4'000 fr., à verser au recourant à titre de dépens, est mise à la charge de l'intimée.
4. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5. Le présent arrêt est communiqué aux parties et à la IIe Cour civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 25 mai 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Hildbrand