Faits:
A. A.a Le 28 août 2006, Mme B.A._ a déposé une demande unilatérale en divorce contre M. A.A._ auprès du Tribunal civil du district de Neuchâtel. Par jugement du 9 mars 2010, ce tribunal a notamment condamné l'époux à verser à Mme B.A._ 310'075 fr. 35 plus intérêts à 5% l'an dès le jour du jugement à titre de soulte dans la liquidation du régime matrimonial.
A.b Le 19 avril 2010, M. A.A._, représenté par un avocat, a déposé un appel contre ce jugement, auprès de la Cour civile du Tribunal cantonal de Neuchâtel.
Le 19 janvier 2012, la IIe Cour civile du Tribunal cantonal a rendu son jugement. Quant à la recevabilité de l'appel, elle a jugé que l'entrée en vigueur du Code de procédure civile fédéral "n'[avait] pas d'incidence sur la présente procédure", dès lors que les recours alors pendants étaient régis par l'ancien droit et que les anciennes autorités judiciaires restaient compétentes dans la mesure nécessaire à l'application du droit fédéral, conformément à l'art. 85 OJN. Quant au fond de la cause, elle a partiellement admis l'appel et condamné M. A.A._ à payer à son épouse 251'075 fr. 35 plus intérêts à 5% l'an dès le 9 mars 2010 à titre de soulte dans la liquidation du régime matrimonial. Quant aux voies de recours, elle a indiqué que "[l]e présent jugement peut faire l'objet d'un appel, dans les 30 jours dès sa notification (<ref-law>), auprès de la Cour civile du Tribunal cantonal (art. 84 al. 2 OJN). Le mémoire d'appel doit être motivé et accompagné du jugement entrepris".
A.c Le 24 février 2012, M. A.A._, représenté par un avocat, a interjeté contre ce jugement un appel auprès du Tribunal cantonal neuchâtelois, Cour civile. Par arrêt du 22 juin 2012, la Cour d'appel civile du Tribunal cantonal a déclaré cet appel irrecevable.
B. Par mémoire posté le 24 juillet 2012, M. A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à ce qu'il soit statué au sens des considérants de son appel du 24 février 2012, en donnant droit à ses conclusions et, subsidiairement, à ce que la cause soit renvoyée à l'autorité cantonale pour qu'elle statue au sens des considérants. Il se plaint de la violation des art. 5 al. 3 et 9 Cst.
Des observations n'ont pas été requises.

Considérant en droit:
1. 1.1 Le recours est dirigé en temps utile (<ref-law>) et dans la forme prévue par la loi (<ref-law>) contre une décision d'irrecevabilité. Il s'agit d'une décision finale, au sens de l'<ref-law>, dès lors qu'elle conduit à la clôture définitive de l'instance pour un motif tiré des règles de procédure (<ref-ruling> consid. 1.1; arrêts 4A_630/2011 du 7 mars 2012 consid. 1, non publié in <ref-ruling>; 5A_704/2011 du 23 février 2012 consid. 1.1, non publié in <ref-ruling>, publié in Pra 2012 (72) 485). Sur le fond, elle a pour objet un divorce, soit une décision prise en matière civile (<ref-law>), et elle a été rendue par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>). L'affaire est de nature pécuniaire, étant donné que seule la liquidation du régime matrimonial était encore litigieuse devant l'instance cantonale de recours; sa valeur litigieuse atteint 30'000 fr. (<ref-law>). Le recourant, qui a en outre pris part à la procédure devant l'autorité précédente, est particulièrement touché par la décision attaquée, qui a déclaré son appel irrecevable, et a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>).
1.2 Des conclusions sur le fond du litige ne sont en principe pas admissibles contre une décision d'irrecevabilité. La raison en est que, sauf exceptions non réalisées en l'espèce (not. arrêt 5A_194/2012 du 8 mai 2012 consid. 5 et les références), le Tribunal fédéral vérifie dans une telle situation uniquement si c'est à bon droit que l'instance précédente n'est pas entrée en matière sur le recours interjeté; il n'examine donc pas le fond de la contestation (<ref-ruling> consid. 1.3; arrêt 5A_704/2011 du 23 février 2012 consid. 1.2, non publié in <ref-ruling>). En cas d'admission du recours, il ne réforme pas la décision attaquée mais l'annule et renvoie la cause à l'instance précédente pour qu'elle entre en matière sur le recours ou l'appel (arrêt 4A_330/2008 du 27 janvier 2010 consid. 2.1, non publié in <ref-ruling>, publié in JdT 2011 II 323).
En l'espèce, la conclusion principale du recourant, tendant à la réforme de l'arrêt attaqué dans le sens des conclusions prises dans son mémoire d'appel cantonal est donc irrecevable. En revanche, il convient d'entrer en matière sur sa conclusion subsidiaire, tendant au renvoi de la cause pour nouvelle décision, dont on comprend qu'elle suppose au préalable que la décision attaquée soit annulée.
1.3 Le recours en matière civile est donc, en principe, recevable.
2. 2.1 Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2). Néanmoins, il ne connaît de la violation des droits fondamentaux - notion qui englobe les droits constitutionnels (<ref-ruling> consid. 2) - que si ce grief a été soulevé et motivé (<ref-law>; <ref-ruling> consid. 3.2; <ref-ruling> consid. 1.4.2). Si le recourant se plaint de la violation de tels droits, il doit ainsi satisfaire au principe d'allégation, en indiquant précisément quelle disposition constitutionnelle ou légale a été violée et en démontrant, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 3.2; <ref-ruling> consid. 1.4; <ref-ruling> consid. 1.4.2).
2.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>).
3. 3.1 L'autorité cantonale a jugé que l'appel était soumis aux règles du Code de procédure civile du 19 décembre 2008 (ci-après: CPC, RS 272), dès lors que la décision attaquée avait été notifiée aux parties le 25 janvier 2012. Elle a retenu que, selon l'<ref-law>, seules les décisions de première instance cantonale étaient susceptibles d'un appel, ce qui n'était à l'évidence pas le cas du jugement entrepris, rendu par la IIe Cour civile du Tribunal cantonal, statuant à trois juges en application de l'art. 85 de la loi d'organisation judiciaire neuchâteloise du 27 janvier 2010 (ci-après: OJN, RSN 161.1), sur appel dirigé contre une décision de première instance. De plus, elle a relevé que l'autorité précédente avait statué conformément aux art. 398 ss de l'ancien code de procédure civile neuchâtelois du 30 septembre 1991 (ci-après: aCPCN, aRSN 251.1), qui autorisaient l'invocation de faits et moyens de preuve nouveaux comme l'art. 138 al. 1 aCC l'imposait, de sorte que le double degré de juridiction cantonale avait été garanti. Elle a alors considéré que l'appel de l'<ref-law> n'était pas ouvert contre le jugement du 19 janvier 2012. L'autorité cantonale a ensuite ajouté que la décision attaquée était certes désignée comme étant un "jugement" au lieu d'un arrêt et indiquait une voie de recours erronée. Toutefois, cette dénomination ne pouvait aucunement prêter à confusion puisque tant la description des faits que la motivation en droit confrontaient l'avis de l'autorité de recours au jugement de première instance. Par ailleurs, l'indication erronée des voies de recours ne saurait ouvrir une voie de droit inexistante. De plus, seul celui qui était protégé dans sa bonne foi pouvait se prévaloir de cette erreur. Enfin, l'autorité cantonale a exposé que, certes, selon l'art. 84 des dispositions transitoires de l'OJN, les causes pendantes devant les Cours civiles du Tribunal cantonal à l'entrée en vigueur de la présente loi, et dans lesquelles l'instruction a été clôturée, sont jugées par le juge chargé de son instruction, statuant seul (al. 1). Ses jugements peuvent faire l'objet d'un appel devant la nouvelle Cour civile (al. 2). Néanmoins, c'était à tort que le recourant se prévalait de cette norme, puisque l'application de celle-ci était limitée aux affaires pendantes selon l'ancien droit de procédure civile neuchâteloise devant l'une des cours civiles du Tribunal cantonal saisie directement, ce qui n'était pas le cas en l'espèce: l'autorité qui avait statué le 19 janvier 2012 était déjà la deuxième instance cantonale, appliquant les règles de l'appel au sens des art. 398 ss aCPCN, soit avec un examen complet en fait et en droit. La cour a alors conclu qu'un appel cantonal contre un "jugement" cantonal sur appel ne pouvait qu'être irrecevable.
3.2 Le recourant se plaint de la violation des art. 5 al. 3 et 9 Cst. Tout d'abord, il explique que la décision du 19 janvier 2012 avait été dénommée "jugement" au lieu d'"arrêt" et que le juge de cette décision, se référant à l'art. 84 al. 2 OJN, avait en outre indiqué qu'un appel dans les 30 jours auprès de la nouvelle Cour civile du Tribunal cantonal était ouvert. Il ajoute qu'il ressort des règles de droit transitoire du CPC que cette voie de recours était applicable à la cause. Il conclut que la voie de droit pour attaquer la décision était bien celle de l'appel auprès de la nouvelle Cour civile. Ensuite, le recourant soutient que, dans l'hypothèse où la voie de recours indiquée serait en fin de compte erronée, il faudrait alors appliquer les règles de la bonne foi qui imposent qu'il ne subisse aucun préjudice suite à l'indication erronée de la voie de droit. Il estime que la violation de l'art. 5 al. 3 Cst. est manifeste étant donné qu'il n'était pas possible, à la seule lecture de la loi, de comprendre que l'appel auprès de la Cour civile n'était pas ouvert et que son erreur n'était donc pas grossière. A l'appui de son propos, il expose que l'autorité cantonale n'a elle-même pas décelé immédiatement l'irrecevabilité de l'appel puisqu'elle a invité l'intimée à répondre, alors que l'<ref-law> ne prévoit d'échange d'écritures que si l'appel n'est pas manifestement irrecevable, rendu plusieurs ordonnances, adressé des courriers aux parties et mis plus de quatre mois pour rendre son jugement; par ailleurs, l'intimée n'a elle-même pas conclu à l'irrecevabilité de l'appel. Le recourant soutient que, en conséquence et par application analogique des principes de droit pénal, l'autorité incompétente doit transmettre d'office l'acte à l'autorité compétente et si l'acte à convertir ne remplit pas les conditions de l'acte dans lequel il devrait être converti, le justiciable doit se voir restituer le délai lui permettant de former un recours valable.
4. Le recourant soutenant que l'autorité cantonale a estimé à tort que l'appel interjeté devant elle était irrecevable, il s'agit en premier lieu de déterminer la voie de recours ouverte contre la décision rendue le 19 janvier 2012 (cf. infra consid. 4.2), en fonction du droit de procédure applicable à la cause (cf. infra consid. 4.1).
4. Le recourant soutenant que l'autorité cantonale a estimé à tort que l'appel interjeté devant elle était irrecevable, il s'agit en premier lieu de déterminer la voie de recours ouverte contre la décision rendue le 19 janvier 2012 (cf. infra consid. 4.2), en fonction du droit de procédure applicable à la cause (cf. infra consid. 4.1).
4.1 4.1.1 Le Code de procédure civile du 19 décembre 2008 (ci-après: CPC, RS 272) est entré en vigueur le 1er janvier 2011. Les procédures en cours à l'entrée en vigueur du CPC demeurent régies par l'ancien droit de procédure jusqu'à la clôture de l'instance (<ref-law>). L'<ref-law> précise toutefois que les recours sont régis par le droit en vigueur au moment de la communication de la décision aux parties. Cette dernière disposition soumet ainsi au nouveau droit les recours contre toutes les décisions si elles ont été communiquées - à savoir envoyées (<ref-ruling> consid. 2) - après son entrée en vigueur.
4.1.2 En l'espèce, le jugement de divorce rendu en première instance a été communiqué aux parties en 2010, soit avant l'entrée en vigueur du CPC, de sorte que l'ancien code de procédure civile neuchâtelois demeurait applicable à la procédure de recours, conformément à l'<ref-law>. En revanche, la décision sur appel de la IIe Cour civile, composée de trois juges, a été rendue et communiquée après le 1er janvier 2011, de sorte qu'il faut se référer au nouveau CPC (<ref-law>) pour déterminer s'il existe encore une voie de recours cantonale pour l'attaquer.
4.1.2 En l'espèce, le jugement de divorce rendu en première instance a été communiqué aux parties en 2010, soit avant l'entrée en vigueur du CPC, de sorte que l'ancien code de procédure civile neuchâtelois demeurait applicable à la procédure de recours, conformément à l'<ref-law>. En revanche, la décision sur appel de la IIe Cour civile, composée de trois juges, a été rendue et communiquée après le 1er janvier 2011, de sorte qu'il faut se référer au nouveau CPC (<ref-law>) pour déterminer s'il existe encore une voie de recours cantonale pour l'attaquer.
4.2 4.2.1 Depuis l'entrée en vigueur du CPC le 1er janvier 2011, qui a rendu effective cette exigence (<ref-law>), le droit fédéral consacre le principe du double degré de juridictions cantonales.
En effet, selon l'<ref-law>, le recours en matière civile au Tribunal fédéral, comme d'ailleurs le recours constitutionnel subsidiaire (<ref-law>), ne sont recevables que contre une décision cantonale de dernière instance (<ref-law>), prise par un tribunal supérieur (art. 75 al. 2 1ère ph. LTF) et, sauf exceptions expresses, rendue sur recours (art. 75 al. 2 2e phrase LTF; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2). La décision attaquée doit donc obligatoirement avoir été déférée devant l'instance cantonale supérieure avant d'être portée devant le Tribunal fédéral. Par ailleurs, selon les art. 308 et 319 CPC, l'appel et le recours ne sont recevables que contre les décisions de première instance. Hormis la révision (<ref-law>), l'interprétation et la rectification (<ref-law>), il n'y a donc pas de (seconde) voie de recours cantonale pour attaquer la décision rendue sur appel par le tribunal supérieur. Enfin, les art. 100 al. 6 et 111 al. 3 2e phr. LTF ont été abrogés. Le droit cantonal, auquel il revient uniquement de légiférer sur l'organisation judiciaire (cf. <ref-law>), ne peut pas modifier cette articulation des voies de recours, sauf à violer le principe de la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.).
4.2.2 En l'espèce, la décision du 19 janvier 2012, rendue sur appel par le tribunal supérieur du canton de Neuchâtel, devait donc être attaquée devant le Tribunal fédéral.
Dans la mesure où le recourant invoque le droit transitoire de la loi d'organisation judiciaire neuchâteloise du 27 janvier 2010 (RSN 161.1) pour soutenir qu'un second appel cantonal était ouvert, il méconnaît le principe de la force dérogatoire du droit fédéral, l'articulation des recours relevant désormais du droit de procédure fédéral et non de l'organisation judiciaire réservée aux cantons.
Le grief du recourant doit donc être rejeté.
5. Il reste à examiner si, comme le soutient le recourant en se prévalant de sa bonne foi, l'autorité cantonale a violé le droit fédéral en rendant une décision d'irrecevabilité malgré l'indication erronée de la voie de recours dans la décision rendue sur appel.
5.1 On déduit du principe général de la bonne foi consacré à l'art. 5 al. 3 Cst. que les parties ne doivent subir aucun préjudice en raison d'une indication inexacte des voies de droit. Seul peut toutefois bénéficier de la protection de la bonne foi celui qui ne pouvait pas constater l'inexactitude de la voie de droit indiquée, même avec la diligence qu'on pouvait attendre de lui (<ref-ruling> consid. 8.3.2; <ref-ruling> consid. 1.3.1). Il s'agit d'un principe général, dont le champ d'application n'est pas limité aux lois le consacrant expressément (cf. not. <ref-law>; <ref-ruling> consid. 8b; <ref-ruling> consid. 1c; <ref-ruling> consid. 3c).
Cependant, une fausse indication ne saurait créer une voie de droit inexistante (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1c; arrêt 4D_82/2012 du 30 octobre 2012 consid. 2.2).
Dans certains cas, l'autorité incompétente peut en revanche devoir transmettre d'office le recours à l'autorité compétente (ATF <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.6; <ref-ruling> consid. 8b; <ref-ruling> consid. 1c; arrêts 4A_578/2010 du 11 avril 2011 consid. 3, non publié in <ref-ruling>; 2D_89/2008 du 30 septembre 2008 consid. 3.1). Tel n'est toutefois pas le cas, lorsque, dans une cause civile, le tribunal cantonal supérieur estime que l'appel qui lui est adressé est irrecevable; il ne lui appartient ni de trancher la question de savoir si la bonne foi du justiciable doit être protégée en raison d'une notification irrégulière, ni, le cas échéant, de préserver la possibilité pour celui-ci de recourir. Les exigences de motivation et la cognition n'étant pas les mêmes devant l'instance de recours cantonale et l'instance de recours fédérale, le mémoire de recours cantonal ne saurait être simplement transmis au Tribunal fédéral. Aussi, l'autorité cantonale doit seulement rendre une décision d'irrecevabilité. Il reviendra au Tribunal fédéral de décider s'il entend entrer en matière sur le recours que lui soumettra, cas échéant, la partie qui se prévaut de sa bonne foi, en lui accordant une restitution de délai.
5.2 En l'espèce, l'autorité cantonale n'a donc pas violé le droit fédéral en rendant une décision d'irrecevabilité de l'appel. Contrairement à ce que soutient le recourant, il ne lui appartenait pas de transmettre le mémoire d'appel au Tribunal fédéral. Elle était en outre incompétente pour statuer sur une éventuelle restitution de délai.
Le grief du recourant doit être rejeté.
6. En conclusion, le recours est rejeté. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Aucun dépens n'est dû (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Neuchâtel, Cour d'appel civile.
Lausanne, le 21 décembre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Achtari