Faits:
A. M. A.X._ (1947) et Mme B.X._ (1971) se sont mariés le 22 juillet 1996. Deux enfants sont issus de leur union: C._, né le 6 octobre 1996, et D._, né le 18 avril 2001.
Mme B.X._ est aussi la mère d'un fils, E._, né le 21 janvier 1992 d'une précédente union, et de jumeaux, nés en juillet 2011 de sa nouvelle relation.
Les parties se sont séparées dans le courant de l'été 2006.
B. Le 12 août 2008, Mme B.X._ a déposé une requête unilatérale de divorce, concluant à l'attribution de l'autorité parentale et de la garde des enfants; au versement d'une contribution d'entretien en faveur de chaque enfant, d'un montant de 1'600 fr. jusqu'à l'âge de 10 ans révolus, de 1'800 fr. jusqu'à l'âge de 16 ans, puis de 2'000 fr. jusqu'à leur majorité ou la fin de leur formation, mais jusqu'à l'âge de 25 ans au maximum; au versement d'une contribution d'entretien en sa faveur d'un montant de 3'800 fr. pour une durée indéterminée, subsidiairement jusqu'à ce que le fils cadet D._ atteigne l'âge de 15 ans révolus; au versement d'une contribution spéciale en cas de besoins extraordinaires, d'un montant que justice dira; à l'indexation des contributions d'entretien; au partage par moitié et au versement en sa faveur des prestations de sortie LPP de l'époux; et à la dissolution et la liquidation du régime matrimonial selon les modalités précisées en cours d'instance au moyen d'une expertise confiée à un notaire.
Le notaire Me Y._ a déposé son rapport sur la liquidation du régime matrimonial le 18 octobre 2010, proposant de le considérer comme liquidé par le versement du mari à l'épouse d'une somme de 44'041 fr. 75. Le 23 février 2011, la Présidente du Tribunal d'arrondissement a refusé d'ordonner le complément d'expertise requis par l'époux, portant sur la question d'un prêt de 320'000 fr. concédé au mari par sa mère, alors que le notaire a retenu que ce montant constituait une "distribution de revenus de biens propres, soit une distribution d'acquêts".
B.a Par ordonnance du 30 juin 2011, le Président du Tribunal d'arrondissement a rejeté la requête de mesures provisionnelles déposée le 13 avril 2011 par l'époux tendant notamment à ce que la garde des enfants lui soit attribuée. Cette décision a été confirmée en appel.
B.b Par jugement du 27 avril 2012, le Tribunal civil de l'arrondissement de Lausanne a prononcé le divorce des époux X._ (I); confié l'autorité parentale et le droit de garde des enfants à l'ex-épouse (II); octroyé à l'ex-mari un libre droit de visite sur les enfants, à défaut d'entente, son droit de visite s'exerçant le week-end et la moitié des vacances scolaires et jours fériés (III); condamné l'ex-mari à contribuer à l'entretien de chacun de ses enfants par le versement d'une pension mensuelle de 1'500 fr. jusqu'à l'âge de 15 ans révolus et de 1'600 fr. jusqu'à la majorité ou l'achèvement d'une formation appropriée (IV); astreint l'ex-époux au versement d'une contribution d'entretien en faveur de son ex-épouse d'un montant de 500 fr. par mois jusqu'à ce que l'enfant cadet ait atteint l'âge de 13 ans révolus, soit avril 2014 (V); indexé les contributions d'entretien prévues sous chiffres IV et V ci-dessus, pour autant que le revenu de l'ex-mari suive aussi l'évolution du coût de la vie (VI); condamné l'ex-époux à verser à son ex-épouse la somme de 44'041 fr. 75 et déclaré le régime matrimonial dissous et liquidé en l'état (VII); ordonné le partage par moitié des avoirs de prévoyance professionnelle des parties, calculés pour la durée du mariage (VIII); et transféré la cause à la Cour des assurances sociales du Tribunal cantonal pour l'exécution du partage des avoirs de prévoyance professionnelle (IX).
B.c Statuant sur l'appel interjeté par l'ex-époux le 30 mai 2012 tendant à l'attribution de l'autorité parentale et de la garde des enfants, à la condamnation de son ex-épouse à contribuer à l'entretien de chacun des enfants par le versement d'une pension mensuelle de 200 fr. jusqu'à l'âge de 15 ans révolus et de 250 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, et au versement par son ex-épouse à lui-même d'un montant de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: Cour d'appel) a, par arrêt du 24 juillet 2012 notifié aux parties le 19 septembre 2012, rejeté cet appel et confirmé le jugement de première instance.
C. Par acte du 22 octobre 2012, M. A.X._ exerce un recours en matière civile au Tribunal fédéral. En substance, il conclut principalement à la réforme de l'arrêt entrepris en ce sens que l'autorité parentale est confiée conjointement aux deux parents, subsidiairement à lui-même, à ce que la garde des enfants lui soit attribuée sous réserve d'un libre droit de visite de la mère à exercer d'entente avec le père, ou à défaut, selon des modalités définies, à ce que la mère soit astreinte à contribuer à l'entretien de chacun des enfants par le versement d'une pension mensuelle indexée de 200 fr. jusqu'à l'âge de 15 ans révolus et de 250 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, à ce qu'il ne verse pas de contribution d'entretien à son ex-épouse, et à ce que celle-ci lui verse la somme de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial. A titre subsidiaire, le recourant conclut à la réforme de l'arrêt attaqué en ce sens que l'autorité parentale est confiée conjointement aux deux parents, le droit de garde des enfants est attribué à la mère, il est astreint à contribuer à l'entretien de chacun de ses enfants à hauteur de 1'350 fr. par mois jusqu'à ce que l'enfant atteigne l'âge de 15 ans révolus, puis de 1'450 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, et à ce que son ex-épouse lui verse la somme de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial.
Des réponses n'ont pas été requises.
Considérant en droit:
1. Le présent recours a été déposé en temps utile (art. 46 al. 1 ch. 3 et 100 al. 1 LTF) ainsi que dans la forme légale (art. 42 LTF), contre une décision finale (art. 90 LTF) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF). Le litige porte sur l'autorité parentale et le droit de garde des enfants, sur le versement de contributions d'entretien en faveur des enfants et de l'ex-épouse, ainsi que sur la liquidation du régime matrimonial; la cause est ainsi non pécuniaire dans son ensemble (arrêts 5A_483/2011 du 31 octobre 2011 consid. 1.1; 5A_220/2009 du 30 juin 2009 consid. 1). Le recourant a en outre pris part à la procédure devant l'autorité précédente (art. 76 al. 1 let. a LTF) et, ayant succombé dans ses conclusions, a un intérêt à l'annulation ou à la modification de la décision attaquée (art. 76 al. 1 let. b LTF). Le recours en matière civile est en principe recevable au regard des dispositions qui précèdent.
2. 2.1 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 104). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (ATF 137 II 305 consid. 3.3 p. 310 s.; 134 I 83 consid. 3.2 p. 88), c'est-à-dire si la violation de droits constitutionnels a été expressément soulevée et exposée de façon claire et détaillée ("principe d'allégation", art. 106 al. 2 LTF; ATF 135 III 232 consid. 1.2 p. 234; 133 II 249 consid. 1.4.2 p. 254). Il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3.1 p. 399 in fine).
2.2 Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). La partie recourante qui soutient que les faits ont été constatés d'une manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2 p. 252), doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1). En outre, les faits et moyens de preuve nouveaux sont prohibés, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF; ATF 135 I 221 consid. 5.2.4 p. 229; 133 IV 342 consid. 2.1 p. 344). Ainsi, il n'est pas possible de se prévaloir devant le Tribunal fédéral de faits postérieurs à l'arrêt entrepris (ATF 133 IV 342 consid. 2.1 p. 343 s.; arrêt 5A_640/2011 du 4 janvier 2012 consid. 1.4).
3. Le recours a pour objet l'attribution de l'autorité parentale et le droit de garde des enfants (cf. infra consid. 4), le montant des contributions d'entretien au regard du revenu hypothétique qui lui a été imputé (infra consid. 5) et la liquidation du régime matrimonial de la participation aux acquêts (infra consid. 6).
3.1 S'agissant de la situation professionnelle et financière des parties, la Cour d'appel a constaté que l'ex-épouse est au bénéfice d'une formation d'auxiliaire de santé, mais qu'elle n'a jamais exercé sa profession durant le mariage, dès lors qu'elle s'est consacrée au ménage et à l'éducation des enfants. Du mois d'août 2006 au mois d'avril 2011, elle a exploité à temps partiel une onglerie, lui permettant de retirer un bénéfice de 500 fr. par mois. Quant à l'ex-époux, la cour cantonale a retenu qu'il exerce la profession de médecin et travaillait au jour de l'audience de jugement de première instance en qualité d'adjoint médical à 90 % percevant un salaire mensuel net de 9'947 fr. 70 payé 13 fois l'an, indemnité forfaitaire de garde (de 1'500 fr.) et allocations familiales non comprises. L'autorité précédente a précisé que l'ex-mari avait atteint l'âge de la retraite au mois de juillet 2012. Elle a encore constaté que celui-ci exploitait un cabinet privé qui lui rapportait un revenu de quelques centaines de francs par an et qu'il entendait poursuivre cette activité indépendante durant sa retraite, estimant pouvoir réaliser un revenu mensuel entre 8'000 fr. et 10'000 fr., l'assurance perte d'exploitation du cabinet couvrant un gain assuré de 160'000 fr. par an.
3.2 Statuant sur l'appel de l'ex-mari, la Cour d'appel a constaté que les ex-époux n'ont pas présenté de requête commune pour obtenir l'attribution de l'autorité parentale conjointe au sens de l'art. 133 al. 3 CC, excluant d'emblée cette solution, précisant toutefois que la compatibilité de cette disposition avec l'art. 8 CEDH pouvait demeurer indécise, le bien des enfants commandant que l'autorité parentale et le droit de garde soient confiés à leur mère, dès lors qu'une séparation des enfants d'avec leurs demi-frères et s?urs était plus préjudiciable à leur développement qu'un déménagement de la maison familiale pour s'installer dans un appartement avec le compagnon de leur mère, où ils allaient déjà passer des week-ends. L'autorité cantonale a en outre constaté que le tribunal de première instance avait instruit la question de l'attribution de l'autorité parentale et du droit de garde au regard de l'intérêt des enfants, en procédant à l'audition de ceux-ci et de plusieurs témoins.
Concernant les contributions d'entretien dues aux enfants, la cour cantonale a relevé que l'ex-mari ne contestait ni le pourcentage retenu sur son revenu à titre de contributions, ni l'adaptation de celles-ci à partir de la quinzième année de chaque enfant. La Cour d'appel a estimé que le revenu hypothétique de 11'974 fr. 10 par mois imputé à l'ex-mari était raisonnable, dès lors qu'il correspond à un taux de 100 % au salaire perçu par l'ex-mari pour son activité à 90 %, d'autant que celui-ci gagne un revenu accessoire de quelques centaines de francs de son activité indépendante. L'autorité précédente a en outre constaté que l'ex-époux avait déclaré vouloir poursuivre son activité indépendante au delà de l'âge de la retraite et jugé que si sa situation professionnelle devait changer, il n'était pas établi que ses revenus diminueraient, précisant que sa situation pourrait, le cas échéant, faire l'objet d'un réexamen dans le cadre d'une action en modification du jugement de divorce.
S'agissant enfin de la liquidation du régime matrimonial, la Cour d'appel a exposé que l'ex-époux n'avait ni présenté une nouvelle requête en complément d'expertise devant le Tribunal d'arrondissement selon l'art. 291 CPC-VD, ni requis l'audition de l'expert à l'audience de jugement, après que la Présidente du tribunal ait rejeté sa première demande en complément de l'expertise, alors que la mention de cette incombance figurait dans la décision de refus. La cour cantonale a considéré que l'ex-époux était forclos pour invoquer des pièces qui eussent pu être soumises à l'expert, ajoutant que la question de la nature du prêt consenti par la mère de l'ex-mari avait été débattue devant l'expert. L'autorité précédente a en définitive jugé que les conclusions de l'expert pouvaient être suivies.
4. Le recourant invoque l'art. 133 al. 3 CC à la lumière de l'art. 8 CEDH, critiquant l'attribution de l'autorité parentale et du droit de garde des enfants à son ex-épouse. Il soutient que le "simple fait que la mère puisse, en refusant de cosigner une déclaration dans ce sens, empêcher le père de bénéficier de l'autorité parentale sur ses enfants" constitue une inégalité manifeste entre les parents, de sorte qu'en excluant d'emblée la solution de l'autorité parentale conjointe "pour le seul motif que les parties n'avaient pas présenté de requête commune", les juges cantonaux auraient méconnu la problématique de l'art. 133 al. 3 CC et violé de ce fait l'art. 8 CEDH.
4.1 L'art. 133 al. 3 CC prévoit, comme une exception au principe de l'attribution de l'autorité parentale à l'un des parents (art. 133 al. 1 CC), que sur requête conjointe des père et mère, le juge maintient l'exercice en commun de l'autorité parentale après le divorce, pour autant que cela soit compatible avec le bien de l'enfant et que les parents soumettent à sa ratification une convention qui détermine leur participation à la prise en charge de l'enfant et la répartition des frais d'entretien de celui-ci. Ainsi, même dans le cas où les parents requièrent conjointement le maintien de l'exercice en commun de l'autorité parentale après le divorce et soumettent à la ratification du juge une convention prévoyant un droit de garde conjoint, l'admissibilité d'un tel accord doit être appréciée sous l'angle du bien de l'enfant et dépend essentiellement des circonstances du cas particulier, telles que l'âge de l'enfant, la proximité des logements parentaux entre eux et avec l'école, la capacité de coopération des parents (arrêt 5A_540/2011 du 30 mars 2012 consid. 3.1).
4.2 En l'occurrence, on peut s'interroger sur le point de savoir si la seule absence de consentement des deux parents au maintien de l'autorité parentale conjointe est suffisante pour refuser l'exercice en commun de l'autorité parentale. La compatibilité de l'art. 133 al. 3 CC avec les art. 8 et 14 CEDH fait d'ailleurs l'objet d'un recours pendant devant la CourEDH (arrêt 5A_420/2010 du 11 août 2011). Cette question peut néanmoins demeurer indécise, dès lors que, contrairement à ce que prétend le recourant, les autorités précédentes ont chacune examiné l'attribution de l'autorité parentale et du droit de garde au regard de l'intérêt des enfants, en tenant compte de toutes les circonstances aux conditions de l'art. 133 al. 1 et 2 CC. L'argument soulevé par le père en relation avec l'application en droit suisse de la jurisprudence de la CourEDH "Zaunegger", n'est ainsi pas pertinent, dès lors que, quand bien même l'on entrerait en matière sur l'attribution d'une autorité parentale conjointe en dépit de l'absence de requête commune, ainsi qu'il a déjà été exposé, le bien des enfants commande que l'autorité parentale sur ceux-ci soit attribuée à un seul des parents, en l'occurrence à l'ex-épouse, afin que la fratrie ne soit pas séparée (cf. supra consid. 3.2).
Pour le surplus, le recourant affirme que les deux parties sont de bons parents, de sorte qu'il est "en droit de prétendre, au même titre que son ex-épouse, à l'autorité parentale sur ses enfants". Ce faisant, le recourant perd de vue que le juge attribue l'autorité parentale en fonction de toutes les circonstances pour le bien de l'enfant et non uniquement en examinant les compétences de chacun des parents. Il s'ensuit que l'autorité précédente n'a pas violé les art. 133 al. 3 CC et 8 CEDH en attribuant à l'ex-épouse l'autorité parentale et la garde des enfants, dès lors qu'il s'agit de la solution commandée par le bien de ceux-ci.
5. Le recourant fait grief à la cour cantonale de lui avoir imputé un revenu hypothétique, affirmant avoir pris sa retraite et cessé toute activité au mois de juillet 2012. Il estime que l'on ne saurait exiger de lui qu'il poursuive son activité de médecin et, en parallèle, l'exploitation d'un cabinet indépendant, voire qu'il développe davantage ces activités, pour se procurer un revenu hypothétique de 11'974 fr. 10. Il considère que les juges précédents ont violé le droit fédéral en retenant qu'il n'était pas établi que ses revenus diminueraient après l'âge de la retraite.
En l'espèce, le recourant allègue un fait nouveau, à savoir qu'il serait dorénavant à la retraite et n'exercerait plus d'activité professionnelle, sans démontrer son affirmation. Quand bien même ce fait serait établi, il est d'emblée irrecevable devant le Tribunal fédéral, dès lors qu'il est postérieur à l'arrêt entrepris (art. 99 al. 1 LTF; cf. supra consid. 2.2). Pour le surplus, le recourant ne remet pas en cause le montant retenu à titre de revenu hypothétique, calculé sur la poursuite de son activité salariée en parallèle à l'exploitation comme indépendant de son cabinet médical. Le grief doit donc être rejeté, autant qu'il est recevable, et les contributions fixées en instance cantonale peuvent être confirmées.
6. Le recourant remet finalement en cause la liquidation du régime matrimonial, critiquant le fait que la cour cantonale a fait siennes les conclusions du rapport d'expertise, selon lesquelles le recourant devrait verser un montant de 44'041 fr. 75 à son ex-épouse à titre de solde pour la liquidation de leur régime. Il soutient qu'il n'avait ni à renouveler sa requête en complément d'expertise, ni à requérir l'audition du notaire à l'audience, la Cour d'appel devant librement apprécier la force probante d'une expertise, "selon la jurisprudence relative à l'art. 9 Cst."; partant, elle devait relever qu'il subsistait des doutes importants sur ce point et ordonner d'office des "preuves complémentaires". Il expose avoir fait la démonstration que l'expert a mal interprété les renseignements dont il disposait, spécialement le courrier qu'il aurait écrit au tribunal de première instance le 24 janvier 2011, dans lequel il mettait en évidence que la dette de 320'000 fr. qu'il avait contractée à l'égard de sa mère n'avait pas été prise en compte par le notaire. Le recourant prétend que les juges cantonaux ne pouvaient ni admettre que la question du prêt avait été débattue devant l'expert, ni écarter la dette litigieuse sans tenir compte de ses explications et des pièces produites le 8 juin 2011. Le recourant reprend ensuite le contenu de son mémoire d'appel, présentant la manière dont il considère qu'il faut calculer le solde de la liquidation du régime matrimonial des ex-époux et parvient au résultat que son ex-épouse lui doit la somme de 2'738 fr. 40.
6.1 Le juge apprécie librement la force probante d'une expertise. L'expert doit limiter son examen aux points de fait; la résolution des questions de droit ressortit exclusivement au juge, qui ne peut pas déléguer cet examen à un tiers (ATF 130 I 337 consid. 5.4.1 p. 345; 113 II 429 consid. 3a p. 432). Le Tribunal fédéral se montre réservé en matière d'appréciation arbitraire des preuves (art. 9 Cst.) et n'intervient que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, de quelqu'autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables que, même sans connaissances spécifiques, le juge ne pouvait tout simplement pas les ignorer (arrêts 5A_676/2010 du 13 décembre 2011 consid. 3.2.3; 5A_831/2010 du 14 novembre 2011 consid. 2.1).
6.2 En l'occurrence, la constatation de l'existence d'un prêt ressortit à l'établissement des faits. En tant que le recourant tient pour prouvé le fait que le versement effectué par sa mère constitue un prêt, en se fondant sur une lettre qu'il a adressée au tribunal de première instance notamment, force est de constater que ce fait n'est en réalité pas établi et qu'il ne remet pas en cause l'appréciation des preuves. De simples allégations de partie - fussent-elles même plausibles - ne suffisent pas à prouver un fait, à moins qu'elles ne soient corroborées par des pièces qui accréditent la thèse soutenue (arrêt 5A_225/2010 du 2 novembre 2010 consid. 3.2 non publié à l'ATF 136 III 583). Pour le surplus, les pièces auxquelles se réfère le recourant n'indiquent pas que la somme de 320'000 fr. lui a été prêtée par sa mère. Dans ces circonstances, il n'est pas insoutenable de considérer qu'il ne s'agit pas d'un prêt. Faute d'une erreur manifeste dans l'expertise, l'autorité précédente n'avait pas à revoir ou à instruire sur les prémisses sur lesquelles le notaire s'est basé pour réaliser son expertise. Il s'ensuit que la cour cantonale n'a pas versé dans l'arbitraire en faisant siennes les conclusions de l'expertise; partant, le grief doit être rejeté.
7. Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'intimée qui n'a pas été invitée à se déterminer.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 janvier 2013
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Carlin