Faits: A. M. A.X._ (1947) et Mme B.X._ (1971) se sont mariés le 22 juillet 1996. Deux enfants sont issus de leur union: C._, né le 6 octobre 1996, et D._, né le 18 avril 2001. Mme B.X._ est aussi la mère d'un fils, E._, né le 21 janvier 1992 d'une précédente union, et de jumeaux, nés en juillet 2011 de sa nouvelle relation. Les parties se sont séparées dans le courant de l'été 2006. B. Le 12 août 2008, Mme B.X._ a déposé une requête unilatérale de divorce, concluant à l'attribution de l'autorité parentale et de la garde des enfants; au versement d'une contribution d'entretien en faveur de chaque enfant, d'un montant de 1'600 fr. jusqu'à l'âge de 10 ans révolus, de 1'800 fr. jusqu'à l'âge de 16 ans, puis de 2'000 fr. jusqu'à leur majorité ou la fin de leur formation, mais jusqu'à l'âge de 25 ans au maximum; au versement d'une contribution d'entretien en sa faveur d'un montant de 3'800 fr. pour une durée indéterminée, subsidiairement jusqu'à ce que le fils cadet D._ atteigne l'âge de 15 ans révolus; au versement d'une contribution spéciale en cas de besoins extraordinaires, d'un montant que justice dira; à l'indexation des contributions d'entretien; au partage par moitié et au versement en sa faveur des prestations de sortie LPP de l'époux; et à la dissolution et la liquidation du régime matrimonial selon les modalités précisées en cours d'instance au moyen d'une expertise confiée à un notaire. Le notaire Me Y._ a déposé son rapport sur la liquidation du régime matrimonial le 18 octobre 2010, proposant de le considérer comme liquidé par le versement du mari à l'épouse d'une somme de 44'041 fr. 75. Le 23 février 2011, la Présidente du Tribunal d'arrondissement a refusé d'ordonner le complément d'expertise requis par l'époux, portant sur la question d'un prêt de 320'000 fr. concédé au mari par sa mère, alors que le notaire a retenu que ce montant constituait une "distribution de revenus de biens propres, soit une distribution d'acquêts". B.a Par ordonnance du 30 juin 2011, le Président du Tribunal d'arrondissement a rejeté la requête de mesures provisionnelles déposée le 13 avril 2011 par l'époux tendant notamment à ce que la garde des enfants lui soit attribuée. Cette décision a été confirmée en appel. B.b Par jugement du 27 avril 2012, le Tribunal civil de l'arrondissement de Lausanne a prononcé le divorce des époux X._ (I); confié l'autorité parentale et le droit de garde des enfants à l'ex-épouse (II); octroyé à l'ex-mari un libre droit de visite sur les enfants, à défaut d'entente, son droit de visite s'exerçant le week-end et la moitié des vacances scolaires et jours fériés (III); condamné l'ex-mari à contribuer à l'entretien de chacun de ses enfants par le versement d'une pension mensuelle de 1'500 fr. jusqu'à l'âge de 15 ans révolus et de 1'600 fr. jusqu'à la majorité ou l'achèvement d'une formation appropriée (IV); astreint l'ex-époux au versement d'une contribution d'entretien en faveur de son ex-épouse d'un montant de 500 fr. par mois jusqu'à ce que l'enfant cadet ait atteint l'âge de 13 ans révolus, soit avril 2014 (V); indexé les contributions d'entretien prévues sous chiffres IV et V ci-dessus, pour autant que le revenu de l'ex-mari suive aussi l'évolution du coût de la vie (VI); condamné l'ex-époux à verser à son ex-épouse la somme de 44'041 fr. 75 et déclaré le régime matrimonial dissous et liquidé en l'état (VII); ordonné le partage par moitié des avoirs de prévoyance professionnelle des parties, calculés pour la durée du mariage (VIII); et transféré la cause à la Cour des assurances sociales du Tribunal cantonal pour l'exécution du partage des avoirs de prévoyance professionnelle (IX). B.c Statuant sur l'appel interjeté par l'ex-époux le 30 mai 2012 tendant à l'attribution de l'autorité parentale et de la garde des enfants, à la condamnation de son ex-épouse à contribuer à l'entretien de chacun des enfants par le versement d'une pension mensuelle de 200 fr. jusqu'à l'âge de 15 ans révolus et de 250 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, et au versement par son ex-épouse à lui-même d'un montant de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: Cour d'appel) a, par arrêt du 24 juillet 2012 notifié aux parties le 19 septembre 2012, rejeté cet appel et confirmé le jugement de première instance. C. Par acte du 22 octobre 2012, M. A.X._ exerce un recours en matière civile au Tribunal fédéral. En substance, il conclut principalement à la réforme de l'arrêt entrepris en ce sens que l'autorité parentale est confiée conjointement aux deux parents, subsidiairement à lui-même, à ce que la garde des enfants lui soit attribuée sous réserve d'un libre droit de visite de la mère à exercer d'entente avec le père, ou à défaut, selon des modalités définies, à ce que la mère soit astreinte à contribuer à l'entretien de chacun des enfants par le versement d'une pension mensuelle indexée de 200 fr. jusqu'à l'âge de 15 ans révolus et de 250 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, à ce qu'il ne verse pas de contribution d'entretien à son ex-épouse, et à ce que celle-ci lui verse la somme de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial. A titre subsidiaire, le recourant conclut à la réforme de l'arrêt attaqué en ce sens que l'autorité parentale est confiée conjointement aux deux parents, le droit de garde des enfants est attribué à la mère, il est astreint à contribuer à l'entretien de chacun de ses enfants à hauteur de 1'350 fr. par mois jusqu'à ce que l'enfant atteigne l'âge de 15 ans révolus, puis de 1'450 fr. jusqu'à la majorité de l'enfant ou le terme de sa formation, et à ce que son ex-épouse lui verse la somme de 2'738 fr. 40 à titre de solde pour la dissolution et la liquidation du régime matrimonial. Des réponses n'ont pas été requises.