Faits:
A. A._, né en 1949, et dame A._, née en 1967, se sont mariés le 27 juin 1998, sans conclure de contrat de mariage. Deux enfants sont issus de leur union: B._, née en 1998, et C._, née en 2000.
Les époux vivent séparés depuis le 1er janvier 2006, le père contribuant à l'entretien de sa famille par le versement d'une pension mensuelle de 2'500 fr., allocations familiales comprises.
B. Par demande du 13 mai 2008, l'épouse a ouvert action en divorce devant le Tribunal d'arrondissement de Lausanne, concluant notamment à ce que son mari contribue à l'entretien de chacune de ses filles par le versement d'une pension mensuelle de 1'000 fr. jusqu'à l'âge de 14 ans, puis de 1'200 fr., dès lors et jusqu'à la fin de leur formation professionnelle, allocations familiales en sus, et à la restitution de 14 sculptures qu'elle avait créées durant le mariage. L'époux a conclu au rejet de la requête et pris des conclusions reconventionnelles.
B.a Lors d'une audience du 7 novembre 2008, les époux sont notamment convenus de fixer la contribution d'entretien pour la famille à charge du père à 1'800 fr. par mois, allocations familiales en sus. La convention a été ratifiée par le Président du Tribunal d'arrondissement pour valoir ordonnance de mesures provisionnelles.
Par décision du 11 août 2009, confirmée par arrêt sur appel du 14 janvier 2010, le Président du Tribunal d'arrondissement a rejeté la requête de mesures provisionnelles du 27 janvier 2009 de l'époux tendant à ce que la contribution d'entretien de la famille mise à sa charge soit réduite à 1'000 fr. par mois, dès le 1er février 2009.
Le 30 novembre 2009, l'époux a déposé une nouvelle requête de mesures provisionnelles, alléguant que la situation financière de son entreprise s'était détériorée et concluant au versement d'une contribution d'entretien mensuelle de 450 fr. par enfant. Les parties sont convenues, lors d'une audience du 2 février 2010, que l'époux contribuerait à l'entretien des siens à hauteur de 1'200 fr. par mois.
B.b A la suite de l'audience préliminaire du 2 février 2009, le notaire Pierre Badoux a été mis en ?uvre par le Président du Tribunal d'arrondissement pour stipuler la liquidation du régime matrimonial. Le 2 décembre 2009, le notaire a déposé son rapport d'expertise, proposant que l'époux verse à son épouse la somme de 98'850 fr. à titre de liquidation du régime matrimonial. A la suite de la requête du mari, le notaire a déposé un rapport complémentaire le 2 juillet 2010, modifiant son expertise en ce sens que l'épouse a contre son époux une créance en restitution des 14 sculptures qu'elle a réalisées, ainsi que d'un montant de 89'818 fr.10. Le contenu de ces rapports d'expertise sera repris ci-après dans la mesure utile (cf. infra consid. 3.2).
Le 16 juillet 2010, l'épouse a précisé sa conclusion relative à la liquidation du régime matrimonial - son mari étant débiteur de la somme de 107'718 fr.10 - et dressé la liste des sculptures dont elle exigeait la restitution. L'époux a modifié ses conclusions par acte du 14 janvier 2011. Il a ainsi conclu à ce que la contribution d'entretien en faveur de chacune de ses filles se monte à 425 fr. par mois jusqu'à l'âge de 14 ans révolus, puis à 500 fr. depuis lors et jusqu'à la majorité ou la fin d'une formation professionnelle, et à ce que le régime matrimonial soit déclaré dissous et liquidé, sous réserve de la restitution des 14 sculptures à son épouse.
B.c Par jugement du 12 avril 2011, le Tribunal d'arrondissement de Lausanne a prononcé le divorce des époux A._. Il a notamment astreint le père à contribuer à l'entretien de chacune de ses filles par le versement d'un montant mensuel de 600 fr. jusqu'à l'âge de 15 ans, puis de 650 fr. dès lors et jusqu'à la majorité ou l'achèvement d'une formation professionnelle appropriée dans des délais normaux, condamné le mari à restituer à son épouse les sculptures qu'elle a réalisées durant le mariage et prononcé la dissolution et la liquidation du régime matrimonial des époux, moyennant le versement par le mari à son épouse d'une somme de 89'818 fr.10 avec intérêt à 5% l'an dès le jugement définitif et exécutoire.
B.d Par arrêt motivé du 5 septembre 2011, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel) a rejeté l'appel formé par l'époux, tendant à l'admission de ses conclusions du 14 janvier 2011.
C. Par acte du 6 octobre 2011, l'époux interjette un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme du jugement de première instance, confirmé en appel, en ce sens que la contribution d'entretien en faveur de chacune de ses filles se monte à 425 fr. par mois jusqu'à l'âge de 14 ans révolus, puis à 500 fr. depuis lors et jusqu'à la majorité ou la fin d'une formation professionnelle appropriée au sens de l'art. 277 al. 2 CC, et à ce que le régime matrimonial soit déclaré dissous et liquidé, sous réserve de la restitution des 14 sculptures à son épouse, subsidiairement, au renvoi de la cause à l'autorité précédente et, encore plus subsidiairement, au renvoi de la cause à l'autorité de première instance. A l'appui de ses conclusions, le recourant fait valoir, d'une part, que la contribution a été fixée en violation de l'art. 285 al. 1 CC, notamment en appliquant à tort la théorie de la transparence, d'autre part, que l'expertise relative à la liquidation du régime matrimonial est entachée de vices en ce qui concerne l'évaluation de l'immeuble, de son entreprise, des sculptures des époux, de ses dettes et des économies de son épouse, partant, que l'adhésion aux conclusions de cette expertise est notamment contraire à l'art. 209 al. 3 CC et à la jurisprudence rendue au sujet de l'art. 211 CC. Le recourant sollicite au préalable le bénéfice de l'assistance judiciaire.
Des réponses n'ont pas été requises.
Considérant en droit:
1. Le présent recours a été déposé en temps utile (art. 100 al. 1 LTF) ainsi que dans la forme légale (art. 42 LTF), contre une décision finale (art. 90 LTF; ATF 134 III 426 consid. 1.2 p. 429) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF). Le litige porte sur le montant de la contribution d'entretien en faveur de chacune des filles et sur les modalités de dissolution et de liquidation du régime matrimonial; le recours a donc pour objet une affaire pécuniaire (ATF 133 III 393 consid. 2 p. 395), dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a et al. 4 LTF, art. 74 al. 1 let. b LTF). Le recourant a pris part à la procédure devant l'autorité précédente (art. 76 al. 1 let. a LTF) et, ayant succombé dans ses conclusions, a un intérêt à l'annulation ou à la modification de la décision attaquée (art. 76 al. 1 let. b LTF). Le recours est en principe recevable.
2. 2.1 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 104). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF; ATF 137 II 305 consid. 3.3 p. 310 s.; 134 I 83 consid. 3.2 p. 88). Si le recourant se plaint de la violation de ces droits, il doit satisfaire au principe d'allégation (Rügeprinzip); le Tribunal fédéral n'examine la violation des droits constitutionnels que s'ils ont été invoqués et motivés, c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (ATF 135 III 232 consid. 1.2 p. 234; 133 II 249 consid. 1.4.2 p. 254); il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3.1 p. 399 in fine).
2.2 Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été constatés d'une manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2 p. 252), doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1).
2.3 Dès lors, il ne saurait être tenu compte des développements du recourant en tant qu'ils se réfèrent à des faits qui ne ressortent pas de l'arrêt attaqué, sans que le grief d'arbitraire (art. 9 Cst.) n'ait été soulevé à l'égard de leur établissement.
3. Le recourant critique l'arrêt cantonal sur deux aspects. Il s'en prend, d'une part, à la contribution d'entretien mise à sa charge (infra consid. 4), et, d'autre part, à la liquidation du régime matrimonial de la participation aux acquêts (infra consid. 5).
4. S'agissant de la contribution d'entretien en faveur des deux filles, les juges cantonaux ont relevé que le recourant avait réduit son salaire net mensuel de 4'136 fr. à 3'335 fr. depuis le 1er février 2009, tout en continuant de prélever régulièrement des montants variables pour son propre usage sur le compte de sa société et à régler des factures personnelles par l'intermédiaire de celle-ci. Ils ont ainsi constaté que, en 2009, le recourant avait prélevé un montant de plus de 14'000 fr. sur le compte de sa société. L'autorité cantonale a constaté qu'au mois de novembre 2010, le salaire net mensuel du recourant avait été augmenté à 3'395 fr., les prélèvements annexes s'élevant toujours à 14'000 fr. Les retraits annexes sont notamment désignés par les termes "bonification" ou "salaire" dans la comptabilité de l'entreprise. En avril 2011, le recourant s'est versé un salaire de 3'448 fr. 80 et a effectué un retrait en espèces sur le compte de sa société d'une somme de 4'003 fr. 10, sous le libellé "salaire avril". La cour précédente a considéré en définitive que le recourant, qui occupe la position d'associé gérant avec signature individuelle "décide[...] unilatéralement de réduire son salaire ou de s'acquitter de charges privées au moyen du compte bancaire de son entreprise". Elle a admis que le recourant se confond avec sa société à responsabilité limitée et forme avec elle une seule entité économique, selon le principe de la transparence. L'autorité précédente a alors admis que l'intégralité des montants prélevés sur le compte de l'entreprise, autrement dit le revenu effectif, était pertinente pour déterminer la capacité contributive du père, laquelle s'élève ainsi à 4'500 fr. par mois en moyenne. La Cour d'appel a ensuite arrêté la contribution d'entretien pour deux enfants en recourant à la méthode des pourcentages, soit à un montant de l'ordre de 25 % du revenu net du débirentier, précisant qu'une telle contribution serait justifiée même si l'on devait retenir un revenu approximatif de seulement 4'000 fr. par mois.
4. S'agissant de la contribution d'entretien en faveur des deux filles, les juges cantonaux ont relevé que le recourant avait réduit son salaire net mensuel de 4'136 fr. à 3'335 fr. depuis le 1er février 2009, tout en continuant de prélever régulièrement des montants variables pour son propre usage sur le compte de sa société et à régler des factures personnelles par l'intermédiaire de celle-ci. Ils ont ainsi constaté que, en 2009, le recourant avait prélevé un montant de plus de 14'000 fr. sur le compte de sa société. L'autorité cantonale a constaté qu'au mois de novembre 2010, le salaire net mensuel du recourant avait été augmenté à 3'395 fr., les prélèvements annexes s'élevant toujours à 14'000 fr. Les retraits annexes sont notamment désignés par les termes "bonification" ou "salaire" dans la comptabilité de l'entreprise. En avril 2011, le recourant s'est versé un salaire de 3'448 fr. 80 et a effectué un retrait en espèces sur le compte de sa société d'une somme de 4'003 fr. 10, sous le libellé "salaire avril". La cour précédente a considéré en définitive que le recourant, qui occupe la position d'associé gérant avec signature individuelle "décide[...] unilatéralement de réduire son salaire ou de s'acquitter de charges privées au moyen du compte bancaire de son entreprise". Elle a admis que le recourant se confond avec sa société à responsabilité limitée et forme avec elle une seule entité économique, selon le principe de la transparence. L'autorité précédente a alors admis que l'intégralité des montants prélevés sur le compte de l'entreprise, autrement dit le revenu effectif, était pertinente pour déterminer la capacité contributive du père, laquelle s'élève ainsi à 4'500 fr. par mois en moyenne. La Cour d'appel a ensuite arrêté la contribution d'entretien pour deux enfants en recourant à la méthode des pourcentages, soit à un montant de l'ordre de 25 % du revenu net du débirentier, précisant qu'une telle contribution serait justifiée même si l'on devait retenir un revenu approximatif de seulement 4'000 fr. par mois.
4.1 4.1.1 Le recourant fait grief à l'autorité précédente d'avoir violé l'art. 285 al. 1 CC, la contribution d'entretien en faveur des enfants ayant été fixée sans tenir compte de sa capacité contributive. Il soutient que son salaire réel est inférieur à ce que la cour cantonale a fixé; les prélèvements qu'il a effectués sur les comptes de sa société constituent, d'une part, le remboursement de frais professionnels, d'autre part, un emprunt, à l'instar d'un prêt concédé par un tiers. Il soutient en outre que les juges cantonaux ont appliqué à tort le principe de la transparence ("Durchgriff"). Il estime que les conditions d'application de cette théorie ne sont pas remplies en l'espèce, le principe de la transparence devant être appliqué avec beaucoup de retenue, lorsqu'il y a abus manifeste et que l'actionnaire unique tente de mauvaise foi de cacher son patrimoine.
4.1.2 A teneur de l'art. 285 al. 1 CC, auquel l'art. 133 al. 1 CC renvoie, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère. La contribution d'entretien doit toujours être dans un rapport raisonnable avec le niveau de vie et la capacité contributive du débirentier. En vertu du droit à des conditions minimales d'existence garanti par l'art. 12 Cst. (ATF 121 I 367 consid. 2 p. 370), l'obligation d'entretien trouve sa limite dans la capacité contributive du débirentier, en ce sens que le minimum vital de celui-ci doit être préservé (ATF 135 III 66 consid. 2 p. 67 s.; 123 III 1 consid. 3b/bb p. 4 s. et consid. 5 in fine p. 9). Dans ce domaine, il n'y a violation du droit fédéral que si le juge a abusé de son pouvoir d'appréciation en se référant à des critères dénués de pertinence, ou en ne tenant pas compte d'éléments essentiels, ou encore si, d'après l'expérience de la vie, le montant fixé apparaît manifestement inéquitable (ATF 132 III 178 consid. 5.1 p. 183; 130 III 571 consid. 4.3 p. 576; 128 III 161 consid. 2c/aa p. 162).
S'agissant de la détermination des ressources du débirentier, qui maîtrise économiquement une société, se pose la question de savoir comment prendre en considération cette dernière. Selon la jurisprudence, on ne peut pas s'en tenir sans réserve à l'existence formelle de deux personnes juridiquement distinctes lorsque tout l'actif ou la quasi-totalité de l'actif d'une société anonyme appartient soit directement, soit par personnes interposées, à une même personne, physique ou morale. Nonobstant la dualité de personnes à la forme - il n'existe pas des entités indépendantes, la société étant un simple instrument dans la main de son auteur, qui, économiquement, ne fait qu'un avec elle -, on doit admettre, à certains égards, que, conformément à la réalité économique, il y a identité de personnes et que les rapports de droit liant l'une lient également l'autre, chaque fois que le fait d'invoquer la diversité des sujets constitue un abus de droit ou a pour effet une atteinte manifeste à des intérêts légitimes (art. 2 al. 2 CC; ATF 121 III 319 consid. 5a/aa p. 321; 112 II 503 consid. 3b p. 505 s.; 108 II 213 consid. 6a p. 214 s.; 102 III 165 consid. II/1 p. 169 s.).
4.1.3 Lorsque le recourant critique la manière dont l'autorité précédente a déterminé son revenu, en particulier lorsqu'il affirme que ses revenus sont inférieurs à ceux qu'a retenus la cour cantonale du fait que ces prélèvements correspondent à des remboursements de frais professionnels et des emprunts auprès de sa société, il s'écarte des constatations de fait de l'arrêt attaqué, sans soulever le grief d'arbitraire à cet égard (cf. supra consid. 2.3), respectivement se limite en définitive à présenter sa propre version exposant seulement qu'il "n'a aucun droit à des prestations [de sa société] allant au-delà du salaire mensuel net qu'il est en mesure de se verser". Au demeurant, le recourant confirme ainsi les constatations de l'autorité précédente, selon lesquelles il décide seul des questions financières de l'entreprise dont il est le propriétaire, notamment des baisses de salaire et de l'octroi d'emprunts, en sa qualité d'associé gérant de la société à responsabilité limitée, disposant d'une signature individuelle. Le recourant ne conteste ni sa position d'associé-gérant, ni le fait qu'il décide seul des hausses et réductions de salaire (cf. supra consid. 4.2), mais s'en prend toutefois à l'application du principe de la transparence ("Durchgriff") à sa situation, arguant ne pas avoir "décidé de réduire son salaire afin de soustraire des revenus à ses créanciers", autrement dit dans le but de faire diminuer le montant des contributions d'entretien à sa charge. Il expose que le salaire qu'il se verse est "parfaitement raisonnable et conforme à la situation financière de sa société". Il apparaît cependant que le recourant se limite à démontrer que son comportement ne constitue pas un abus de droit, mais ne conteste pas que ses actes ont une incidence directe sur le montant de la contribution d'entretien, à savoir sur les intérêts légitimes de ses filles crédirentières. Vu la jurisprudence précitée (cf. supra consid. 4.1.2), c'est donc à bon droit que les juges précédents ont considéré que l'unité économique entre la personne du recourant et sa société est seule déterminante dans la présente affaire, les circonstances de l'espèce donnant lieu à l'application de la théorie précitée. Il s'ensuit que l'argumentation du recourant tendant à qualifier d'emprunts les prélèvements effectués sur le compte de la société est dénuée de pertinence, compte tenu de l'admission du principe de la transparence. Pour le surplus, le recourant ne s'en prend pas à la méthode du pourcentage utilisée par l'autorité cantonale pour déterminer le montant de la contribution d'entretien, ni n'expose que la contribution d'entretien calculée sur la base de ses revenus effectifs atteint son minimum vital. Son grief doit en définitive être rejeté dans la mesure où il est recevable (art. 42 al. 2 LTF; cf. supra consid. 2.1).
4.1.3 Lorsque le recourant critique la manière dont l'autorité précédente a déterminé son revenu, en particulier lorsqu'il affirme que ses revenus sont inférieurs à ceux qu'a retenus la cour cantonale du fait que ces prélèvements correspondent à des remboursements de frais professionnels et des emprunts auprès de sa société, il s'écarte des constatations de fait de l'arrêt attaqué, sans soulever le grief d'arbitraire à cet égard (cf. supra consid. 2.3), respectivement se limite en définitive à présenter sa propre version exposant seulement qu'il "n'a aucun droit à des prestations [de sa société] allant au-delà du salaire mensuel net qu'il est en mesure de se verser". Au demeurant, le recourant confirme ainsi les constatations de l'autorité précédente, selon lesquelles il décide seul des questions financières de l'entreprise dont il est le propriétaire, notamment des baisses de salaire et de l'octroi d'emprunts, en sa qualité d'associé gérant de la société à responsabilité limitée, disposant d'une signature individuelle. Le recourant ne conteste ni sa position d'associé-gérant, ni le fait qu'il décide seul des hausses et réductions de salaire (cf. supra consid. 4.2), mais s'en prend toutefois à l'application du principe de la transparence ("Durchgriff") à sa situation, arguant ne pas avoir "décidé de réduire son salaire afin de soustraire des revenus à ses créanciers", autrement dit dans le but de faire diminuer le montant des contributions d'entretien à sa charge. Il expose que le salaire qu'il se verse est "parfaitement raisonnable et conforme à la situation financière de sa société". Il apparaît cependant que le recourant se limite à démontrer que son comportement ne constitue pas un abus de droit, mais ne conteste pas que ses actes ont une incidence directe sur le montant de la contribution d'entretien, à savoir sur les intérêts légitimes de ses filles crédirentières. Vu la jurisprudence précitée (cf. supra consid. 4.1.2), c'est donc à bon droit que les juges précédents ont considéré que l'unité économique entre la personne du recourant et sa société est seule déterminante dans la présente affaire, les circonstances de l'espèce donnant lieu à l'application de la théorie précitée. Il s'ensuit que l'argumentation du recourant tendant à qualifier d'emprunts les prélèvements effectués sur le compte de la société est dénuée de pertinence, compte tenu de l'admission du principe de la transparence. Pour le surplus, le recourant ne s'en prend pas à la méthode du pourcentage utilisée par l'autorité cantonale pour déterminer le montant de la contribution d'entretien, ni n'expose que la contribution d'entretien calculée sur la base de ses revenus effectifs atteint son minimum vital. Son grief doit en définitive être rejeté dans la mesure où il est recevable (art. 42 al. 2 LTF; cf. supra consid. 2.1).
4.2 4.2.1 Le recourant fait aussi valoir que la contribution d'entretien mise à sa charge ne tient compte ni des coûts qu'entraînent l'exercice de son droit de visite, lequel implique de fréquents trajets entre le domicile de la mère et le sien, ni des lacunes de ses cotisations AVS qui se répercuteront sur la rente qui lui sera servie lorsqu'il prendra sa retraite dans trois ans. Il soutient que la cour cantonale devait fixer une contribution d'entretien qui corresponde réellement à sa capacité contributive et lui permette de financer son train de vie de manière durable.
4.2.2 Sur ce point, le recourant se contente de reprendre devant le Tribunal fédéral, mot pour mot, la motivation présentée devant la cour cantonale; partant, le lien entre la décision attaquée et la motivation du recours n'existe pas (ATF 134 II 244 consid. 2.3 p. 246 s.). A supposer qu'il faille néanmoins entrer en matière sur ces critiques, celles-ci reposent sur l'affirmation selon laquelle l'autorité cantonale aurait dû tenir compte de ces éléments dans la fixation de la contribution d'entretien, sans que le recourant développe son raisonnement, en sorte que, à la lecture de son exposé, on ne comprend pas clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité cantonale. Compte tenu de l'exigence de motivation déduite de l'art. 42 al. 2 LTF (cf. supra consid. 2.1), les griefs du recourant sont donc d'emblée irrecevables.
5. En ce qui concerne la liquidation du régime matrimonial, la Cour d'appel a relevé que les premiers juges avaient adhéré aux propositions de l'expert pour statuer. S'agissant de l'immeuble, le notaire a arrêté à 550'000 fr. sa valeur au jour du mariage, en tenant compte du prix d'achat (350'000 fr.) auquel il a ajouté la valeur des travaux à plus-value du recourant et la plus-value conjoncturelle (200'000 fr.). Au jour du mariage, la dette hypothécaire qui grevait l'immeuble s'élevait à 300'000 fr. Les juges cantonaux ont estimé que l'expert avait écarté à bon droit la valeur vénale de l'immeuble au jour du mariage, dès lors que la maison appartenait déjà au recourant et avait subi des travaux d'amélioration avant le début du régime matrimonial. Les juges précédents ont ensuite constaté que la valeur de l'immeuble, à la date de la séparation, était de 800'000 fr. selon l'expertise réalisée à cet effet par un expert indépendant. Un montant de 10'000 fr. a été déduit de la plus-value totale de l'immeuble réalisée durant le mariage, de 250'000 fr. (800'000 fr. - 550'000 fr.), eu égard au fait qu'une partie des travaux ont été réalisés par les neveux de l'époux en contrepartie de la renonciation de ce dernier à un héritage. Compte tenu de l'ensemble des travaux intervenus durant le mariage, les juges précédents ont retenu, suivant en cela l'expertise, que la plus-value restante, de 240'000 fr., se composait de 150'000 fr. de travaux et de 90'000 fr. de plus-value conjoncturelle. Les juges précédents ont estimé que la manière dont le notaire avait calculé la plus-value conjoncturelle de l'immeuble acquise durant le mariage jusqu'à sa dissolution était correcte. De même, ils ont confirmé la répartition de cette plus-value entre les acquêts et les propres de l'époux en fonction de leurs apports : le compte d'acquêts ayant financé les travaux d'une valeur de 150'000 fr. et les propres, la valeur de l'immeuble, la plus-value conjoncturelle a été affectée à hauteur de 18'900 fr. aux acquêts du mari et pour 71'100 fr. aux biens propres. Le compte d'acquêts de l'époux a donc une créance contre les biens propres de 168'900 fr. et, dans la mesure où il faut imputer sur ce montant la part de l'augmentation de la dette hypothécaire supportée par les acquêts (87'000 fr.), les juges précédents, sur la base du calcul effectué par le notaire, ont retenu une valeur nette des acquêts pour l'immeuble de 81'900 fr.
Les juges cantonaux ont aussi confirmé les conclusions de l'expert en ce qui concerne la valeur des sculptures des époux, en particulier l'évaluation supérieure des sculptures du mari par rapport à celles de l'épouse du fait que celui-ci est un professionnel de la branche, contrairement à celle-là. L'autorité précédente ne s'est pas non plus éloignée du rapport d'expertise au sujet de la valeur de l'entreprise du mari. Elle a relevé que la comptabilité de la fonderie d'art incluait une créance de l'entreprise à l'égard du mari d'un montant de 62'212 fr. 76, constituée en réalité de prélèvements hors salaire de l'époux sur le compte de la société. Le notaire a pris cette créance en considération, en relevant que la société et l'époux représentent une seule et même entité économique, avec pour conséquence la "neutralisation de cette créance/dette". Selon les juges précédents, la conclusion de l'expert correspond à la situation particulière de l'époux par rapport à sa société; elle revient, selon eux, à "imputer aux acquêts" les prélèvements hors salaire de l'époux dans les comptes de son entreprise et à ne pas "rémunérer" ceux-ci. L'autorité cantonale précise en outre que la solution serait identique si l'on considérait que la créance des acquêts pour la plus-value générée par l'entreprise pendant le mariage était justifiée compte tenu de la rémunération du mari pour son activité dans la société, en sorte que, celle-ci étant tenue pour adéquate, le compte d'acquêts de cet époux n'a pas de prétentions supplémentaires à faire valoir au titre de l'art. 209 al. 3 CC.
S'agissant toujours de la liquidation du régime matrimonial, les juges précédents ont considéré, à l'instar du notaire, que la dette alléguée de 20'000 fr. en faveur d'un tiers, qui n'avait jamais fait l'objet de poursuites ou de tentatives de recouvrement et n'apparaissait ni dans la comptabilité du débiteur, ni dans celle du créancier, était douteuse et ne pouvait être retenue. Enfin, la cour cantonale a jugé que les explications du notaire étaient convaincantes en ce qui concerne les éventuelles économies de l'épouse - celle-ci a toujours intégralement dépensé ses revenus pour ses besoins et ceux du ménage - et a donc confirmé les conclusions du rapport d'expertise sur ce point, attribuant, en équité, un montant de 2'000 fr. au compte d'acquêts de celle-ci.
5.1 De manière générale, le recourant fait grief à la cour cantonale d'avoir fait siennes les conclusions du rapport d'expertise, et de son complément, sur la liquidation du régime matrimonial; lesdits rapports seraient incorrects en fait et contraires à la jurisprudence sur de nombreux points. Il remet en cause l'estimation de la valeur des sculptures créées par le recourant et l'intimée, la non-prise en considération d'une dette de l'époux, la sous-estimation des économies de l'épouse, l'évaluation de la valeur de l'immeuble "X._" et l'affectation de ce bien aux masses de l'époux, ainsi que l'augmentation de valeur de la société de celui-ci. Le recourant conteste ainsi également l'appréciation des expertises par la cour cantonale.
5.2 Le juge apprécie librement la force probante d'une expertise. L'expert doit limiter son examen aux points de fait; la résolution des questions de droit ressortit exclusivement au juge, qui ne peut pas déléguer cet examen à un tiers (ATF 130 I 337 consid. 5.4.1 p. 345; 113 II 429 consid. 3a p. 432). Le Tribunal fédéral se montre réservé en matière d'appréciation arbitraire des preuves (art. 9 Cst.) et n'intervient que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, de quelqu'autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables que, même sans connaissances spécifiques, le juge ne pouvait tout simplement pas les ignorer (arrêts 5A_676/2010 du 13 décembre 2011 consid. 3.2.3; 5A_831/2010 du 14 novembre 2011 consid. 2.1).
5.3 En tant que le recourant critique la valeur à laquelle le notaire a estimé les sculptures des époux, l'exclusion de ses comptes d'acquêts et de propres d'une dette de 20'000 fr. qu'il aurait à l'égard d'un tiers, faute d'indices en faveur de l'existence de cette dette, et l'évaluation des économies de l'épouse, à hauteur de 2'000 fr. seulement, le recourant s'en prend à des constatations de fait. Ce faisant, il entend se plaindre d'arbitraire dans l'établissement des faits et dans l'appréciation des preuves (art. 9 Cst.), mais ne soulève pas ce grief de manière claire et détaillée. Or, le Tribunal fédéral applique le droit d'office, hormis les droits fondamentaux (art. 106 LTF). La critique du recourant sur ces aspects de l'expertise ne satisfait pas à l'exigence d'allégation, le recourant ne faisant que de substituer sa propre appréciation et ses propres calculs à ceux de l'autorité précédente; elle est donc irrecevable (cf. supra consid. 2.1).
5.3 En tant que le recourant critique la valeur à laquelle le notaire a estimé les sculptures des époux, l'exclusion de ses comptes d'acquêts et de propres d'une dette de 20'000 fr. qu'il aurait à l'égard d'un tiers, faute d'indices en faveur de l'existence de cette dette, et l'évaluation des économies de l'épouse, à hauteur de 2'000 fr. seulement, le recourant s'en prend à des constatations de fait. Ce faisant, il entend se plaindre d'arbitraire dans l'établissement des faits et dans l'appréciation des preuves (art. 9 Cst.), mais ne soulève pas ce grief de manière claire et détaillée. Or, le Tribunal fédéral applique le droit d'office, hormis les droits fondamentaux (art. 106 LTF). La critique du recourant sur ces aspects de l'expertise ne satisfait pas à l'exigence d'allégation, le recourant ne faisant que de substituer sa propre appréciation et ses propres calculs à ceux de l'autorité précédente; elle est donc irrecevable (cf. supra consid. 2.1).
5.4 5.4.1 S'agissant de l'immeuble "X._", le recourant formule cinq reproches. D'abord, il critique l'affectation de cet immeuble et soutient à ce propos qu'il doit être affecté à ses biens propres. Il reproche ensuite aux juges précédents, à la lumière de la jurisprudence rendue au sujet de l'art. 211 CC, d'avoir tenu compte d'une valeur vénale inférieure à la réalité. Selon lui, le rapport de l'expert est vicié parce qu'il retient que la valeur de l'immeuble au jour du mariage était de 550'000 fr., alors qu'elle était nettement plus élevée, à savoir de 700'000 fr., compte tenu de son prix sur un marché libre et des rénovations avant mariage. En conséquence, il estime qu'il n'y a pas eu de plus-value conjoncturelle et soutient que les juges précédents ne pouvaient pas confirmer sans explication la valeur de l'immeuble au début du mariage, telle que retenue par l'expert; la jurisprudence et la doctrine conduisent à évaluer l'immeuble à sa valeur vénale avant les travaux de conservation ou d'amélioration. Il soutient en troisième lieu que les travaux effectués sur l'immeuble durant le mariage ont été financés essentiellement par un crédit hypothécaire à hauteur de 87'000 fr. et que l'intimée n'a pas investi dans l'amélioration ou la conservation de "X._", partant, qu'il n'existe aucune récompense des acquêts contre les biens propres. Le recourant expose quatrièmement que les travaux de rénovation effectués par ses neveux en contre-partie de la renonciation à un héritage n'ont pas été correctement évalués dans la détermination de la valeur des investissements. Il estime que le notaire a lapidairement retenu que la valeur du travail se montait à 10'000 fr. et juge pour sa part que la valeur des travaux des neveux n'est pas inférieure à 30'000 fr. Enfin, le recourant fait valoir que l'autorité cantonale a violé l'art. 209 al. 3 CC en reconnaissant une récompense de son compte d'acquêts contre ses biens propres, parce la plus-value serait due à des travaux sur l'immeuble financés par un crédit hypothécaire et grâce au travail de ses neveux, de sorte qu'il n'existerait aucune plus-value conjoncturelle durant le mariage. Il précise en outre que son épouse n'a jamais investi dans l'immeuble, si bien que les masses de celle-ci ne disposent d'aucune créance compensatrice contre lui.
5.4.2 Lors de la liquidation du régime matrimonial de la participation aux acquêts, les biens des époux sont estimés à leur valeur vénale (art. 211 CC; ATF 136 III 209 consid. 6.2.1 p. 215). La détermination de la valeur vénale est une question de fait (arrêt 5A_714/2009 du 16 décembre 2009 consid. 3.4) que le Tribunal fédéral ne corrige que si elle résulte d'une appréciation arbitraire (art. 97 al. 1 et 105 al. 2 LTF; arrêt 5A_650/2010 du 19 janvier 2011 consid. 3.1). En revanche, la définition des critères servant à fixer la valeur vénale de l'objet est une question de droit que le Tribunal fédéral peut revoir librement (art. 106 al. 1 LTF; ATF 132 III 489 consid. 2.3 p. 491; 125 III 1 consid. 5a p. 6).
Selon l'art. 209 al. 3 CC, il y a lieu à récompense lorsqu'une masse a contribué à l'amélioration ou à la conservation de biens appartenant à l'autre masse. La récompense, en cas de plus-value ou de moins-value, est proportionnelle à la contribution fournie et elle se calcule sur la valeur de ces biens à la liquidation ou à l'époque de leur aliénation (DANIEL STECK, FamKomm Scheidung, n° 15 ad art. 209 CC). Lorsque plusieurs masses ont contribué à l'amélioration ou à la conservation d'un bien au sens de l'art. 209 al. 3 CC et qu'une partie du financement a été assurée par une hypothèque, il se pose le problème de savoir comment répartir la plus-value afférente au financement par ces fonds étrangers. En tant que dette, l'hypothèque grève la masse à laquelle est attribué l'immeuble, conformément à l'art. 209 al. 2 CC, et la plus-value doit être répartie proportionnellement entre les diverses masses qui ont financé l'amélioration ou la conservation de l'immeuble (ATF 132 III 145 consid. 2.3.2 p. 150; 123 III 152 consid. 6b/bb p. 158 ss).
5.4.3 Ainsi que les juges précédents l'ont relevé, le recourant a acheté "X._" en 1997 pour 350'000 fr., en sorte que ce bien a été comptabilisé à juste titre dans le compte des biens propres du mari, au sens de l'art. 198 ch. 2 CC. La première critique du recourant tombe ainsi à faux. Le recourant a effectué des travaux de conservation et d'amélioration sur l'immeuble avant le mariage, en sorte que la valeur de l'immeuble au jour du mariage n'est pas équivalente à celle qu'il avait déboursée pour acquérir cet immeuble. La valeur à prendre en considération comprend donc également les travaux, induisant une plus-value, réalisés avant la célébration du mariage et la cour précédente, en dépit d'une erreur de terminologie (elle parle de "valeur d'acquisition"), a effectivement tenu compte de la valeur vénale au jour de la célébration du mariage, telle que celle-ci figure dans l'expertise. La doctrine et la jurisprudence citées par le recourant n'infirment pas cette règle. Par ailleurs, lorsque le recourant s'en prend à la manière dont l'expert a fixé cette valeur - que l'autorité cantonale a au demeurant confirmée-, il critique l'appréciation opérée par l'expert et les juges cantonaux, sans toutefois se plaindre d'arbitraire (art. 9 Cst.) dans l'appréciation des faits et preuves. Cette critique est ainsi irrecevable (cf. supra consid. 2.2 et 5.2). Il en va de même lorsque l'époux affirme que le prix payé était particulièrement avantageux et que l'immeuble sans travaux avait une valeur supérieure à celle retenue par le notaire. Au demeurant, le recourant ne saurait tirer argument des anciennes expertises réalisées sur l'immeuble plusieurs années avant son acquisition, faute de pertinence dans le contexte de la détermination de la valeur au jour du mariage. Force est de constater qu'en confirmant le contenu de l'expertise selon laquelle "X._" avait une valeur de 550'000 fr. au jour du mariage, les juges précédents n'ont donc pas violé le droit fédéral.
S'agissant de la critique relative au financement des travaux, le recourant part de la prémisse erronée que la valeur vénale du bien immobilier au moment du mariage était de 700'000 fr., ce qui doit être rejeté au vu de ce qui précède, le financement de travaux par un crédit hypothécaire ayant au demeurant été pris en considération, d'une part, l'arrêt ne constatant pas non plus un investissement de l'intimée à cet égard, d'autre part. Le troisième grief concernant l'immeuble est ainsi mal fondé. En ce qui concerne les travaux effectués par ses neveux, le recourant affirme, sans autres précisions, que la valeur du travail de ses deux neveux a été sous-évaluée et qu'elle est en tout état de cause supérieure à 30'000 fr. Ce faisant il ne s'en prend pas du tout au raisonnement de la cour cantonale et s'écarte des faits constatés dans l'arrêt attaqué. Le recourant se limite donc à substituer son propre point de vue à celui de la cour cantonale qui a suivi sur ce point l'estimation du rapport d'expertise, sans soulever le grief d'appréciation arbitraire des faits et des preuves (art. 9 Cst.), en sorte que sa critique est irrecevable (cf. supra consid. 2.2 et 5.2). En tenant compte d'une plus-value conjoncturelle de l'immeuble durant le mariage jusqu'au jour de la dissolution du régime matrimonial, puis en répartissant celle-ci proportionnellement entre les masses d'acquêts et de biens propres du mari en fonction des apports de ces masses, les juges cantonaux, qui ont d'ailleurs suivi sur cette question l'avis exprimé par le notaire dans l'expertise, n'ont pas violé le droit, en particulier l'art. 209 al. 3 CC (cf. supra consid. 5.4.2). Le recourant, qui affirme qu'il n'y a pas lieu à récompense entre les acquêts et les biens propres au motif qu'il n'existerait pas de plus-value de l'immeuble durant "l'union matrimoniale", part en effet - comme cela a été indiqué ci-avant - d'un fait non établi, à savoir que la valeur vénale de "X._" était de 700'000 fr. au minimum au jour du mariage. Pour le surplus, il n'y a pas lieu de revoir le calcul de l'expert, confirmé par l'autorité précédente, le recourant n'émettant aucun reproche sur la méthode de calcul de répartition proportionnelle de la plus-value. Enfin, il n'est pas contesté que les masses de l'épouse n'ont aucune prétention en créance compensatrice relative au financement de l'immeuble du mari, la créance dont celle-ci est titulaire du fait de la liquidation du régime matrimonial résultant du partage du bénéfice de l'union conjugale (art. 215 al. 1 CC); ainsi l'argumentation du recourant à cet égard est dénuée de pertinence.
Il s'ensuit que les reproches formulés par le recourant au sujet de l'immeuble se révèlent tous mal fondés, autant qu'ils sont recevables.
5.5 Enfin, le recourant critique aussi l'augmentation de 51'300 fr. de la valeur de sa société, telle que déterminée par l'expert, affirmant que le notaire n'a pas appliqué les critères comptables pertinents pour évaluer une hypothétique hausse des fonds propres de son entreprise durant le mariage. L'expert ne pouvait pas, selon lui, comparer deux bilans, cette méthode d'évaluation ne correspondant en rien à une évaluation effectuée selon les critères de l'économie d'entreprise, à savoir en adoptant une perspective dynamique qui ne tient pas compte des fonds présents dans une entreprise à un moment donné mais se fonde sur les perspectives de l'entreprise sur le marché. Le recourant soutient en outre que l'évaluation de la substance de l'entreprise est erronée parce que l'accroissement des fonds propres ne tient pas compte du passif du bilan de la société, lequel comprend le capital-social de 50'000 fr. que l'époux possédait avant le mariage, qui constitue ainsi un bien propre. Indépendamment des erreurs de calculs, le recourant estime qu'il n'y a "dans tous les cas pas lieu de retenir un montant de 51'300 fr. à titre d'augmentation des fonds propres de [son entreprise] dans le bénéfice de l'union conjugale" car il s'agirait d'une augmentation réalisée grâce au travail fourni, autrement dit de nature industrielle, ne donnant pas lieu à une créance compensatrice des acquêts, ceux-ci ayant déjà été récompensés par le salaire perçu en contrepartie de l'activité de l'époux propriétaire. Il cite à l'appui de son raisonnement l'ATF 131 III 559 et conclut que la dette de 62'212 fr. 76 que le recourant a contre la société et grevant ses acquêts doit être comptabilisée.
5.5.1 S'agissant du grief relatif aux critères d'évaluation d'une entreprise, le recourant relève au passage que la cour cantonale ne l'a pas examiné, bien qu'il fut soulevé en appel. Sous couvert de la critique du non-examen, le recourant reproche en réalité à la cour cantonale d'avoir violé son droit d'être entendu garanti à l'art. 29 al. 2 Cst. Le recourant ne soulève cependant pas ce grief et se contente d'émettre sa désapprobation en quelques lignes, sans l'exposer plus avant; cette critique, qui n'est pas motivée à suffisance de droit, est d'emblée irrecevable (art. 106 al. 2 LTF; cf. supra consid. 2.1).
5.5.2 Dès lors que le principe de la transparence s'applique au cas d'espèce (cf. supra consid. 4.1.3), il n'y a pas lieu de traiter la société comme une entité juridique indépendante du recourant. L'époux propriétaire de la société dispose ainsi d'un capital social dans son patrimoine, en l'occurrence ses biens propres, dont la valeur doit être estimée au jour de la liquidation du régime matrimonial (ATF 121 III 152). A cet égard, les juges précédents ont évalué la substance de l'entreprise, ainsi que l'augmentation de valeur de celle-ci au cours du mariage, sur la base des bilans de la société, autrement dit, en fonction de son état financier à des moments déterminés. Dans ce contexte, il n'y a pas lieu de tenir compte d'une perspective dynamique soit d'une évolution future probable, comme le soutient le recourant. C'est également en vain qu'il se réfère à l'ATF 131 III 559 qui visait une situation différente, à savoir la problématique de l'affectation à une masse de la plus-value découlant de la vente d'actions d'une entreprise appartenant pour l'essentiel à un époux. Quoi qu'il en soit, il n'est pas contraire au droit de ne pas tenir compte d'une hypothétique plus-value dégagée dans l'intervalle, celle-ci n'étant en définitive réalisée qu'ultérieurement, par exemple lors de la vente de la société. La cour cantonale pouvait ainsi se baser in casu sur les données comptables. S'agissant du capital social, d'un montant de 50'000 fr. affectés aux biens propres de l'époux, il reste à juste titre inchangé dans le calcul fondé sur la différence entre les fonds propres du bilan du 31 décembre 1997 et les fonds propres du 31 décembre 2007. En outre, vu ce qui précède, la critique du recourant relative à la comptabilisation d'une créance qu'il aurait à l'égard de sa société en raison de l'augmentation de sa valeur est dénuée de pertinence. La non-reconnaissance de la société en tant qu'identité juridique propre (principe de la transparence), partant, l'affectation de la substance de la société au patrimoine de l'époux, implique de ne pas prendre en considération la "dette" envers la société, la cour cantonale parlant de "neutralisation". Au surplus, l'évolution financière de la société a été prise en compte dans le patrimoine de l'époux, dans le cadre de la liquidation du régime matrimonial et de la détermination de la valeur des biens de chaque masse des époux. En définitive, le reproche du recourant est infondé parce qu'il part du postulat erroné que le principe de la transparence ne s'applique pas dans cette affaire (cf. supra consid. 4.1.3). Enfin, l'argumentation subsidiaire de l'autorité précédente relative à cette créance n'a pas à être examinée, le raisonnement principal des juges précédents devant déjà être confirmé.
6. Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions du recourant étant d'emblée dépourvues de toute chance de succès, sa requête d'assistance judiciaire ne saurait être agréée (art. 64 LTF). Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'intimée qui n'a pas été invitée à se déterminer.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 juin 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin