Faits:
A. A.a A._, né en 1965, et dame A._, née en 1962, se sont mariés le 23 juin 1988 à Carouge. Ils ont adopté le régime de la séparation de biens par contrat de mariage du 26 mai 1988.
Le couple a deux enfants: B._, né le 1er novembre 1997, et C._, née le 23 novembre 1999, tous deux adoptés.
Les époux A._ vivent séparés depuis le 1er avril 2006.
A.b Dame A._ a acquis en 1991, pour 900'000 fr., un bien immobilier sis à X._ et constituant le logement familial. Cette acquisition a été financée par un don de ses parents de 400'000 fr. ainsi que par une dette hypothécaire, à hauteur de 500'000 fr., contractée au nom des deux époux, en qualité de débiteurs solidaires. D'autres contrats de prêts hypothécaires ont par la suite été conclus, le dernier portant sur 450'000 fr. Ils ont été amortis en partie, en particulier par l'époux pour un montant de 14'000 fr.
En lien avec le bien immobilier, propriété de son épouse, l'époux a allégué avoir consacré de nombreuses heures à des travaux d'établissement de plans et de rénovation. Il estime y avoir consacré environ 430 heures, correspondant à une rémunération de 34'640 fr., ainsi qu'avoir pourvu à leur financement à hauteur de 165'660 fr. Invoquant la constitution, par actes concluants, d'une société simple tendant à l'acquisition et au développement de la demeure familiale, il entend en outre participer à la plus-value acquise par l'immeuble à raison d'un tiers, cette part ayant été réduite en raison du coût des droits de greffe.
B. B.a Par acte déposé le 18 juin 2008, l'époux a formé une requête unilatérale en divorce auprès du Tribunal de première instance du canton de Genève.
Par jugement du 15 avril 2010, le tribunal a prononcé la dissolution du mariage contracté par les parties. Il a entre autres attribué l'autorité parentale et la garde sur les deux enfants du couple à la mère; réservé un large droit de visite en faveur du père s'exerçant d'entente entre les parties, mais au minimum une semaine sur deux du mercredi soir 18h00 heures au lundi matin 8h00, ainsi que la moitié des vacances scolaires; condamné ce dernier à contribuer à l'entretien de chacun d'eux par le versement d'une somme mensuelle de 600 fr. jusqu'à l'âge de 15 ans et de 700 fr. jusqu'à la majorité, voire au-delà mais jusqu'à 25 ans au maximum en cas d'études sérieuses; et dit que les époux avaient liquidé leurs rapports patrimoniaux et qu'ils n'avaient plus aucune prétention à faire valoir de ce chef.
B.b Statuant sur appel des deux parties, par arrêt du 17 juin 2011, la Cour de justice du canton de Genève a réformé ce jugement en ce sens qu'elle a fixé le droit de visite en faveur du père, à défaut d'entente, jusqu'au dimanche soir 20h00 et condamné l'épouse à verser au mari une somme de 40'000 fr. avec intérêt à 5% dès le 18 juin 2008 à titre d'indemnité équitable au sens de l'art. 165 al. 2 CC.
C. L'époux interjette le 18 août 2011 un recours en matière civile au Tribunal fédéral, concluant à la réforme de l'arrêt attaqué en ce sens que l'autorité parentale conjointe des parties sur les enfants soit maintenue et que l'épouse soit condamnée à lui verser une somme de 321'324 fr. 15 avec intérêt à 5% dès le 18 juin 2008. Subsidiairement, il requiert le renvoi de la cause pour nouvelle instruction s'agissant de l'autorité parentale conjointe. Il se plaint d'arbitraire dans l'établissement des faits et de violation des art. 8 et 14 CEDH, de l'art. 133 al. 3 CC, ainsi que des art. 29 al. 2 Cst., 530 ss CO et subsidiairement de l'art. 165 CC.
Des observations n'ont pas été requises.
Considérant en droit:
1. Le recours a été interjeté - compte tenu des féries estivales (art. 46 al. 1 let. b LTF) - dans le délai légal (art. 100 al. 1 LTF), contre une décision finale (art. 90 LTF), prise en dernière instance cantonale et sur recours par le tribunal supérieur du canton de Genève (art. 75 al. 1 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF), dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b LTF). Le recourant a par ailleurs pris part à la procédure devant l'autorité précédente et démontre un intérêt digne de protection à la modification de la décision attaquée (art. 76 al. 1 LTF), de sorte que le recours en matière civile est en principe recevable.
2. 2.1 Saisi d'un recours en matière civile, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2). Il ne connaît cependant de la violation des droits fondamentaux que si ce grief a été soulevé et motivé par le recourant (art. 106 al. 2 LTF; ATF 134 I 83 consid. 3.2; 133 II 249 consid. 1.4.2). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer, par une argumentation précise, en quoi consiste la violation (principe d'allégation; Rügeprinzip; principio dell'allegazione; ATF 133 IV 286 consid. 1.4; 133 II 249 consid. 1.4.2).
2.2 Le Tribunal fédéral ne peut s'écarter des faits établis par l'autorité précédente que si ceux-ci l'ont été de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2), doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1).
2.3 Lorsque le juge statue en équité (art. 4 CC), le Tribunal fédéral ne substitue pas sa propre appréciation à celle de l'instance cantonale. Il n'intervient que si la décision s'écarte sans raison sérieuse des règles établies par la jurisprudence ou s'appuie sur des faits qui, en l'occurrence, ne jouent aucun rôle ou, à l'inverse, ne tient pas compte d'éléments qui auraient absolument dû être pris en considération. Le Tribunal fédéral sanctionne, en outre, les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF 128 III 161 consid. 2c/aa; 131 III 12 consid. 4.2; 132 III 97 consid. 1). Compte tenu du devoir de motivation des recours (art. 42 al. 2 LTF), il appartient au recourant de démontrer que les conditions d'une modification de la décision cantonale rendue en vertu d'un pouvoir d'appréciation sont réunies (arrêt 5A_677/2010 du 11 novembre 2010 consid. 3.1; arrêt 5A_18/2011 du 1er juin 2011 consid. 3.1.2).
3. Le recourant s'en prend tout d'abord à l'arrêt cantonal en tant qu'il n'a pas maintenu l'autorité parentale conjointe sur les enfants. Il se prévaut notamment d'un arrêt du 3 décembre 2009 rendu par la Cour européenne des droits de l'homme (CourEDH) contre l'Allemagne.
3.1 L'art. 133 al. 3 CC prévoit, comme une exception au principe de l'attribution de l'autorité parentale à l'un des parents (art. 133 al. 1 CC), que sur requête conjointe des père et mère, le juge maintient l'exercice en commun de l'autorité parentale après le divorce, pour autant que cela soit compatible avec le bien de l'enfant et que les parents soumettent à sa ratification une convention qui détermine leur participation à la prise en charge de l'enfant et la répartition des frais d'entretien de celui-ci. Ainsi, même dans le cas où les parents requièrent conjointement le maintien de l'exercice en commun de l'autorité parentale après le divorce et soumettent à la ratification du juge une convention prévoyant un droit de garde conjoint, l'admissibilité d'un tel accord doit être appréciée sous l'angle du bien de l'enfant et dépend essentiellement des circonstances du cas particulier, telles que l'âge de l'enfant, la proximité des logements parentaux entre eux et avec l'école, la capacité de coopération des parents. Selon la jurisprudence, l'instauration d'un droit de garde conjoint présuppose en tous les cas l'accord des deux parents et ne peut être imposée à l'un d'entre eux contre sa volonté (arrêts 5C.42/2001 du 18 mai 2001 consid. 3 publié in FamPra.ch 2001 p. 823; 5A_495/2008 du 30 octobre 2008 consid. 4.2 publié in FamPra.ch 2009 p. 238).
3.2 Le recourant reproche à la cour cantonale d'avoir violé l'art. 8 CEDH dès lors qu'elle n'a pas examiné si le maintien de l'autorité parentale conjointe était dans l'intérêt supérieur des enfants, malgré l'absence de requête commune, plus précisément si, en application de l'art. 8 § 2 CEDH, le refus du maintien de l'autorité parentale conjointe était une mesure nécessaire à la protection des intérêts supérieurs des enfants. A cet égard, il précise que les conditions de l'art. 133 al. 3 CC qui exige une requête commune ainsi qu'un accord sur la répartition des frais d'entretien sont incompatibles avec l'art. 8 CEDH. Enfin, s'agissant du bien de l'enfant, il invoque une violation de l'art. 133 al. 3 CC, de la maxime d'office, ainsi qu'une appréciation arbitraire des faits. Sur ce point, il se plaint de ce que la cour cantonale s'est focalisée sur certains désaccords qui existeraient entre les parties quant à leur participation respective à la prise en charge des enfants et à la répartition entre elles des frais d'entretien de ces derniers et qui refléteraient l'absence d'une bonne capacité de collaboration et de communication. Il indique notamment que le rapport du Service de protection des mineurs (SPMi) est ancien, qu'il évoque un décalage entre les parties s'agissant de l'exercice du droit de visite, lequel a finalement pu être réglé de manière satisfaisante pour les enfants, mais ne fait pas état de désaccords. Quant au défaut de communication, il fait valoir que les parents ont exercé conjointement l'autorité parentale durant près de cinq ans de manière harmonieuse et, selon le rapport du SPMi, de manière satisfaisante pour les enfants, de sorte que la situation actuelle répond entièrement à l'intérêt supérieur de ceux-ci. À titre subsidiaire, il conclut au renvoi de la cause pour instruction sur cette question.
3.3 La cour cantonale a considéré que la situation du recourant n'était pas identique à celle du requérant allemand en tant qu'il est un père marié puis divorcé et que, en droit suisse, l'autorité parentale n'est pas attribuée automatiquement à la mère en cas de divorce, le père pouvant l'obtenir au même titre que celle-ci. Elle en déduit que la solution de l'art. 133 al. 3 CC n'est pas discriminatoire. Par ailleurs, elle a constaté que les autres conditions du maintien de l'autorité parentale conjointe n'étaient pas réalisées, en particulier que cela ne paraissait pas la solution la plus propice à l'intérêt des enfants, en raison du manque de communication entre les parties et des relations tendues qu'elles entretenaient.
3.4 L'arrêt de la CourEDH dont se prévaut le recourant a été rendu dans l'affaire no 22028/04 Zaunegger contre Allemagne, publié in FamPra.ch 2010 p. 213 et in EuGRZ 2010 p. 42. Horst Zaunegger est le père d'une fille, née en 1995, qui a grandi auprès de ses deux parents non mariés jusqu'à la séparation de ceux-ci en 1998. La mère n'ayant pas donné son accord à un exercice conjoint de l'autorité parentale, le père a demandé que celle-ci lui soit attribuée par le tribunal compétent. Sa demande a été rejetée pour le motif que, en droit allemand, les parents non mariés ne peuvent obtenir l'autorité parentale conjointe que par une déclaration commune, en se mariant ou, avec l'accord de la mère, par une décision judiciaire. Examinant la question sous l'angle d'une prétendue violation de l'interdiction de discrimination (art. 14 CEDH) en relation avec le droit au respect de la vie privée et familiale (art. 8 CEDH), telle qu'elle était soulevée par Horst Zaunegger, qui faisait valoir que la législation allemande discriminait les pères non mariés aussi bien en raison de leur sexe que par rapport aux pères mariés, la CourEDH a jugé que l'exclusion générale de l'examen judiciaire de l'autorité parentale de la mère lorsque les parents ne sont pas mariés (et l'impossibilité de transférer l'autorité parentale au seul père) était discriminatoire par rapport à la situation de parents mariés. Elle a réfuté en particulier l'argument du gouvernement allemand, selon lequel l'exercice conjoint de l'autorité parentale contre la volonté de la mère serait, par principe, contraire à l'intérêt de l'enfant et a admis, par conséquent, une violation de l'art. 14 CEDH combiné avec l'art. 8 CEDH.
3.5 Comme relevé à juste titre par la cour cantonale, l'état de fait de la présente affaire diffère de celui soumis à la CourEDH sur plusieurs points. D'une part, le recourant est le père divorcé des enfants, alors que, dans la cause Zaunegger, les parents n'étaient pas mariés. D'autre part, la jurisprudence invoquée tranche la question de la conformité du droit allemand, et non de celle du droit suisse, avec la CEDH. Dans le droit suisse du divorce, en tant que père marié, le recourant peut non seulement prétendre que l'autorité parentale lui soit attribuée mais il est aussi sur pied d'égalité avec la mère. L'art. 133 al. 1 CC ne donne en effet pas la préférence à un parent plutôt qu'à l'autre. La mère ne dispose par ailleurs d'aucun privilège en raison de son sexe; elle n'a aucun droit de véto en la matière et, contrairement à ce que prévoit la législation allemande pour les parents non mariés, ainsi qu'il en était question dans l'affaire Zaunegger, un juge est appelé à trancher la question en se fondant sur l'intérêt de l'enfant (art. 133 al. 2 CC; arrêt 5A_420/2010 du 11 août 2011 consid. 3.2 et les références citées).
Il en résulte qu'aucun argument en faveur de la thèse du recourant prétendant que les conditions fixées par l'art. 133 al. 3 CC consacreraient une violation de l'art. 8 CEDH ne peut être tiré de l'arrêt Zaunegger qui se fonde sur un autre état de fait que celui soumis à la Cour de céans et dont l'objet était différent de celui de la présente procédure. La question de la conformité des conditions de l'art. 133 al. 3 CC avec l'art. 8 CEDH peut pour le reste demeurer indécise.
En l'occurrence, la cour cantonale a jugé que le maintien de l'autorité parentale conjointe ne constituait pas la solution la plus propice à l'intérêt des enfants en raison du défaut de communication et de collaboration entre les parties. Il ressort des faits constatés par la juridiction cantonale que les deux parents ne parviennent qu'à un échange minimum au sujet des enfants et qu'ils ne conçoivent pas de la même manière leurs besoins actuels, s'agissant de leur rythme et de leur cadre de vie. En tant que le recourant fait valoir que le rapport du SPMi relevant ces difficultés est ancien et que le décalage évoqué entre les parties est désormais résolu, sa critique ne suffit pas à faire apparaître arbitraire les constatations de fait de la cour cantonale; elle ne démontre notamment pas que l'entente entre les parties serait suffisante pour l'exercice de l'autorité parentale conjointe. Lorsqu'il se prévaut de la situation actuelle, ayant duré près de cinq ans et qu'il qualifie d'harmonieuse et de satisfaisante, le recourant se contente d'opposer sa propre appréciation des faits mais ne parvient pas à démontrer que l'autorité précédente aurait arbitrairement retenu un manque de communication et de collaboration entre les parties. Enfin il ne saurait être reproché à la cour cantonale de ne pas avoir instruit la question de savoir si le maintien de l'autorité parentale conjointe serait dans l'intérêt des enfants puisque c'est précisément en raison du défaut de capacité suffisante des parties à collaborer et à communiquer au sujet des enfants que celle-ci a été écartée.
Aussi, à la lumière des faits établis par les juges précédents, le refus du maintien de l'autorité parentale conjointe, pour le motif que cette mesure ne serait pas propice à l'intérêt des enfants, est à l'évidence conforme à l'art. 133 al. 3 CC ainsi qu'aux art. 8 et 14 CEDH. Il s'ensuit que pour autant qu'il soit recevable, le grief du recourant doit être rejeté.
4. Dans un deuxième grief, le recourant reproche à la cour cantonale de ne pas avoir retenu l'existence d'une société simple concernant la gestion du bien immobilier, propriété de l'intimée. Il se plaint du non-respect de son droit d'être entendu (art. 29 al. 2 Cst.) en tant que la cour cantonale n'aurait pas suffisamment motivé sa décision sur ce point et invoque une violation de l'art. 530 CC.
5. Le recourant se plaint de ce que la cour cantonale n'a consacré que deux paragraphes à la question de l'existence d'une société simple entre les époux; il lui reproche notamment d'énumérer une série d'éléments en faveur de son existence avant de conclure abruptement que, à défaut d'autres indices, celle-ci devait être niée. Il estime que la seule mention de l'absence d'autres indices ne permet pas de comprendre les motifs qui ont conduit à nier la constitution d'une société simple, ce d'autant moins que la juridiction a correctement énuméré tous les apports effectués par lui.
5.1 La jurisprudence a notamment déduit de l'art. 29 al. 2 Cst., qui garantit le droit d'être entendu, le devoir pour l'autorité de motiver sa décision afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 133 III 439 consid. 3.3; arrêt 5A_8/2010 du 10 mars 2010 consid. 4.2.1). Comme le droit à une décision motivée participe de la nature formelle du droit d'être entendu (ATF 104 Ia 201 consid. 5g), ce moyen doit être examiné en premier lieu (ATF 124 I 49 consid. 1) et avec une pleine cognition (ATF 121 I 54 consid. 2a).
5.2 En l'espèce, la motivation de la cour cantonale ne consacre aucune violation du droit d'être entendu. Même si l'autorité précédente n'expose pas de manière très détaillée les raisons qui l'ont conduite à nier l'existence d'une société simple, elle a énuméré les indices invoqués par le recourant pour en conclure qu'ils n'étaient pas suffisants. Il ressort, par ailleurs, de son argumentation fondée sur la violation de l'art. 530 CO que le recourant a compris le sens et la portée de l'arrêt déféré. Au demeurant, si un défaut de motivation devait être admis, la Cour de céans serait de toute manière habilitée à guérir ce vice dès lors qu'elle revoit librement l'application du droit, dont relève la qualification juridique d'un contrat (ATF 131 III 217 consid. 3). Mal fondé, le grief doit ainsi être rejeté.
6. Au titre de violation de l'art. 530 CO, le recourant prétend qu'il a formé avec son épouse une société simple tendant à l'acquisition et au développement de la demeure familiale. Il invoque avoir fait différents apports, dûment constatés par la cour cantonale, précisant que les apports financiers effectués sur l'immeuble ont mobilisé l'entier de ses revenus disponibles et que les travaux réalisés l'ont occupé plusieurs mois durant son temps libre pendant plusieurs années. Il en déduit que, sa contribution étant notablement supérieure à l'entretien exigé par l'art. 163 CC, le but de la société, qu'il formerait avec son épouse, ne s'est pas épuisé dans la réalisation du mariage. Quant à l'apport de celle-ci, il a, selon lui, consisté en l'acquisition du bien immobilier. Enfin, s'agissant de l'animus societatis, il invoque l'acquisition du bien immobilier lui-même, son amélioration et son développement en vue d'abriter la famille. Il en conclut qu'une société simple avait été constituée tacitement, par actes concluants.
6.1 Selon l'art. 530 al. 1 CO, la société simple est un contrat par lequel deux ou plusieurs personnes conviennent d'unir leurs efforts ou leurs ressources en vue d'atteindre un but commun. Il faut encore - ce qui ne donne pas matière à discussion en l'espèce - que la société ne présente pas les caractères distinctifs d'une autre société réglée par la loi (art. 530 al. 2 CO).
La société simple se présente comme un contrat de durée dont les éléments caractéristiques sont, d'une part, le but commun qui rassemble les efforts des associés et, d'autre part, l'existence d'un apport, c'est-à-dire une prestation que chaque associé doit faire au profit de la société (ATF 137 III 455 consid. 3.1).
6.1.1 S'agissant du but commun, acheter en propriété commune un immeuble (ATF 127 III 46 consid. 3b) ou construire un bâtiment en commun (ATF 134 III 597 consid. 3.2) constitue typiquement un but de société simple. L'art. 530 CO n'exige pas que la société tende à réaliser un bénéfice. Il n'est pas nécessaire non plus qu'elle soit conçue pour durer de manière illimitée (ATF 137 III 455 consid. 3.1 et les références citées). Entre époux, le but de la société ne doit cependant pas s'épuiser en la réalisation des buts du mariage (DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 2009, n. 502; HAUSHEER/REUSSER/GEISER, Berner Kommentar, n° 43 ad art. 165 CC; HOHL IRENE, Gesellschaften unter Ehegatten, 1997, 2e éd, p. 84 ss).
Pour ce qui est de l'apport que chaque associé doit fournir, il peut consister aussi bien dans une prestation patrimoniale que dans une prestation personnelle (ATF 137 III 455 consid. 3.1). Il n'est pas nécessaire que les apports soient égaux, puisque le contraire peut être convenu tacitement, sous réserve d'une violation de l'art. 27 al. 1 CC, cette dernière question n'étant toutefois pas discutée ici (cf. arrêt 4A_21/2011 du 4 avril 2011 consid. 3.3; arrêt 4A_509/2010 du 11 mars 2011 consid. 5.5.1). L'apport, régi par l'art. 531 CO, ne doit pas nécessairement consister en une prestation appréciable en argent et susceptible d'être comptabilisée (ATF 137 III 455 consid. 3.1 et les références citées).
6.1.2 Le contrat de société simple ne requiert, pour sa validité, l'observation d'aucune forme spéciale; il peut donc se créer par actes concluants, voire sans que les parties en aient même conscience (ATF 124 III 363 consid. II/2a; arrêt 4A_21/2011 du 4 avril 2011 consid. 3.1 publié in SJ 2011, p. 481). Cela étant, l'apport de certains biens en propriété, en particulier les biens immobiliers, implique le respect des règles qui leur sont propres, à savoir acte authentique et inscription au registre foncier pour les immeubles (art. 657 al. 1 CC et 90 al. 1 let. c et 96 al. 3 de l'ordonnance sur le registre foncier [ORF, RS 211.432.1]; TERCIER/FAVRE, Les contrats spéciaux, 2009, n° 7531; CHAIX, Commentaire romand, 2008, n° 4 ad art. 531 CO; FELLMANN/MÜLLER, Berner Kommentar, 2006, n° 535 ss ad art. 530 CO; HANDSCHIN/VOLLZUN, Zürcher Kommentar, 2009, n° 149 ad art. 530 CO; HOHL, op. cit., p. 108 s.; BRÄM, Gemeinschaftliches Eigentum unter Ehegatten an Grundstücken, 1997, p. 33; cf. également ATF 68 III 42, p. 44; 78 II 302, p. 310).
Les règles d'interprétation déduites de l'art. 18 CO s'appliquent également aux contrats conclus par actes concluants, en ce sens qu'il s'agit d'abord de rechercher la volonté réelle des parties puis, à défaut, d'interpréter leurs comportements selon le principe de la confiance (arrêts 4A_21/2011 du 4 avril 2011 consid. 3.1 publié in SJ 2011 I, p. 481; 4C.54/2001 du 9 avril 2002 consid. 2b publié in SJ 2002 I, p. 557). La détermination de la volonté réelle, en particulier la volonté constitutive de l'animus societatis, relève des constatations de fait (ATF 131 III 606 consid. 4.1), qui lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'elles ne soient manifestement inexactes (art. 97 al. 1 et 105 al. 2 LTF), c'est-à-dire arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2, 384 consid. 4.2.2). En revanche, la détermination de la volonté objective, selon le principe de la confiance, est une question de droit, que le Tribunal fédéral examine librement; pour la trancher, il faut cependant se fonder sur les circonstances concrètes, lesquelles relèvent du fait (ATF 132 III 268 consid. 2.3.2, 626 consid. 3.1; 131 III 586 consid. 4.2.3.1).
6.2 La cour cantonale a constaté que l'épouse était la seule propriétaire de l'immeuble dans lequel le couple et leurs enfants ont vécu et que les époux avaient choisi le régime de la séparation de biens. En outre, elle a relevé que, entre 1991 et 2006, d'importants travaux avaient été effectués dans la maison, à savoir dans le jardin, dans les combles, dans le garage et au sous-sol. Elle a également retenu que l'enquête avait permis de confirmer que l'époux avait exécuté lui-même une partie des travaux, ce qui l'avait occupé plusieurs mois durant son temps libre, qu'il avait réalisé les plans des travaux et que c'était lui qui donnait les instructions aux différents entrepreneurs qui étaient intervenus. La juridiction a par ailleurs considéré pour établi que celui-ci avait payé un montant de 105'324 fr. 15 pour la réalisation de ces travaux. En droit, elle a estimé que le fait que l'époux ait été codébiteur solidaire des contrats de prêt, qu'il ait contribué à l'amortissement du crédit hypothécaire et au paiement des intérêts et qu'il ait consacré du temps et des ressources financières à l'amélioration du bien immobilier, ne suffisait pas pour conclure à l'existence d'une société simple et en a déduit que, à défaut d'autres indices en ce sens, on ne pouvait retenir l'existence d'une convention entre les parties à cet égard.
6.3 En l'occurrence, le recourant invoque la constitution d'une société simple en vue de l'acquisition et du développement de la demeure familiale, l'apport de son épouse consistant en l'acquisition de l'immeuble. Pour réaliser ce but, il aurait donc fallu que l'acte d'apport de l'immeuble par l'épouse à la prétendue société revêtît la forme authentique et que les époux figurassent tous deux en qualité de propriétaires communs au registre foncier (cf. supra consid. 6.1.2). Or, force est d'admettre que tel n'est pas le cas en l'espèce. Au contraire, les époux ont adopté le régime de la séparation de biens et l'immeuble en cause a été acquis par l'épouse seule, qui en est toujours demeurée l'unique propriétaire. Dans ces circonstances, on ne saurait conclure à l'existence d'une société simple entre les parties dont le but commun aurait été l'acquisition et le développement de la demeure familiale. Il s'ensuit que la cour cantonale n'a nullement méconnu l'art. 530 CC en considérant que, quels que soient les investissements financiers et en nature effectués par le recourant pour l'amélioration et l'aménagement de l'immeuble, propriété de son épouse, ils n'étaient pas suffisants pour admettre la conclusion tacite d'un contrat de société simple entre les parties à cet égard. Mal fondé, le recours doit ainsi être rejeté sur ce point.
7. À titre subsidiaire, dans l'hypothèse où l'existence d'une société simple serait niée, le recourant invoque une violation de l'art. 165 al. 2 CC ainsi que des art. 9 Cst. et 4 CC en tant que l'autorité précédente ne lui a alloué qu'un montant de 40'000 fr.
7. À titre subsidiaire, dans l'hypothèse où l'existence d'une société simple serait niée, le recourant invoque une violation de l'art. 165 al. 2 CC ainsi que des art. 9 Cst. et 4 CC en tant que l'autorité précédente ne lui a alloué qu'un montant de 40'000 fr.
7.1 7.1.1 Aux termes de l'art. 163 al. 1 CC, mari et femme contribuent, chacun selon ses facultés, à l'entretien convenable de la famille. Selon leur accord, cette contribution peut consister en des prestations en argent (art. 163 al. 2 CC). Celles-ci sont avant tout fournies par le produit du travail de l'un des époux ou des deux, voire du rendement de leur fortune. En vertu de leur devoir général d'assistance (art. 159 al. 3 CC), les conjoints peuvent également être contraints, dans des circonstances particulières, d'entamer leur capital dans l'intérêt du ménage (ATF 134 III 581 consid. 3.3 et les références citées), sous réserve d'une éventuelle indemnité au sens de l'art. 165 al. 2 CC. En vertu de cette disposition, l'époux qui, par ses revenus ou sa fortune, a contribué à l'entretien de la famille dans une mesure notablement supérieure à ce qu'il devait a droit à une indemnité équitable. Ainsi que cela résulte clairement de son texte, l'art. 165 al. 2 CC ne vise que les contributions provenant des revenus ou de la fortune d'un conjoint mais ne comprend pas le travail fourni par un époux dans l'amélioration et l'entretien du bien immobilier propriété de son conjoint (cf. arrêt 5C.137/2001 du 2 octobre 2001 consid. 3b/cc publié in FamPra.ch 2002 p. 118 et les références citées). De son côté, l'art. 165 al. 1 CC ne s'applique qu'au travail fourni dans le cadre de la collaboration à la profession ou à l'entreprise du conjoint (même arrêt consid. 3b/bb).
Les art. 163 ss CC, notamment l'art. 165 al. 2 CC, ressortissent aux dispositions générales du droit du mariage et sont ainsi applicables quel que soit le régime matrimonial adopté par les époux, en particulier en cas de séparation de biens, alors que l'art. 206 CC ne vaut que pour le régime de la participation aux acquêts.
7.1.2 Pour déterminer si une indemnité est due, il convient dans un premier temps de faire la part entre l'entretien normal au sens de l'art. 163 CC et les contributions extraordinaires de l'art. 165 al. 2 CC, la convention entre les époux concernant leurs contributions respectives constituant la base à cette détermination. A défaut d'accord entre les époux sur la répartition de leurs tâches, la mesure de l'apport pécuniaire s'apprécie selon les circonstances objectives existant au moment où celui-ci a été apporté, sans égard au fait que l'époux bénéficiaire était ou non conscient que la participation financière de son conjoint dépassait les devoirs imposés par le droit matrimonial. Il importe d'évaluer dans chaque cas la nature et l'ampleur de l'apport pécuniaire, en le mettant en rapport avec les autres prestations fournies comme contribution ordinaire aux charges du mariage. En l'absence de critères généraux applicables dans ce domaine, le juge statue en équité en se fondant sur les particularités importantes de l'espèce (art. 4 CC; arrêt 5A_290/2009 du 13 août 2009 consid. 3.2 publié in FamPra.ch 2009, p. 1065; cf. s'agissant de l'art. 165 al. 1 CC: ATF 120 II 280 consid. 6a; arrêts 5C.290/2006 du 9 mars 2007 consid. 2.1 publié in FamPra.ch 2007, p. 633; 5C.199/2005 du 12 octobre 2005 consid. 2.1 publié in FamPra.ch 2006, p. 125). La nature et la mesure concrètes de la participation financière ressortissent au domaine des faits; savoir si cette contribution est notablement supérieure aux obligations découlant des devoirs généraux du mariage est en revanche une question de droit, que le Tribunal fédéral peut revoir librement. Il s'impose toutefois une certaine retenue, compte tenu du pouvoir d'appréciation laissé au juge cantonal en la matière (ATF 120 II 280 consid. 6a).
7.1.3 S'agissant du montant de l'indemnité, l'époux qui remplit les conditions de l'art. 165 al. 2 CC a droit non à la restitution des sommes versées mais à une indemnité équitable. Les critères de fixation sont pour la plupart les mêmes que ceux utilisés pour statuer sur l'existence du droit; mis à part la situation et les prestations de l'époux ayant droit à une indemnité, il s'agit surtout de la situation économique du conjoint et de la situation économique générale de la famille (DESCHENAUX/STEINAUER/BADDELEY, op. cit., n. 495 et 488; HAUSHEER/REUSSER/GEISER, op. cit., n° 36 et 23 ss ad art. 165 CC; PICHONNAZ, Commentaire romand, n° 42 et 23 ss ad art. 165 CC; BRÄM/HASENBÖHLER, Zürcher Kommentar, n° 51 ss ad art. 165 CC).
7.2 La cour cantonale a considéré que seuls les investissements, à hauteur de 105'324 fr., effectués par le recourant en faveur du bien immobilier, propriété de son épouse, entraient en ligne de compte en application de l'art. 165 al. 2 CC. A cet égard, elle a constaté que les époux s'étaient consacrés au ménage et aux soins des enfants de manière plus ou moins égale, tant financièrement qu'en nature. Les dépenses du recourant ayant permis non seulement l'entretien de la demeure familiale mais également son amélioration et son aménagement, ce qui a profité à toute la famille, elle a considéré qu'elles consistaient en des contributions à l'entretien de la famille au sens large. Elle a ensuite relevé que le recourant ne disposait d'aucune fortune, que les investissements faits pour l'amélioration de l'immeuble avaient manifestement contribué à la plus-value acquise par celui-ci, laquelle ne profitait qu'à l'intimée en raison du régime de la séparation de biens adopté par les époux, et que le recourant n'avait pas beaucoup bénéficié de certains aménagements apportés puisque la séparation du couple était intervenue peu de temps après leur réalisation. La juridiction en a déduit que la contribution de 105'324 pour l'amélioration et l'entretien du bien immobilier, propriété de l'épouse, devait être considérée comme notablement supérieure à l'entretien exigé par l'art. 163 CC. S'agissant de la fixation de l'indemnité allouée, elle a tenu compte de la durée de la vie commune, de l'ancienneté de certaines dépenses effectuées essentiellement pour des travaux d'entretien et non d'aménagement, ce qui justifie une réduction, et du montant de la fortune mobilière de l'intimée à hauteur de 260'000 fr., dont 217'000 fr. acquis par héritage. Elle en a conclu qu'une équitable indemnité de 40'000 fr. paraissait proportionnée aux moyens de l'intimée et à l'importance de la contribution du recourant.
7.3 Le recourant reproche à la cour cantonale sa prise en compte des critères de fixation de l'indemnité et invoque une violation de l'art. 165 al. 2 CC, ainsi qu'une appréciation arbitraire des faits. A cet égard, il fait valoir plusieurs éléments, à savoir: qu'il a mobilisé la totalité de son temps libre et de ses revenus disponibles en faveur de la maison familiale; qu'il ne dispose, en conséquence, d'aucune fortune; que la fortune de l'intimée a été sous-estimée dès lors que la juridiction a ignoré son importante fortune immobilière; qu'il n'a que peu bénéficié de certains aménagements apportés à la maison familiale, la séparation étant intervenue peu de temps après leur réalisation; et que l'intimée profite seule de la plus-value. Par ailleurs, il se plaint de ce que l'autorité précédente a pris en compte des éléments dénués de pertinence, soit la durée de la vie commune et l'ancienneté de certaines dépenses effectuées essentiellement pour des travaux d'entretien. Sur ce point, il fait valoir que l'ancienneté des dépenses n'empêche pas leur influence décisive sur la plus-value et conteste que certaines dépenses aient été effectuées pour des travaux d'entretien. Il invoque également que certains critères essentiels n'ont pas été pris en compte, à savoir: son absence de fortune mobilière; l'importante fortune immobilière de l'intimée et les possibilités, en termes de liquidités, qui en découlent; ainsi que le fait que les revenus et le disponible de celle-ci sont plus élevés que les siens. Il en déduit que la décision entreprise heurte de manière flagrante le sentiment de justice et les principes dégagés de l'application de l'art. 4 CC, notamment en tant qu'elle ne détaille pas quelles dépenses consistaient essentiellement en des travaux d'entretien et s'inscrit en faux avec un arrêt récent du Tribunal fédéral concernant le partage d'une copropriété.
7.4 Le principe du droit à une indemnité au sens de l'art. 165 al. 2 CC n'est pas remis en cause; le recourant ne conteste pas non plus que seules entrent en considération les dépenses de 105'324 fr. effectuées. S'agissant de la fixation de l'indemnité, la cour cantonale a tenu compte de la plupart des éléments invoqués par le recourant puisque ce sont précisément ceux-ci qui l'ont conduite à en allouer une (cf. supra consid. 7.2). S'il est vrai que l'intimée dispose, en sus d'une fortune mobilière, d'une fortune immobilière et de revenus supérieurs à ceux du recourant, il y a lieu de rappeler que l'époux créancier n'a pas droit, en vertu de l'art. 165 al. 2 CC, à la restitution des sommes versées mais à une indemnité équitable (cf. supra consid. 7.1.3). En tenant compte pour fixer le montant de celle-ci du fait que certaines dépenses ont été essentiellement effectuées pour des travaux d'entretien, la cour cantonale a estimé, même si elle ne l'indique pas expressément, que ceux-ci n'ont que peu, voire pas, impliqué de plus-value - ils ne donneraient notamment pas droit à la plus-value au sens de l'art. 206 CC (cf. Message du Conseil fédéral concernant la révision du code civil suisse (Effets généraux du mariage, régimes matrimoniaux et successions) du 11 juillet 1979, FF 1979 II 1179, n. 222.522) - et que leur financement n'excédait pas le devoir général d'entretien de l'art. 163 CC. En outre, contrairement à ce que prétend le recourant, l'ancienneté de certaines dépenses constitue un critère pertinent dès lors que, plus celles-ci ont été effectuées antérieurement à la séparation, plus le recourant a pu en bénéficier en nature durant la vie commune. Il s'ensuit que l'autorité cantonale n'a pas abusé de son pouvoir d'appréciation lorsqu'elle a arrêté le montant de l'indemnité équitable due au recourant pour les dépenses consenties en faveur de l'amélioration de la demeure familiale à 40'000 fr., à savoir plus ou moins le montant de la fortune mobilière de l'intimée, les fonds hérités mis à part. En tous les cas, les critiques du recourant ne parviennent pas à démontrer que les conditions d'une modification de la décision cantonale rendue en vertu d'un pouvoir d'appréciation seraient réunies en l'espèce. En particulier, lorsqu'il se plaint de ce que la juridiction précédente n'a pas indiqué quelles dépenses concernaient des travaux d'entretien, il perd de vue qu'en vertu des exigences de motivation (cf. supra consid. 2), il lui appartenait d'établir qu'il ressortirait des faits constatés en instance cantonale que toutes celles-ci avaient amélioré ou aménagé l'immeuble et que, en conséquence, elles excédaient toutes ce qu'exigeait sa contribution à l'entretien de la famille. Enfin, la jurisprudence, à laquelle se réfère le recourant, ne lui est d'aucune aide dès lors qu'elle concerne la liquidation d'une copropriété. Le grief doit ainsi être rejeté, pour autant qu'il soit recevable.
8. En définitive, le présent recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer une indemnité de dépens à l'intimée qui n'a pas été invitée à se déterminer (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 30 mars 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Richard