Faits:
A. A.a X._ et dame Y._ se sont mariés le 21 septembre 1991. Ils n'ont pas conclu de contrat de mariage.
En 2001, ils ont notamment acquis, en copropriété pour moitié chacun, un chalet situé à A._, pour la somme de 1'100'000 fr.; après d'importants travaux d'aménagement, le coût total de l'acquisition s'est élevé à 4'400'000 fr. L'immeuble a été grevé d'un prêt hypothécaire de 2'670'000 fr. et l'époux a investi un montant de 1'744'000 fr. dans l'acquisition et l'aménagement de ce bien. Sur cette somme, 1'010'424 fr. provenaient de ses biens propres, représentant 22,96% du coût total de l'acquisition, et 733'576 fr. de ses acquêts.
A.b Statuant sur requête commune, le Tribunal de première instance de Genève a, par jugement du 14 novembre 2005, prononcé le divorce des époux et, notamment, homologué les articles VI et VII de la convention sur les effets accessoires du divorce signée le 18 mars 2005 par ceux-ci.
Il ressort de l'art. VI ch. 6 de cette convention que les époux ont convenu de demeurer copropriétaires du chalet de A._. L'art. VI ch. 9 prévoit par ailleurs qu'en cas de vente du chalet à un tiers, "le produit de réalisation net dudit chalet, obtenu après déduction du solde de la dette hypothécaire, du remboursement à X._ de ses fonds propres correspondant au 20% de la valeur du chalet au moment de sa réalisation, de la commission de l'éventuel courtier et de l'impôt sur la plus-value immobilière, fera l'objet d'un partage par moitié entre les époux".
A.c Le 20 octobre 2006, les parties ont vendu leur propriété de A._ ainsi que les meubles la garnissant pour un montant total de 15'475'000 fr., à savoir 14'500'000 fr. pour la parcelle n° ... (chalet), 475'000 fr. pour la parcelle n° ... et 500'000 fr. pour les meubles.
Le prix de vente a fait l'objet d'une répartition partielle, dans la mesure où l'hypothèque (2'680'975 fr.) a été remboursée, les impôts (3'631'218 fr. 60) acquittés, les commissions de courtage (204'440 fr. et 279'760 fr.) payées. Des versements de 2'889'304 fr. à dame Y._ et 5'377'762 fr. à X._ ont été effectués. Le solde, de 411'540 fr. 40, est demeuré bloqué sur le compte ouvert auprès du Crédit Suisse par le notaire chargé d'instrumenter l'acte.
B. B.a Les parties ne sont pas parvenues à s'entendre sur la répartition de ce montant. X._ soutient que la part de ses biens propres doit se calculer sur le prix de vente du chalet avant déduction de la dette hypothécaire, de l'impôt sur le gain immobilier et des frais de courtage, à savoir sur 14'500'000 fr., alors que, pour dame Y._, c'est sur la valeur vénale, au sens de l'art. 211 CC, à savoir après déduction de l'impôt et de la commission de courtage, mais avant le remboursement de la dette hypothécaire, que la part de fonds propres de son ex-époux doit se calculer.
Par acte du 11 mai 2007, X._ a assigné dame Y._ devant le Tribunal de première instance de Genève en paiement de 411'540 fr. 40, avec intérêts à 5% dès le 20 octobre 2006, le tribunal devant préalablement constater qu'il avait droit à l'intégralité des fonds détenus par le notaire. Le 26 novembre 2007, dame Y._ s'est opposée à la demande et a conclu, "reconventionnellement", au versement de cette somme en ses mains.
B.b Par jugement du 10 juin 2008, le Tribunal de première instance de Genève a rejeté la demande en paiement déposée par X._, accordé à dame Y._ la somme de 411'540 fr. 40 et invité le notaire à verser ce montant en mains de l'intéressée.
B.c Par arrêt du 20 février 2009, la Chambre civile de la Cour de justice du canton de Genève a rejeté l'appel déposé par X._ contre ce jugement.
C. Contre cet arrêt, X._ interjette le 30 mars 2009 un recours en matière civile au Tribunal fédéral, concluant à sa réforme en ce sens qu'il soit dit qu'il a droit à l'intégralité des fonds se trouvant actuellement encore en mains de Me B._, notaire à A._, au titre de solde du produit de la vente des parcelles n° ... et ... conclue à A._ le 20 octobre 2006 et à ce que dame Y._ soit condamnée à lui verser la somme de 411'540 fr. 40 avec intérêts à 5% à compter du 20 octobre 2006; il conclut par ailleurs au rejet de la demande "reconventionnelle". Il se plaint d'une violation de l'art. 18 CO.
Par ordonnance du 4 mai 2009, la Présidente de la IIe Cour de droit civil du Tribunal fédéral a admis la requête d'effet suspensif présentée par le recourant.
Dame Y._ conclut au rejet du recours. La Cour de justice du canton de Genève se réfère aux considérants de son arrêt.
Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 134 III 115 consid. 1 p. 117).
1.1 Interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) rendue par une autorité cantonale de dernière instance (art. 75 LTF) en matière civile (art. 72 al. 1 LTF), dont la valeur litigieuse atteint 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est en principe recevable.
1.2 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours pour d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1 p. 104).
2. La cour cantonale a considéré que la clause litigieuse doit être interprétée selon le principe de la confiance, la volonté réelle des parties ne pouvant être établie. Elle a estimé que le calcul selon l'ordre de l'énumération des déductions ne permet pas de tenir compte de la volonté des parties, selon laquelle la part du recourant doit être honorée avant le remboursement de la dette hypothécaire. Selon les juges précédents, l'énumération des déductions peut également se comprendre comme ayant été faite à rebours des déductions à effectuer pour déterminer le produit de réalisation net du chalet, à savoir après déduction de l'impôt sur le gain immobilier, de la commission de l'éventuel courtier, du remboursement au recourant de ses biens propres et du solde de la dette hypothécaire. Ils en ont conclu que l'interprétation de la clause de manière littérale est insatisfaisante pour déterminer objectivement la volonté des parties.
La cour cantonale a ensuite jugé qu'il ressort très clairement de la convention que les parties ont souhaité déroger au système légal de la liquidation du régime matrimonial, afin d'éviter de procéder au calcul complexe des récompenses et des masses prévu aux art. 206 et 209 CC; c'est pour cette raison qu'elles ont fixé un taux correspondant à la part des fonds propres du recourant. En outre, bien que l'art. 211 CC prévoie qu'à la liquidation du régime matrimonial, les biens sont estimés à leur valeur vénale, les parties peuvent convenir d'une autre valeur d'estimation; il ressort de l'art. VI ch. 8 et 9 de la convention que les parties ont à chaque fois clairement spécifié à quelle valeur les biens devaient être estimés au moment de leur liquidation, sauf en ce qui concerne la phrase litigieuse. Le texte de l'art. VI ch. 9 de la convention s'apparente à une marche à suivre pour obtenir le produit de réalisation net du chalet qui doit être partagé par moitié. Vu ce qui précède, l'art. 211 CC n'est pas applicable selon les juges précédents. Ceux-ci ont retenu que l'époux avait investi des biens propres à hauteur de 22,96%, de sorte que les parties avaient respecté cette proportion en fixant le taux de remboursement de ceux-ci à 20%; dans toutes les clauses, les parties ont par ailleurs partagé entre elles les frais par moitié. Ils en ont conclu qu'elles avaient donc également voulu partager par moitié le montant de l'impôt et des frais de courtage, de sorte que la part de 20% doit être calculée sur le montant de la vente après déduction de l'impôt et des frais de commission, mais avant remboursement de la dette hypothécaire.
3. Avec la cour cantonale, le recourant admet que la volonté réelle des parties ne peut être déterminée et qu'il convient de faire application du principe de la confiance. En revanche, il lui reproche de s'être écartée d'une interprétation littérale, invoquant que non seulement le texte est clair, mais encore qu'il est l'oeuvre de professionnels rompus à ce type d'exercice. Selon lui, compte tenu des règles énoncées à l'art. VI ch. 8 et 9 de la convention, la notion de "produit de réalisation net", lequel doit être partagé par moitié entre les parties, intervient au moment du partage, pas avant; la "valeur du chalet au moment de la réalisation", à partir de laquelle se calcule la part de 20% de fonds propres lui revenant, doit être calculée avant qu'on ne passe à l'étape finale consistant à déterminer le montant net restant à partager entre les parties. La cour cantonale ne pouvait exclure une interprétation littérale en relevant de prétendues ambiguïtés issues de l'ordre d'énumération des déductions à opérer en vue d'obtenir le produit de réalisation net à partager. L'ordre interne des déductions ne serait pas déterminant puisque ces déductions s'opéreraient indépendamment les unes des autres pour déterminer le solde net à partager. Le recourant considère ensuite que la démarche interprétative de la cour cantonale viole elle-même le principe de la confiance; il lui fait grief d'avoir admis que les parties avaient la volonté de partager par moitié le montant de l'impôt et des frais de commission, alors qu'"on ne voit ni comment une telle déduction peut s'opérer ni comment elle pourrait être concrétisée dans le cas d'espèce".
4. L'intimée soutient que rien dans la convention ne permet de retenir que la "valeur du chalet au moment de sa réalisation" correspondrait, comme le soutient le recourant, au "prix de vente" dudit chalet. Si telle avait été leur intention, les parties auraient utilisé les termes clairs et dépourvus d'ambiguïté de "prix de vente" du chalet. La cour cantonale a retenu que les parties avaient pour volonté de ne pas partager leurs biens propres, mais de partager équitablement les biens acquis en commun - méthode qui s'inscrirait parfaitement dans les principes du régime de la participation aux acquêts - tout comme elles ont décidé que le chalet serait estimé à sa "valeur vénale", en référence directe à la règle de l'art. 211 CC. Les juges précédents ont également constaté qu'en application de cette volonté, la part à rembourser au recourant correspondait précisément et exclusivement à son investissement provenant de ses biens propres. Selon l'intimée, ces éléments suffisent à attester que les parties n'ont jamais exclu toute référence au régime applicable; elles ont au contraire pleinement ancré la liquidation de leur régime matrimonial dans le régime légal ordinaire, dont elles ont appliqué les règles de partage jusque dans la fixation du pourcentage des montants à rembourser. S'agissant du chalet, elles auraient uniquement simplifié les calculs en arrêtant d'avance et forfaitairement le pourcentage des récompenses. Les termes de "valeur du chalet au moment de sa réalisation" revêtiraient ainsi un sens technique et précis, propre au domaine de la liquidation du régime matrimonial et ne pourraient être compris que comme prescrivant le remboursement de l'investissement du recourant sur la "valeur vénale nette" du chalet telle que définie par la doctrine, à savoir après paiement des impôts et des frais liés à la vente. En définitive, quelle qu'ait pu être l'intention du recourant, l'intimée soutient qu'il ne lui était pas possible, selon les règles de la bonne foi et le principe de la confiance, de comprendre la disposition litigieuse autrement que comme prescrivant le remboursement des biens propres du recourant sur la valeur vénale nette du bien. La position soutenue par l'intéressé consacrerait une injustice flagrante envers l'intimée: le recourant exige en effet de recevoir sa part de 20% exonérée de tous impôts et taxes, faisant ainsi supporter à l'intimée la majeure partie de la charge fiscale grevant sa soulte, en violation tant des principes régissant la liquidation du régime matrimonial que des règles applicables en matière de copropriété (art. 649 al. 1 CC).
5. En présence d'un litige sur l'interprétation d'une disposition contractuelle, le juge doit tout d'abord s'efforcer de déterminer la commune et réelle intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (art. 18 al. 1 CO); s'il y parvient, il s'agit d'une constatation de fait qui lie en principe le Tribunal fédéral conformément à l'art. 105 LTF. Si la volonté réelle des parties ne peut pas être établie ou si leurs volontés intimes divergent, le juge doit interpréter les déclarations faites et les comportements selon la théorie de la confiance (ATF 133 III 675 consid. 3.3 p. 681 et les arrêts cités).
L'interprétation selon le principe de la confiance consiste à rechercher comment les parties, lorsque leur accord s'est formé, pouvaient comprendre de bonne foi les clauses adoptées par elles, en fonction du contexte dans lequel elles ont traité. Même s'il est apparemment clair, le sens d'un texte souscrit par les parties n'est pas forcément déterminant (art. 18 al. 1 CO). Lorsque la teneur d'une clause contractuelle paraît limpide à première vue, il peut résulter d'autres éléments du contrat, du but poursuivi par les parties ou d'autres circonstances que le texte de cette clause ne restitue pas exactement le sens de l'accord conclu. Il n'y a cependant pas lieu de s'écarter du sens littéral du texte adopté par les cocontractants lorsqu'il n'y a aucune raison sérieuse de penser que celui-ci ne correspond pas à leur volonté (ATF 135 III 295 consid. 5.2 p. 302 et les arrêts cités). L'application du principe de la confiance est une question de droit que le Tribunal fédéral peut examiner librement (art. 106 al. 1 LTF); pour trancher cette question, il faut cependant se fonder sur le contenu de la manifestation de volonté et sur les circonstances, dont la constatation relève du fait (ATF 131 III 586 consid. 4.2.3.1 p. 592; 130 III 417 consid. 3.2 p. 424; 129 III 118 consid. 2.5 p. 122).
6. En l'espèce, c'est avec raison que le recourant soutient qu'il y a lieu de s'en tenir au texte clair de la convention litigieuse. Il en ressort, en effet, que les parties voulaient partager le produit de réalisation net du chalet par moitié, ce produit étant calculé après soustraction des quatre postes mentionnés, parmi lesquels le remboursement de la part de fonds propres du recourant qui correspond au "20% de la valeur du chalet au moment de sa réalisation". Or, compris littéralement, ces termes visent la valeur vénale, puisque l'on envisage la réalisation, c'est-à-dire le prix que l'on peut faire payer à un acheteur. Par cette clause, les parties ont adopté un mode de liquidation simplifié et forfaitaire, écartant le calcul des plus-values et récompenses des art. 206 et 209 CC. Elles n'ont pas utilisé le terme de "valeur (vénale) nette" et il ne résulte d'aucune condition du contrat, ni du but poursuivi par les parties ou d'autres circonstances, qu'elles voulaient tenir compte de la valeur vénale nette, c'est-à-dire de la valeur restant après paiement des éventuels impôts et taxes, comme dans le système légal de l'art. 211 CC. Lorsque le juge doit interpréter une telle clause, il n'a pas à rechercher quelle serait la solution la plus proche du régime légal ou la plus équitable. Le recourant a donc droit à l'intégralité du montant consigné auprès du notaire, lequel sera invité en conséquence à verser la somme concernée en ses mains.
Le recourant conclut à ce que l'intimée soit condamnée à lui verser le montant de 411'540 fr. 40, avec intérêts à 5% l'an dès le 20 octobre 2006. Cette conclusion, qui s'écarte de la formulation retenue par les juges précédents, n'est toutefois nullement motivée, de sorte qu'elle est irrecevable (cf. supra, consid. 1.2). Au demeurant, dès lors qu'il percevra la somme bloquée en mains du notaire et que l'intimée n'a pas reçu plus que sa part, celle-là ne saurait être condamnée, en sus, à lui payer un quelconque montant.
7. Vu ce qui précède, le recours est partiellement admis et l'arrêt attaqué sera réformé dans le sens des considérants. L'intimée, qui succombe sur le principe, supportera les neuf dixièmes des frais judiciaires (art. 66 al. 1 LTF). Elle versera en outre des dépens réduits au recourant (art. 68 al. 1 LTF). La cause sera renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis dans la mesure où il est recevable et l'arrêt attaqué est réformé en ce sens que:
"1. Il est constaté que X._ a droit à l'intégralité des fonds se trouvant actuellement sur le compte n° xxxx ouvert par Me B._, notaire à A._, auprès du Crédit suisse, et correspondant au solde du produit de la vente des parcelles n°s ... et ..., ainsi que des meubles meublant le chalet, conclue le 20 octobre 2006.
2. En conséquence le notaire est invité à verser la somme concernée en mains de X._."
2. Les frais judiciaires, arrêtés à 10'000 fr., sont mis à hauteur de 9'000 fr., à la charge de l'intimée et à hauteur de 1'000 fr., à la charge du recourant.
3. Une indemnité de 9'000 fr., à payer au recourant à titre de dépens réduits, est mise à la charge de l'intimée.
4. La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 2 décembre 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Aguet