Faits:
A. Le 15 novembre 1995, X._ et son épouse, d'une part, et la Bourgeoisie de Y._ (ci-après la bourgeoisie), d'autre part, ont passé trois actes authentiques devant le notaire A._ en vue de l'acquisition par les premiers d'une parcelle, dont une partie était déjà en zone à bâtir, une autre était en zone de forêt et une autre encore faisait l'objet d'une procédure de mise en zone à bâtir.
Les époux X._ sont devenus propriétaires de la parcelle à bâtir n° 4814 (3'315 m2) pour le prix de 3'315'000 fr. suite à l'acte instrumenté le 15 novembre 1995 (acte n° 1), parcelle sur laquelle ils ont édifié un chalet familial.
B. B.a Seule demeure litigieuse dans la présente procédure la partie de la parcelle qui n'était pas encore en zone à bâtir le 15 novembre 1995 et pour laquelle les parties ont passé deux actes notariés: par l'un (acte n° 2), les parties ont notamment décidé une division de parcelle, de façon à constituer un n° 4815 (place de 1513 m2) et, par l'autre (acte n° 3), la Bourgeoisie a conféré aux époux X._ un droit d'emption notamment sur l'immeuble n° 4815 (place de 1513 m2) pour le prix de 320'000 fr. Ce droit d'emption était subordonné à l'incorporation de la parcelle n° 4815 dans la zone à bâtir. Une route - bourgeoisiale - devait être détachée de cette parcelle n° 4815 et inscrite au nom de la Bourgeoisie, le coefficient de sa surface demeurant acquis au n° 4815. L'épouse a désormais abandonné tous ses droits découlant de ce pacte d'emption à l'époux.
Ces deux derniers actes n'ont pas été enregistrés au registre foncier, et le pacte d'emption n'a donc pas été annoté; le notaire l'a expliqué en exposant que les parties l'avaient approché avant le 10 décembre 1995 pour lui demander d'instrumenter de nouveaux actes en vue de modifier leur accord initial, mais qu'ensuite, malgré de nombreux projets, aucun accord n'était intervenu.
Le pacte d'emption précise que la bourgeoisie s'engage conformément à la décision de l'assemblée bourgeoisiale du 7 juillet 1995 et du conseil communal et bourgeoisial du 31 octobre 1995. Toutefois, selon les constatations de l'autorité cantonale, c'est par erreur que le notaire s'est référé dans les actes n° 2 et 3 à ces deux décisions, alors qu'il l'a fait à juste titre dans l'acte n° 1.
B.b Le 20 mai 1997, les parties ont constitué une servitude foncière d'empiétement à charge de la parcelle n° 4815 en faveur de la parcelle n° 4814 pour permettre l'édification d'un parking sur ce second fonds et empiétant sur le premier en sous-sol. La servitude a été inscrite sur la parcelle n° 3506 dès lors que la parcelle n° 4815 n'était pas encore immatriculée.
B.c Suite à un acte de rectification de limites du 14 octobre 1997 passé par la bourgeoisie avec un tiers, des parcelles, en particulier la parcelle n° 4815 (route de 1752 m2, dont auraient dû être détachés 789 m2 pour la route) a été immatriculée au registre foncier. La servitude d'empiètement du n° 3506 a alors été reportée sur la parcelle n° 4815.
B.d Le 2 septembre 1998, les parties ont signé un nouvel acte intitulé "servitude d'empiétement - avenant - servitude de restriction de bâtir", par lequel le droit d'emption a été modifié en ce sens que les époux X._ s'engagent à acheter la parcelle objet du droit d'emption dès l'entrée en force du plan de zones en voie d'homologation par le Conseil d'État.
B.e Les parties ont maintenu des contacts après la signature de l'acte précité. Après plusieurs années, en 2002, l'administration communale s'est demandée si elle ne devait pas obtenir l'accord de l'assemblée bourgeoisiale pour la vente de la parcelle, vu le nombre d'années écoulées. Lors de sa séance du 1er mars 2005, le conseil communal a considéré que le pacte d'emption n'était plus valable, que le mandat conféré au conseil communal par l'assemblée bourgeoisiale le 7 juillet 1995 ne concernait que la parcelle n° 4814 et non la parcelle n° 4815, et proposait désormais de vendre celle-ci, déduction faite de la surface utilisée pour la route communale actuelle, au prix de 1'444'500 fr. (963 m2 à 1'500 fr./m2), avec un transfert de densité d'environ 63 m2 pour le prix de 750 fr./m2.
C. Le 16 août 2005, X._ a ouvert une action en exécution du pacte d'emption et de son avenant, fondée sur l'art. 665 CC, concluant notamment dans ses conclusions finales, en ce qui concerne la parcelle n° 4815, à ce qu'ordre soit donné au registre foncier d'immatriculer cette nouvelle parcelle (dans sa surface prévue en 1995 de 1'513 m2, en en détachant la route bourgeoisiale), de l'inscrire comme propriétaire de celle-ci et d'inscrire une servitude de transfert d'indice d'utilisation. Selon ses conclusions subsidiaires, la surface de la parcelle a 963 m2, conformément au procès-verbal de mutation n° 4699. La bourgeoisie a formé une reconvention.
Par jugement du 16 août 2010, la IIe Cour civile du Tribunal cantonal valaisan a rejeté l'action et déclaré la demande reconventionnelle sans objet.
D. Contre ce jugement, X._ interjette, le 14 septembre 2010, un recours en matière civile au Tribunal fédéral, concluant à son annulation et reprenant les conclusions finales qu'il avait prises en instance cantonale.
Des observations n'ont pas été requises.
Considérant en droit:
1. Interjeté en temps utile (art. 100 al. 1 LTF) par une partie qui a succombé en instance cantonale (art. 76 LTF) contre une décision finale (art. 90 LTF), rendue en matière civile (art. 72 al. 1 LTF) dans une affaire pécuniaire de plus de 30'000 fr. (art. 74 al. 1 let. b LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), le recours en matière civile est recevable.
2. 2.1 La cour cantonale a rejeté l'action du demandeur pour trois motifs principaux.
Elle a considéré tout d'abord que le pacte d'emption ne permet pas de fonder une action en exécution de l'art. 665 al. 1 CC, puisqu'il a été modifié par l'avenant de 1998, perdant ainsi toute sa portée d'acte générateur d'obligations, et que, de son côté, l'avenant ne comporte aucun engagement de la bourgeoisie de vendre la parcelle litigieuse.
Subsidiairement, elle a jugé que, même si l'avenant de 1998 ne devait avoir fait que préciser les modalités de l'exercice du droit d'emption convenu en 1995, l'action devrait néanmoins être rejetée pour quatre raisons:
- premièrement, l'exercice de l'option par l'empteur le 25 novembre 2002 est tardif, car celui-ci aurait dû l'exercer dans le délai de 24 mois dès l'entrée en force du plan de zones, intervenue le 16 septembre 1998;
- deuxièmement, le pacte d'emption ne contient pas la désignation précise de l'objet du droit et l'indication du prix de vente et une modification du pacte aurait été nécessaire puisque la parcelle n° 4815 immatriculée a une surface de 1752 m2, et non de 1513 m2 comme prévu dans le pacte;
- troisièmement, le pacte d'emption en la forme authentique indique, manifestement par erreur, qu'il y a eu décision de l'assemblée bourgeoisiale le 7 juillet 1995 et du conseil communal et bourgeoisial le 31 octobre 1995, alors qu'il n'y a eu ni décision de l'assemblée primaire de la bourgeoisie, ni approbation du Conseil d'État.
Dans un dernier motif principal, le tribunal cantonal semble admettre que l'action condamnatoire était la seule voie possible, et en déduit donc que le demandeur ne pouvait se contenter d'ouvrir l'action en exécution de l'art. 665 al. 1 CC.
2.2 Le recourant conteste le premier motif, reprochant à la cour cantonale une violation de l'art. 18 CO dans l'interprétation des contrats passés: selon lui, les parties ont conclu un pacte d'emption valable le 15 novembre 1995, pour la parcelle n° 4815 - dont le prix, l'objet et les conditions sont déterminés - et, par acte du 2 septembre 1998, il s'est engagé lui-même à acquérir ce bien; les actes de 1995 et 1998 constituent donc un titre d'acquisition qui lui permet de requérir l'inscription au registre foncier. Il conteste que l'avenant de 1998 ait pu annuler l'acte de 1995: l'acte de 1998 modifie l'acte de 1995 en ce sens qu'il le convertit en exercice du droit d'emption mais ne l'annule pas; il n'a jamais voulu libérer la bourgeoisie de son obligation de vendre; l'option d'achat a été transformée en obligation d'achat. Ce n'est donc pas le 25 novembre 2002 qu'il a levé l'option, mais le 2 septembre 1998, lorsqu'il a signé l'avenant-promesse d'achat. Il soutient également que, de toute manière, il n'a pas eu connaissance de l'entrée en force du plan de zones le 16 septembre 1998 de sorte qu'on ne pourrait pas conclure qu'il a levé tardivement l'option même si on devait admettre qu'il ne l'a fait que le 25 novembre 2002; en effet, la bonne foi aurait voulu que la commune l'avise de la date d'entrée en force du plan. Il se plaint aussi d'inadvertances manifestes dans l'établissement des faits, soutenant que l'assemblée bourgeoisiale a accepté le pacte d'emption avant l'acte ou à tout le moins l'a ratifié ultérieurement et que la loi sur les communes n'exige pas une homologation par le Conseil d'État. Il précise qu'il ignorait que la parcelle n'avait plus la surface figurant dans l'acte de 1995, puisqu'il n'a pas eu connaissance de l'acte de 1997; cela ne doit pas l'empêcher de lever l'option. Enfin, il soutient avoir pris les conclusions condamnatoires nécessaires.
3. Saisi d'un recours en matière civile, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale (ATF 133 III 545 consid. 2.2). Il peut donc admettre un recours pour un autre motif que ceux qui ont été invoqués par le recourant, comme il peut le rejeter en adoptant une argumentation différente de celle de l'autorité précédente (ATF 133 III 545 consid. 2.2; 130 III 136 consid. 1.4 in fine; 297 consid. 3.1).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2), doit satisfaire au principe d'allégation (art. 106 al. 2 LTF). Il doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet les griefs de droit constitutionnel que s'ils ont été invoqués et motivés, c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (ATF 133 IV 286 consid. 1.4; 133 II 249 consid. 1.4.2). Il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (ATF 133 II 396 consid. 3.2).
4. L'objet du litige et, par suite, la nature de l'action introduite sont déterminés par les conclusions de la demande et les faits invoqués à l'appui de celle-ci (ATF 130 III 547 consid. 2.1; 117 II 26 consid. 2a et les références citées).
En l'espèce, le demandeur a ouvert action en invoquant le pacte d'emption du 15 novembre 1995 et l'avenant du 2 septembre 1998, par lequel il estime avoir levé l'option; il conclut à l'immatriculation de la parcelle conformément à l'acte de division de parcelle et à son inscription comme propriétaire au registre foncier. Il a qualifié son action d'action en exécution de l'art. 665 al. 1 CC.
Le litige porte donc sur le droit de l'empteur, qui se prévaut de l'exercice de son droit d'emption, d'obtenir qu'il soit inscrit au registre foncier comme propriétaire. Il s'agit donc bien d'une action en exécution de l'art. 665 al. 1 CC, qui tend à obtenir que la défenderesse soit condamnée à faire la réquisition d'inscription au registre foncier ou à requérir du juge - dès lors que le jugement qui doit être rendu est un jugement formateur tenant lieu de déclaration - directement l'attribution du droit de propriété, ce qui permettra à son bénéficiaire de requérir lui-même l'inscription (art. 665 al. 2 et 963 al. 2 CC). Cette inscription est déclarative (art. 656 al. 2 CC et art. 18 al. 2 let. d ORF; arrêt 5P.19/2005 du 25 mai 2005 consid. 2.2; ATF 84 II 187 consid. 2; 85 II 474 consid. 5 et les références citées).
5. Il y a donc lieu d'examiner si les conditions de l'action en exécution de l'art. 665 al. 1 CC intentée par le demandeur sont remplies en l'espèce.
5.1 Aux termes de l'art. 665 al. 1 CC, celui qui est au bénéficie d'un titre d'acquisition peut exiger que le propriétaire fasse opérer l'inscription; en cas de refus, il peut demander au juge l'attribution du droit de propriété.
L'action en exécution présuppose donc l'existence d'un titre d'acquisition valable.
5.1.1 Le droit d'emption est un droit d'acquisition conditionnel subordonné à une condition potestative, la déclaration d'exercice du droit. Lorsque l'empteur a déclaré exercer son droit au propriétaire de la chose, la condition à laquelle la vente était subordonnée est avenue. La vente conditionnelle que constitue le pacte d'emption, devenue parfaite à la suite de l'exercice du droit par son titulaire, produit alors ses effets: l'acheteur a droit au transfert de la propriété de la chose et le vendeur au paiement du prix. L'empteur exerce son droit par simple manifestation unilatérale de volonté sujette à réception. Le titulaire qui a exercé valablement son droit d'emption et qui s'est, par cet acte formateur, porté unilatéralement acheteur de l'immeuble se trouve dans une situation identique à celle où il serait placé dans le cas de la conclusion d'un contrat de vente pur et simple (ATF 121 III 210 consid. 3c et les références citées).
Le titre d'acquisition n'est donc valable que si le pacte d'emption et l'exercice du droit formateur le sont également.
5.1.2 La question de savoir si, lorsqu'il a signé l'avenant du 2 septembre 1998, s'engageant à acheter la parcelle n° 4815, le demandeur a valablement levé l'option avec effet à la date d'entrée en force peut demeurer indécise dès lors qu'il sera démontré que le pacte d'emption du 15 novembre 1995 n'est pas valable.
5.1.2 La question de savoir si, lorsqu'il a signé l'avenant du 2 septembre 1998, s'engageant à acheter la parcelle n° 4815, le demandeur a valablement levé l'option avec effet à la date d'entrée en force peut demeurer indécise dès lors qu'il sera démontré que le pacte d'emption du 15 novembre 1995 n'est pas valable.
5.2 5.2.1 Le pacte d'emption portant sur un immeuble n'est valable que s'il est passé en la forme authentique (art. 216 al. 2 CO). Selon la jurisprudence, le pacte d'emption doit contenir les mêmes éléments qu'une vente immobilière. La forme authentique doit embrasser toutes les clauses qui sont objectivement essentielles ainsi que les points objectivement secondaires, mais subjectivement essentiels, pour autant que ces derniers, de par leur nature, constituent un élément du contrat, c'est-à-dire affectent le rapport entre prestation et contre-prestation issues du contrat (ATF 135 III 295 consid. 3.2; 119 II 135 consid. 2a; 113 II 402 consid. 2a et les références citées).
Au nombre des éléments objectivement essentiels d'un tel pacte figure le nom des parties (ATF 111 II 143 consid. 4a). L'acte doit également indiquer de manière correcte le rapport de représentation lorsqu'un tiers agit pour une partie (ATF 112 II 330 consid. 1a; arrêt 4C.356/2001 du 12 mars 2002 consid. 2a). Pour que l'acte soit valable, le tiers doit être autorisé.
5.2.2 La cour cantonale a considéré que, pour être valable, une décision de l'assemblée primaire de la bourgeoisie, ainsi qu'une approbation par le Conseil d'État étaient nécessaires, conformément aux art. 16 al. 1 let. i, 48 al. 3 et 123 let. c de la loi du 13 novembre 1980 sur le régime communal, applicable au moment des faits et aujourd'hui abrogée par la loi du 5 février 2004 sur les communes. En effet, selon l'expert judiciaire mandaté, l'approbation de l'assemblée primaire de la bourgeoisie était nécessaire compte tenu des montants en jeu; sa décision devait ensuite être présentée au Conseil d'État pour homologation.
Toujours selon la cour cantonale, le pacte d'emption en la forme authentique indique certes que la bourgeoisie est représentée par B._, président, agissant conformément à la décision de l'assemblée bourgeoisiale du 7 juillet 1995 et du conseil communal et bourgeoisial du 31 octobre 1995. Il s'agit toutefois d'une erreur: ces deux autorités n'ont pris aucune décision à cet égard et le notaire a indiqué par erreur que l'assemblée bourgeoisiale et le conseil communal et bourgeoisial avaient pris des décisions dans ce sens. Par ailleurs, le notaire n'a pas requis ensuite l'approbation par le Conseil d'État.
Enfin, les actes n° 2 et 3 n'ont en outre pas été enregistrés au registre foncier et le pacte d'emption n'a pas été annoté; les parties ont contacté le notaire avant le 10 décembre 1995 pour lui demander d'instrumenter de nouveaux actes.
5.2.3 Dans son recours, le demandeur ne conteste pas l'application du droit cantonal concernant la nécessité de l'approbation de l'assemblée bourgeoisiale, appréciation effectuée par la cour cantonale sur la base de l'avis de l'expert judiciaire. Il soutient que les trois actes passés le 15 novembre 1995 contiennent le même texte concernant les pouvoirs de représentation de B._. Invoquant l'art. 97 LTF, il estime qu'il y a lieu de considérer que l'assemblée bourgeoisiale a accepté le pacte d'emption avant sa conclusion ou, à tout le moins, lors de l'assemblée du 19 janvier 1996 (se référant à la pièce n° 52). Il n'étaye toutefois pas plus avant son grief, se limitant à invoquer l'"omission" d'un fait à la suite d'une inadvertance manifeste. Il reconnaît par ailleurs qu'il n'avait pas imaginé, vu les renseignements obtenus, que les représentants de la commune ne bénéficiaient pas des pouvoirs nécessaires pour engager la bourgeoisie.
Force est d'admettre que le recourant ne démontre pas en quoi la cour cantonale serait tombée dans l'arbitraire en retenant que c'est par erreur que l'acte n° 3 se réfère à la décision de l'assemblée bourgeoisiale du 7 juillet 1995; en effet, il ne revient pas sur la pièce n° 50, dont il résulte que la seule parcelle évoquée lors de l'assemblée est celle située en zone à construire d'une superficie de 3'000 m2 à 1'000 fr. le m2, pour laquelle le feu vert a été donné au conseil communal par 46 voix et une opposition, ni sur l'extrait du procès-verbal sous pièce n° 7. De la pièce n° 52, le recourant ne peut déduire aucune autorisation allant au-delà de la vente de la parcelle de 3'000 m2 à 1'000 fr. le m2, même s'il est mentionné qu'un "solde de parcelle non encore zonifiée et une surface en forêt ont fait l'objet d'un acte de préemption, à l'amont de la parcelle cédée"; l'acte a certes été passé par B._, en réalité sous forme d'un pacte d'emption, mais la question de savoir s'il avait valablement été autorisé par l'assemblée bourgeoisiale demeure.
5.2.4 Par conséquent, puisque la bourgeoisie a pris une décision concernant la vente de la parcelle n° 4814, mais jamais au sujet de la vente du n° 4815, le pacte d'emption n'est pas valable: la volonté de vendre de la bourgeoisie n'a pas été exprimée, son représentant étant sans pouvoirs.
5.3 Il s'ensuit que la demande pouvait être rejetée pour ce seul motif et qu'il est donc superflu d'examiner les autres griefs du recours, dirigés contre les autres motifs du jugement attaqué.
6. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable, aux frais de son auteur (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la IIe Cour civile du Tribunal cantonal du canton du Valais.
Lausanne, le 17 janvier 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Richard