Faits:
A. H.X._ est décédé le 26 septembre 1956. Sa succession est dévolue à ses héritiers légaux, à savoir son épouse F.X._et ses cinq fils, A.X._, B.X._, C.X._, D.X._ et E.X._. Le partage de la succession a été requis dès le début des années 1980. Les héritiers sont convenus, le 25 décembre 1986, de constituer un tribunal arbitral pour procéder à la liquidation.
Les héritiers de H.X._ ne se sont pas entendus sur les modalités de la vente d'une parcelle n° 224, plan n° 5, appelée "...", d'une surface de 9'074 m2, sise sur la commune de ... (Valais). Par sentence partielle des 5 et 6 mars 2003, le Tribunal arbitral a ordonné la vente aux enchères publiques de cette parcelle.
Selon le procès-verbal authentique dressé par Me V._, notaire à ..., la vente aux enchères publiques a eu lieu le 27 septembre 2004 et la parcelle n° 224 a été adjugée pour le prix de 3'992'560 fr. à H._ à ... pour 30%, à A._ à ... pour 15%, à I._ à ... pour 15%, à J._ à ... pour 15% et à W._ SA de siège social à ... pour 25%. Les adjudicataires étaient tous représentés par K._, domicilié à ....
Par la suite, A.X._ a soutenu que cette vente aux enchères était entachée de nullité au sens de l'art. 20 CO.
B. Par mémoire-demande du 4 juin 2007, A.X._, déclarant agir pour lui-même ainsi que pour d'autres personnes en tant que cessionnaire des droits, a introduit action contre A._ d'une part et les héritiers de feu B.X._ d'autre part en concluant principalement à l'annulation de la vente aux enchères et à ce que l'acte de vente du 27 septembre 2004 soit déclaré nul; subsidiairement, il a conclu à ce que l'acte de vente soit déclaré nul en ce qui concerne la quote-part de 15% acquise par A._.
Ce dernier a entièrement contesté les conclusions prises contre lui.
Par jugement du 2 août 2010, la Cour civile II du Tribunal cantonal valaisan a rejeté la demande, en statuant par ailleurs sur les frais et dépens. Elle a considéré que l'action avait été mal dirigée en ce sens que les coacheteurs formaient une consorité nécessaire et que l'action ne pouvait pas être dirigée seulement contre A._.
C. A.X._ exerce un recours en matière civile au Tribunal fédéral contre le jugement cantonal du 2 août 2010. Invoquant diverses violations du droit fédéral, il conclut, sous suite de frais et dépens, principalement à l'apport d'une procédure pénale, subsidiairement à la constatation de la nullité de la vente aux enchères (ci-après: première conclusion subsidiaire) et à la constatation de la nullité de la vente à A._ pour sa part de 15% (ci-après: deuxième conclusion subsidiaire).
A._ a conclu au rejet du recours avec suite de frais et dépens.
B._, C._ et D._ ont également conclu au rejet du recours avec suite de frais et dépens.
L'effet suspensif sollicité par le recourant a été accordé par ordonnance présidentielle du 25 octobre 2010.
Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions en annulation et en constatation de droit (art. 76 al. 1 LTF), dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
On peut observer que la cour cantonale n'a pas statué sur recours comme le prévoit l'art. 75 al. 2 LTF, mais cette constatation reste sans conséquence, puisque les cantons disposaient encore, lorsque la Cour civile a rendu sa décision, d'un délai d'adaptation (art. 130 al. 2 LTF).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. La notion de droit fédéral englobe également les droits constitutionnels (ATF 136 II 304 consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314; 135 II 145 consid. 8.1 p. 153; 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées; à défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 et 6.2). Le recourant ne peut d'ailleurs demander une rectification de l'état de fait que si celle-ci est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 La demande d'espèce a été rejetée pour le motif que les coacheteurs formaient une consorité nécessaire et que l'action ne pouvait pas être dirigée contre un seul d'entre eux.
Le recourant conteste cette construction juridique.
2.2 Selon l'art. 70 al. 1 du Code de procédure civile du 19 décembre 2008 (CPC; RS 272), les parties à un rapport de droit qui n'est susceptible que d'une décision unique doivent agir ou être actionnées conjointement.
Certes, cette disposition ne s'appliquait pas en l'espèce (le CPC étant entré en vigueur le 1er janvier 2011), mais elle ne fait que formuler un principe découlant du droit matériel qui s'imposait déjà aux procédures cantonales.
Lorsque - comme c'est le cas en l'espèce - la demande relève du droit matériel fédéral, celui-ci peut impliquer que l'objet du litige est commun à plusieurs personnes, de telle sorte qu'il n'est pas possible de statuer à l'égard de l'une d'elles sans que les autres ne soient également mises en cause; l'existence ou non d'une consorité nécessaire est alors une question de droit matériel fédéral (cf. ATF 136 III 431, consid. 3.3 p. 434, 123 consid. 4.4.1 p. 127; arrêt 4P.226/2002 du 21 janvier 2003 consid. 2.1 publié in SJ 2003 I p. 299; ATF 121 III 488 consid. 2a p. 491; arrêt 4C.190/1996 du 14 octobre 1996 consid. 3c publié in SJ 1997 p. 396; ATF 118 II 168 consid. 2b p. 169 s.; arrêt 4C.139/1987 du 5 octobre 1987 consid. 2a publié in SJ 1988 p. 81).
Si, dans un cas de consorité nécessaire, l'action n'est pas formée par toutes les personnes ou contre toutes les personnes qui devaient être mises en cause pour qu'il soit possible de statuer conformément au droit fédéral, il s'agit d'un défaut qui affecte la légitimation active ou passive, de sorte qu'il entraîne le rejet de la demande, et non pas son irrecevabilité (arrêt 4A_79/2010 du 29 avril 2010 consid. 2.1 publié in SJ 2010 I p. 459; ATF 128 III 50 consid. 2b/bb p. 55; Vogel/Spühler, Grundriss des Zivilprozessrechts, 8e éd. 2008, n° 57; Fabienne Hohl, Procédure civile I, 2002, n° 507 p. 108).
Il faut donc examiner en l'espèce si les coacheteurs formaient une consorité nécessaire passive.
2.3 Il ressort des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que "la parcelle n° 224 a été adjugée pour le prix de 3'992'560 fr. à H._, domicilié à ..., pour 30%, à A._, domicilié à ..., pour 15%, à I._, domicilié à ..., pour 15%, à J._, domicilié à ..., pour 15% et à W._ S.A., de siège social à ... [...] pour 25%"; les coacheteurs ont agi par le même représentant.
Au sujet de la première conclusion subsidiaire du recourant (constatation de la nullité du contrat de vente aux enchères publiques), il faut observer que, s'agissant des adjudicataires de l'immeuble litigieux, l'action en nullité et en annulation de la vente n'a été introduite par le recourant que contre A._, alors même que d'autres personnes ont acquis cet immeuble le 27 septembre 2004 (trois autres personnes physiques et une personne morale). Ainsi, pour se prononcer sur cette conclusion subsidiaire, il importe peu de savoir comment les acheteurs ont organisé leurs rapports internes; autrement dit, il n'est ici pas nécessaire de savoir s'ils formaient une société simple (qui présuppose, à défaut d'une dérogation contractuelle, le régime de la propriété en main commune) ou s'ils ont acquis des parts de copropriété sur l'immeuble litigieux (sur les deux hypothèses, cf. infra consid. 2.4.1 et 2.4.2). Même à considérer que les acheteurs sont soumis au régime de la copropriété ordinaire, ceux-ci devaient tous être attraits en qualité de consorts passifs nécessaires, l'action ayant pour objet la suppression du rapport de droit que la vente aux enchères a fait naître entre les cohéritiers de H.X._ et les cinq acquéreurs de l'immeuble litigieux. Ni le demandeur, ni l'unique coacheteur assigné ne peuvent exiger des quatre autres coacheteurs qu'ils consentent à une restitution de leur part de copropriété de l'immeuble litigieux, aucune condamnation ne pouvant être prononcée à l'égard de personnes qui ne sont pas parties en cause (cf. supra consid. 2.2; ATF 113 II 450 consid. 3a p. 454 s.; ATF 51 I 47 consid. 2 p. 49 s.). Il est impossible de constater la nullité de la vente sans rendre un jugement à l'égard de tous les coacheteurs.
C'est donc à bon droit que la cour cantonale a rejeté, pour défaut de qualité pour défendre du recourant, sa première conclusion subsidiaire.
Le recourant invoque une violation de l'art. 20 CO, mais, dès lors que l'action est mal dirigée, il n'y a pas lieu de se demander si la vente était ou non nulle.
2.4 Reste à examiner la deuxième conclusion subsidiaire (constatation de la nullité du contrat de vente aux enchères publiques en tant qu'il concerne la quote-part de 15% de A._).
2.4.1 Dès lors que le nom de chacun des acheteurs est précisé dans le procès-verbal authentique relatif à la vente aux enchères publiques du 27 septembre 2004, on doit en déduire qu'ils ne formaient pas entre eux une personne morale ou une société disposant de la capacité d'ester en justice.
Sur la base des constatations cantonales, on pourrait ainsi admettre, comme première hypothèse, que les acquéreurs ont formé entre eux une société simple au sens de l'art. 530 CO, unissant leurs ressources en vue d'acquérir l'immeuble. Acheter un bien-fonds est d'ailleurs un but fréquent d'une société simple (cf. ATF 110 II 287 consid. 2a p. 290).
Les choses acquises par une société simple appartiennent en principe à l'ensemble des associés selon le régime de la propriété en main commune institué par les art. 652 ss CC (art. 544 al. 1 CO; arrêt 4P.226/2002 du 21 janvier 2003 consid. 2.2; arrêt 4C.218/2000 du 6 octobre 2000 consid. 2a; François Chaix, Commentaire romand, Code des obligations II, 2008, n° 3 ad art. 544 CO; Tercier/Favre, Les contrats spéciaux, 4e éd. 2009, n° 7487; Handschin/Vonzun, Zürcher Kommentar, 4e éd. 2009, n° 10 ad art. 544 CO; Fellmann/Müller, Berner Kommentar, 2006, n° 23 ad art. 544 CO). L'importance des apports respectifs ne joue à cet égard aucun rôle (Fellmann/Müller, op. cit., n° 50 ad art. 544 CO).
La figure juridique de la propriété en main commune implique une consorité nécessaire passive (entre autres auteurs: Chaix, op. cit., n° 7 ad art. 544 CO). Dans cette hypothèse, l'action du recourant n'étant pas interjetée contre tous les coacheteurs, mais dirigée seulement contre l'un d'eux, la demande serait entachée d'un défaut affectant la légitimation passive; elle devrait être rejetée.
2.4.2 Toujours sur la base des constatations cantonales, on pourrait également admettre, comme deuxième hypothèse, que les acquéreurs entendaient acheter des parts de copropriété (portant sur l'immeuble objet de la vente aux enchères). A cet égard, on pourrait se demander si cette hypothèse exclut l'existence d'une société simple, l'intention réelle de chacun des coacheteurs étant d'acquérir sa propre quote-part de l'immeuble (le but consistant à l'acquisition commune de l'immeuble passant ainsi au second plan). La question peut toutefois rester indécise en l'espèce. Même à admettre l'existence d'une société simple, les coacheteurs pouvaient déroger au système légal (propriété en main commune; art. 544 al. 1 CO) et opter pour le régime de la copropriété au sens des art. 646 ss CC, prévoyant des quotes-parts sur l'immeuble litigieux (arrêt 4P.226/2002 déjà cité; arrêt 4C.218/2000 déjà cité; Chaix, op. cit., n° 4 ad art. 544 CO; Handschin/Vonzun, op. cit., n° 13 ad art. 544 CO; Fellmann/Müller, op. cit., n° 55 ad art. 544 CO; Pestalozzi/Wettenschwiler, Basler Kommentar, n° 5 ad art. 544 CO).
Le régime de la copropriété doit être indiqué au registre foncier (art. 946, 958 CO, art. 10a al. 1 de l'Ordonnance sur le registre foncier [ORF; RS 211.432.1]; lorsque la part de copropriété est grevée d'un droit de gage, cf. art. 943 al. 1 ch. 4 CO, art. 111c al. 1 ORF). L'inscription est constitutive (art. 972 CC; ATF 115 II 221 consid. 4 et 5 p. 226 ss), l'action en rectification du registre foncier demeurant réservée (art. 974 ss CC). La part de copropriété - part "idéale" portant sur la totalité d'un bien qui n'est pas matériellement divisé (art. 646 al. 1 CC) - est elle-même un immeuble au sens de l'art. 655 al. 2 ch. 4 CC. Elle constitue un objet de propriété individuelle dont le titulaire peut disposer; celui-ci peut donc l'aliéner ou l'engager et ses créanciers peuvent le saisir, même contre la volonté des autres copropriétaires (art. 646 al. 3 CC; ATF 96 III 24; cf. également ATF 130 III 13 consid. 5.2.1 p. 15; arrêt 5C.285/2005 du 2 mai 2006 consid. 2.2 non publié à l'ATF 132 III 545).
Ainsi, dans l'hypothèse où il convient de retenir en l'espèce que le recourant est copropriétaire, à raison d'une quote-part de 15%, de l'immeuble litigieux, l'acte de vente serait divisible et le recourant pourrait être actionné indépendamment des autres copropriétaires; il conviendrait dès lors de reconnaître sa légitimation passive en rapport avec la deuxième conclusion subsidiaire.
2.4.3 L'état de fait présenté dans le jugement entrepris (cf. supra consid. 2.3.) est insuffisant pour déterminer si les acquéreurs formaient une société simple (ce qui implique, à défaut d'une dérogation contractuelle, la propriété en main commune de l'immeuble litigieux), ou si, ainsi que le prétend le recourant en lien avec sa deuxième conclusion subsidiaire, la vente du 27 septembre 2004 avait pour objet des parts de copropriété. S'agissant en particulier de la mention des divers pourcentages apposée à côté des noms des adjudicataires concernés, elle peut aussi bien laisser penser que ces derniers entendaient, en tant que membre d'une société simple, indiquer l'apport de chacun au paiement du prix global (cf. supra consid. 2.4.1) que faire référence à des parts de copropriété (cf. supra consid. 2.4.2). L'arrêt cantonal reste muet sur les inscriptions relatives au régime de la propriété adopté qui devraient, en toute hypothèse, être portées au registre foncier (cf. art. 33 ORF).
Les constatations cantonales ne permettent donc pas au Tribunal fédéral de contrôler si le droit fédéral a été correctement appliqué par l'autorité précédente. Il y a lieu d'admettre partiellement le recours, d'annuler l'arrêt attaqué et de renvoyer l'affaire à l'autorité cantonale pour nouvelle décision.
Pour trancher la question de la légitimation passive, la cour précédente devra en particulier établir l'existence d'une éventuelle inscription au registre foncier des parts de copropriété relatives à l'immeuble litigieux (cf. supra consid. 2.4.2), relever toutes les indications pertinentes comprises dans l'acte de vente (en l'occurrence le procès-verbal de la vente aux enchères) et rechercher tout accord qui aurait été conclu entre les coacheteurs au sujet de l'achat de l'immeuble litigieux (organisation de leurs rapports internes).
2.4.4 La question de la nullité partielle du contrat de vente (art. 20 al. 2 CO), soulevée par le recourant, n'aurait de sens que si l'on parvenait à la conclusion que l'action avait été bien dirigée, que la nullité avait été admise et qu'il fallait s'interroger sur ses conséquences. Ce grief est sans pertinence puisqu'il s'agit ici de renvoyer la cause à l'autorité cantonale afin qu'elle détermine si l'action était bien dirigée (cf. supra consid. 2.4.3).
La discussion du recourant sur la qualité pour défendre d'autres intimés (les héritiers de feu B.X._) n'est pas de nature à fonder l'une de ses conclusions devant le Tribunal fédéral, de sorte qu'elle est ici hors de propos.
2.5 Invoquant une violation du droit d'être entendu (art. 29 Cst.), le recourant se plaint, à titre principal devant la Cour de céans, de ce que l'autorité cantonale n'a pas ordonné l'apport d'une procédure pénale.
Ni le droit constitutionnel ni la procédure cantonale n'exigent du juge qu'il ordonne des mesures probatoires inutiles pour élucider les faits pertinents. Or, on ne voit pas - et le recourant ne l'explique pas non plus - que l'apport de cette procédure pénale puisse apporter la preuve d'un fait de nature à modifier l'analyse qui précède portant sur la première conclusion subsidiaire du recourant (cf. supra consid. 2.3) ou d'un fait propre à résoudre la question de sa légitimation passive, en lien avec sa deuxième conclusion subsidiaire (cf. supra consid. 2.4.3). Le grief est donc dépourvu de tout fondement.
3. Le recourant, dont la demande a été entièrement rejetée par la Cour civile, obtient dans la procédure fédérale une amélioration de sa situation juridique, du moment que le jugement défavorable à ses intérêts qu'il attaquait a été mis à néant. Toutefois, seule sa deuxième conclusion subsidiaire a été accueillie. Dans ces conditions, il faut considérer que le recourant n'obtient que partiellement gain de cause. En conséquence, les frais judiciaires, arrêtés à 10'000 fr., seront répartis par moitié entre les parties (cf. art. 66 al. 1 et 5 LTF). Les dépens (en faveur des parties qui sont intervenues devant le Tribunal fédéral) seront compensés (cf. art. 68 al. 1 et 4 LTF).
Par ces motifs, le Tribunal fédéral prononce
1. Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du recourant à concurrence de 5'000 fr. et solidairement à la charge des intimés à concurrence de 5'000 fr.
3. Les dépens sont compensés.
4. Le présent arrêt est communiqué aux parties, à D.X._ et au Tribunal cantonal du canton du Valais, Cour civile II.
Lausanne, le 18 janvier 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget