Faits:
A. Le 12 juin 1990, Y._ (ci-après: le poursuivi) et sa mère, Z._, ont signé une "déclaration" par laquelle cette dernière s'engageait à conclure un pacte successoral avec son fils prévoyant pour l'essentiel que celui-ci ne serait ni exclu de la succession ni ramené à sa réserve, que sa part ne pourrait être entamée par des legs ou autres donations sous quelque forme que ce soit et que le pacte successoral serait irrévocable.
Le même jour, X._ (ci-après: le poursuivant) et le poursuivi ont signé une convention aux termes de laquelle le second se reconnaissait débiteur du premier d'un montant de 900'000 fr. payable au plus tard six mois après le décès de sa mère (ch. I). Pour garantir le paiement de la dette, le poursuivi a déclaré céder au poursuivant, à due concurrence, sa part dans la succession de sa mère, cette cession ne dépassant toutefois pas les 50 % de ladite part successorale, limite à laquelle se réduirait également la dette stipulée sous chiffre I (ch. IV). La "déclaration" de la mère du poursuivi a été annexée à cette convention pour en faire partie intégrante, avec l'indication qu'elle était "précisément destinée à permettre [au poursuivant] de conclure la présente transaction".
Le poursuivi et sa mère ont conclu le pacte successoral le 18 juillet 1990. En préambule, la mère exposait qu'elle requérait l'établissement de cet acte "eu égard aux difficultés financières rencontrées par son fils [...] dans le cadre de ses affaires, au vu des engagements contractés par celui-ci et en relation avec la déclaration qu'elle a[vait] prise le 12 juin 1990". Le pacte prévoyait qu'elle révoquait toutes les dispositions pour cause de mort qu'elle aurait pu prendre antérieurement (art. 1) et qu'elle instituait son fils héritier pour un tiers de tous ses biens (art. 2).
Le 25 septembre 2002, le poursuivant et le poursuivi ont signé une nouvelle convention, qui reprenait pour l'essentiel celle du 12 juin 1990 tout en précisant son contenu et en clarifiant certains points. Le pacte successoral a été annexé à la convention avec la précision qu'il était "notamment destiné à garantir certains engagements prévus dans la présente convention et par là pour permettre [au poursuivant] de la conclure".
Le 14 mai 2004, le poursuivant et le poursuivi ont signé une troisième convention, dont la teneur est la suivante:
"[...]
Il est préliminairement exposé:
- que les parties ont conclu une convention transactionnelle le 12 juin 1990
qui a été complétée par un avenant signé le 27 septembre 2001 à l'occa-
sion d'un remboursement partiel effectué par le débiteur et reconnu
par le créancier au niveau de CHF 127'600.00,
- qu'une convention interprétative laissant subsister l'avenant a été signée par
les parties le 25 septembre 2002,
- que certaines stipulations se sont avérées irréalisables, notamment sur la
conclusion d'une police d'assurance vie en raison de l'état de santé du
débiteur et d'autres pour l'exécution des accords,
- que par conséquent les parties remplacent par la présente convention toutes
les précédentes, sauf les stipulations qu'elles maintiennent expressément
en s'y référant dans cet acte, valeur aux dates des conventions précitées,
- que le pacte successoral entre [le poursuivi] et sa mère [...] prévu dans le
préambule de la convention du 12 juin 1990 a été conclu et reste en vigueur
en ce sens que la part du débiteur dans la future succession maternelle,
représentant un tiers, ne peut être réduite par aucun acte à cause de mort.
Cela exposé, parties conviennent de ce qui suit:
I.
Comme stipulé dans l'art. 1er al. 1er de la convention du 12 juin 1990, [le poursuivi] se reconnaît personnellement et irrévocablement débiteur [du poursuivant] par CHF 900'000.00 [...], valeur échue.
La créance sera exigible le jour de l'ouverture de la succession de [la mère du poursuivi].
La créance porte intérêts à 5 % l'an dès le 1er juin 1990.
II.
La dette est diminuée, valeur au 30 septembre 2001, du montant remboursé par [le poursuivi] au niveau de CHF 127'600.00 [...].
III.
Parties confirment la stipulation à l'art. IV de la convention du 12 juin 1990, "pour garantir le paiement de sa dette, [le poursuivi] déclare céder [au poursuivant] à due concurrence sa part dans la succession de sa mère."
[...]
[...]
VI.
La présente convention annule et remplace les trois actes mentionnés au préambule, sauf dans la mesure où elle reprend expressément les stipulations qu'ils contenaient.
[...]".
B. Le 8 septembre 2009, à la requête du poursuivant, le Juge de paix du district de l'Ouest lausannois a ordonné le séquestre, à concurrence de 900'000 fr. plus intérêts à 5 % dès le 1er juin 1990, sous déduction de 127'600 fr., valeur au 1er octobre 2001, de la part successorale du poursuivi dans la succession de sa mère, décédée le 25 octobre 2008. Son ordonnance indiquait comme cause de l'obligation la convention du 14 mai 2004 et comme cas de séquestre celui de l'art. 271 al. 1 ch. 2 LP (dol ou fuite du débiteur).
Le poursuivi a formé opposition à l'ordonnance de séquestre en faisant valoir que la convention du 14 mai 2004 était nulle au regard de la disposition de l'art. 636 CC relative aux pactes sur successions non ouvertes. Par décision du 19 novembre 2009, le juge de paix a rejeté l'opposition et confirmé l'ordonnance de séquestre, en la rectifiant d'office en ce sens que le cas de séquestre était celui de l'art. 271 al. 1 ch. 1 LP (absence de domicile fixe du débiteur). Le poursuivi a, par acte du 10 mars 2010, recouru contre cette décision auprès de la Cour des poursuites et faillites du Tribunal cantonal vaudois.
Par arrêt n° 228 du 23 juin 2011, notifié en expédition complète aux parties le 15 novembre 2011, la cour cantonale a admis le recours du poursuivi et réformé le prononcé du juge de paix en ce sens que l'opposition à l'ordonnance de séquestre était admise, le séquestre étant levé.
C. Le 15 décembre 2011, le poursuivant a interjeté un recours en matière civile au Tribunal fédéral, concluant à l'annulation de la décision de la cour cantonale et à la confirmation du séquestre, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il invoque l'appréciation arbitraire (art. 9 Cst.) des faits et des preuves dans l'application des art. 272 al. 1 ch. 1 LP et 636 CC, l'application arbitraire des art. 636 CC et 20 CO et la violation de l'art. 29 Cst.
Le dépôt de réponses n'a pas été requis.
Une poursuite en validation de séquestre fait l'objet de la procédure parallèle 5A_878/2011.
Considérant en droit:
1. 1.1 Le recours a été interjeté en temps utile (art. 100 al. 1 LTF) à l'encontre d'une décision finale (art. 90 LTF) rendue en matière de poursuite pour dettes (art. 72 al. 2 let. a LTF) par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF). La valeur litigieuse atteint au moins 30'000 fr. (art. 74 al. 1 let. b LTF). Le recourant, qui a été débouté de ses conclusions par l'autorité précédente, a qualité pour recourir (art. 76 al. 1 LTF).
1.2 L'arrêt sur opposition au séquestre rendu par l'autorité judiciaire supérieure (art. 278 al. 3 LP) porte sur des mesures provisionnelles au sens de l'art. 98 LTF (ATF 135 III 232 consid. 1.2; arrêt 5A_697/2010 du 11 novembre 2010 consid. 1.2); la partie recourante ne peut donc se plaindre que d'une violation de ses droits constitutionnels. Le Tribunal fédéral n'examine un tel grief que s'il a été invoqué et motivé (art. 106 al. 2 LTF), à savoir expressément soulevé et exposé de manière claire et détaillée (ATF 134 II 349 consid. 3 et les arrêts cités).
1.3 Saisi d'un recours fondé sur l'art. 98 LTF (cf. supra, consid. 1.2), le Tribunal fédéral ne revoit l'application du droit fédéral que sous l'angle restreint de l'arbitraire (arrêt 5A_697/2010 précité consid. 1.3, avec les citations).
De jurisprudence constante, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit censurée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (ATF 137 I 1 consid. 2.4; 136 I 316 consid. 2.2.2 et les arrêts cités). Le justiciable qui se plaint d'une violation de l'art. 9 Cst. ne saurait se contenter de critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité supérieure jouit d'une libre cognition; en particulier, il ne peut se borner à opposer son opinion à celle de l'autorité cantonale, mais doit démontrer par une argumentation précise que cette décision repose sur une application de la loi manifestement insoutenable (ATF 134 II 349 consid. 3, avec les arrêts cités).
2. 2.1 Le séquestre est autorisé, entre autres exigences, si le requérant a rendu vraisemblable sa créance (art. 272 al. 1 ch. 1 LP). Il suffit ainsi que l'autorité, se fondant sur des éléments objectifs, acquière l'impression que les faits pertinents se sont produits, mais sans qu'elle doive exclure pour autant la possibilité qu'ils se soient déroulés autrement. Les conditions posées au degré de vraisemblance de l'existence d'une créance ne doivent pas être trop élevées; cependant, un début de preuve doit exister. A cet effet, le créancier séquestrant doit alléguer les faits et, pratiquement, produire une pièce ou un ensemble de pièces qui permettent au juge du séquestre d'acquérir, sur le plan de la simple vraisemblance, la conviction que la prétention existe pour le montant énoncé et qu'elle est exigible (arrêt 5A_836/2010 du 2 février 2011 consid. 4.1.1 et les références citées).
2.2 Le point de savoir si le degré de vraisemblance requis par le droit fédéral est atteint dans le cas particulier ressortit à l'appréciation des preuves. Dans ce domaine, le Tribunal fédéral reconnaît une ample latitude aux autorités cantonales. Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (même arrêt, consid. 4.1.2 et les références).
2.3 L'opposant peut contester que l'existence de la créance ait été rendue vraisemblable, en particulier qu'elle soit née valablement (cf. STOFFEL/CHABLOZ, in Commentaire romand de la LP, n. 16 ad art. 271 LP). A cette fin, il doit rendre immédiatement vraisemblable sa libération ou produire un titre propre à prouver sa libération (GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n. 42 ad art. 278 LP).
3. En ce qui concerne la constatation des faits et l'appréciation des preuves, le recourant reproche à la cour cantonale, sous l'angle de l'art. 272 al. 1 ch. 1 LP, d'avoir dénié arbitrairement toute existence de la créance, en violant le degré de vraisemblance imposé par le droit fédéral et en négligeant des faits et preuves qui avaient non seulement une influence sur le résultat de la décision, mais déterminaient la réalisation de la condition de l'existence de la créance. Sous l'angle de l'art. 636 CC, il lui fait grief d'avoir retenu arbitrairement, soit en omettant certaines preuves et faits pertinents ou en n'en comprenant manifestement pas le sens et la portée, l'absence de consentement de la de cujus à la convention du 14 mai 2004.
3.1 S'agissant de l'art. 272 al. 1 ch. 1 LP, la cour cantonale a simplement retenu que la requête de séquestre était fondée sur la convention signée par les parties le 14 mai 2004 et que le poursuivi invoquait la nullité de celle-ci en se fondant sur l'art. 636 al. 1 CC. Dès lors qu'elle admettait ce moyen libératoire, tiré d'ailleurs d'une disposition édictée dans l'intérêt de l'ordre public et des moeurs (ATF 42 II 190 consid. 3), la cour cantonale pouvait se dispenser de trancher formellement la question de savoir si la convention constituait en soi un élément permettant de conclure, sous l'angle de la vraisemblance, à l'existence de la créance au sens de l'art. 272 al. 1 ch. 1 LP. Il s'ensuit que les griefs du recourant portant sur ce point sont dénués d'objet et n'ont, partant, pas à être examinés.
3.2 Il en va de même, et pour le même motif, du grief fait par le recourant à la cour cantonale, sous l'angle des art. 9 et 29 Cst., d'avoir négligé un moyen de preuve produit, à savoir un courrier de l'intimé du 27 septembre 2001 (pièce 5) qui faisait état d'un remboursement "très partiel de [sa] dette" (66'000 fr.) et qui tendait prétendument à démontrer la réalisation de la condition de l'existence de la créance visée par l'art. 272 al. 1 ch. 1 LP.
3.3 S'agissant de l'art. 636 al. 1 CC, la cour cantonale a considéré que la seule pièce d'où aurait pu ressortir le consentement de la de cujus était le pacte successoral du 18 juillet 1990. Les constatations faites à propos de cette pièce par l'arrêt attaqué sont les suivantes: le pacte successoral mentionnait dans son préambule que la de cujus l'avait fait confectionner "eu égard aux difficultés rencontrées par son fils [...] dans le cadre de ses affaires, au vu des engagements contractés par celui-ci et en relation avec la déclaration qu'elle [avait] prise le 12 juin 1990"; si l'on pouvait éventuellement déduire de cette indication que la de cujus avait consenti au principe d'une cession de la part d'héritage de son fils au profit des créanciers d'affaires de celui-ci, ce consentement général implicite ne coïncidait toutefois pas avec le contenu de la convention de 2004, notamment quant à l'identité de l'unique créancier bénéficiaire de la cession et quant au montant en capital de la dette ainsi garantie; la de cujus ne pouvait donc avoir consenti aux termes spécifiques de ce contrat.
Le recourant se contente de prétendre le contraire, mais ne démontre pas, conformément aux exigences rappelées plus haut (consid. 1.3), que la cour cantonale aurait fait une déduction insoutenable, partant arbitraire, de la pièce en question en relation avec la déclaration de la de cujus du 12 juin 1990 et de la convention des parties du même jour. Contrairement à ce qu'il laisse entendre, il n'en ressort en tout cas pas que la de cujus a eu connaissance de la convention des parties du 12 juin 1990 prévoyant la cession de la part successorale de son fils au recourant. Le fait que les parties ont de leur propre chef annexé sa déclaration du même jour par laquelle elle s'engageait, sans indication de motifs, à conclure avec son fils un pacte successoral, ne pouvait suppléer à cette absence de connaissance. En outre, aucun élément du dossier ne permet d'admettre que la cour cantonale aurait dû constater que les clauses de la convention de 2004 avaient été portées à la connaissance de la de cujus.
Le grief d'appréciation arbitraire des faits et des preuves en relation avec l'application de l'art. 636 al. 1 CC doit en conséquence être rejeté.
4. Aux termes de l'art. 636 al. 1 CC, sont nuls et de nul effet tous contrats passés au sujet d'une succession non ouverte, par un héritier avec ses cohéritiers ou un tiers, sans le concours et l'assentiment de celui dont l'hérédité a fait l'objet de la convention.
4.1 Cette disposition, qui doit être interprétée restrictivement dès lors qu'elle constitue une atteinte au principe de la liberté des contrats, ne vise que les contrats ayant pour objet la cession d'une part d'héritage donnant au cessionnaire le droit, non pas de participer au partage, mais de revendiquer la part d'héritage échue au cédant. La prohibition légale ne s'applique pas au fait de reporter l'exigibilité d'une dette au moment de l'ouverture de la succession. Ainsi la promesse de payer une dette au moyen d'une succession future est juridiquement valable. (ATF 56 II 347).
Le concours et l'assentiment du de cujus exigés pour la validité du contrat consistent dans le fait que le de cujus exprime clairement à l'égard des parties au contrat son accord avec le contenu de celui-ci. Il suffit qu'il donne son assentiment aux clauses du contrat qui ont été portées à sa connaissance d'une façon détaillée, par exemple par la remise d'un projet avant que les parties signent le contrat, ou qu'il se déclare d'accord avec le contrat conclu par les parties après en avoir pris connaissance. Cela suffit du moins lorsque, entre la conclusion du contrat par les parties et le moment où le de cujus a donné son assentiment, il ne s'est pas écoulé un temps si long ou qu'il n'est pas survenu d'autres circonstances telles que l'on ait des raisons de douter que le de cujus maintienne son accord ou que les parties maintiennent leur volonté de conclure le contrat (ATF 98 II 281 consid. 5e).
Il n'est pas nécessaire que le de cujus fasse sa déclaration par écrit. Il suffit qu'il puisse décider en pleine connaissance de cause s'il veut donner son assentiment au contrat ou s'il ne le veut pas, et qu'il déclare son accord aux parties de façon claire et non équivoque, soit expressément ou par actes concluants (même arrêt, consid. 5g).
4.2 Le recourant fait grief à la cour cantonale d'avoir considéré arbitrairement que la convention conclue par les parties le 14 mai 2004 avait pour objet la cession d'une part successorale. D'après lui, cette convention ne faisait que repousser l'exigibilité de la créance au décès de la mère de l'intimé.
Il ne saurait être suivi. Le chiffre III de ladite convention prévoit sans équivoque que "pour garantir le paiement de sa dette, [le poursuivi] déclare céder [au poursuivant] à due concurrence sa part dans la succession de sa mère". C'est donc sans arbitraire que la cour cantonale a retenu que l'accord des parties portait bien sur une cession de part d'héritage, qu'il s'agissait indubitablement d'un pacte sur succession non ouverte soumis à l'art. 636 CC et que, faute de consentement de la de cujus aux termes spécifiques de ce contrat (cf. consid. 3.3 ci-dessus), la prohibition légale prévue par cette disposition s'appliquait.
Le grief d'application arbitraire de l'art. 636 CC est par conséquent infondé.
5. 5.1 L'art. 20 al. 2 CO, dont le recourant invoque l'application arbitraire par la cour cantonale, prévoit que si le contrat n'est vicié que dans certaines de ses clauses, ces clauses sont seules frappées de nullité, à moins qu'il n'y ait lieu d'admettre que le contrat n'aurait pas été conclu sans elles.
Le juge doit rechercher quelle aurait été la volonté des parties si elles avaient connu la nullité de la clause, c'est-à-dire leur volonté hypothétique (ATF 114 II 159 consid. 2c et les références citées). C'est là une question de droit. Le Tribunal fédéral est cependant lié par les constatations de fait sur lesquelles les premiers juges se sont fondés pour déterminer cette volonté hypothétique (ATF 120 II 35 consid. 4b;107 II 216 consid. 3b ).
5.2 L'arrêt attaqué retient à ce propos les éléments suivants:
- la convention du 14 mai 2004 avait pour objet une dette de l'intimé à
l'égard du recourant, dont le paiement était garanti par la cession des
prétentions que le débiteur pourrait faire valoir dans le cadre du
partage de la succession de sa mère;
- il ressortait de son préambule que ladite convention remplaçait deux
conventions passées antérieurement par les mêmes parties, les 12
juin 1990 et 25 septembre 2002, sauf les stipulations qu'elles mainte-
naient expressément en s'y référant dans le nouvel acte;
- dans la convention du 14 mai 2004, les parties avaient précisé que
"le pacte successoral [...] prévu dans la convention du 12 juin 1990 [...]
rest[ait] en vigueur en ce sens que la part du débiteur dans la future
succession maternelle, représentant un tiers, ne pouvait être réduite par
aucun acte à cause de mort";
- les parties y avaient par ailleurs repris, mot à mot, la cession stipulée
dans la convention de 1990, à savoir que "pour garantir le paiement de
sa dette, [le poursuivi] déclar[ait] céder [au poursuivant] à due concurrence
sa part dans la succession de sa mère".
La cour cantonale a déduit de ces éléments que dans les trois conventions successives, en particulier celle du 14 mai 2004, les parties avaient eu la même intention, à savoir garantir le paiement de la dette du poursuivi à l'égard du poursuivant par la cession de la part du poursuivi dans la succession de sa mère, le pacte successoral ayant été conclu à cette fin. Ces éléments ont conduit la cour cantonale à admettre que sans la clause prévoyant la cession d'héritage, les parties n'auraient pas passé la convention du 14 mai 2004 et que cet acte devait dès lors être considéré comme entièrement nul.
5.3 Le recourant reproche à la cour cantonale d'avoir construit de manière arbitraire la volonté hypothétique des parties. Il estime qu'elle aurait dû distinguer clairement dans la convention du 14 mai 2004 la reconnaissance de dette et la cession de part héréditaire, parfaitement indépendantes l'une de l'autre selon lui, et retenir que, malgré la nullité de la clause prévoyant la cession de la part successorale, les parties auraient manifestement conclu la reconnaissance de dette. Ainsi qu'il a été retenu plus haut (consid. 4.2), l'accord des parties ne s'est pas borné à consacrer une reconnaissance de dette assortie d'un report d'exigibilité au décès de la mère de l'intimé, mais il a porté sur une cession de part d'héritage; il s'agissait ainsi fondamentalement d'un pacte sur succession non ouverte soumis à l'art. 636 CC. Il est constant que le recourant a signé cet accord à la condition, clairement exprimée et confirmée dans les conventions successives, qu'il y ait cession d'une part d'héritage. La cour cantonale pouvait donc, sans arbitraire, en déduire que les parties n'auraient pas passé l'accord sans la clause prévoyant cette cession de part successorale et considérer dès lors qu'il était entièrement nul. Le fait, avancé par le recourant, que l'intimé a partiellement remboursé sa dette selon courrier du 27 septembre 2001, par 66'000 fr., n'est pas déterminant à cet égard puisque les parties ont maintenu la clause en question en dépit dudit remboursement.
Le grief d'application arbitraire de l'art. 20 al. 2 CO est donc également infondé.
6. Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais de son auteur (art. 66 al. 1 LTF).
Il n'y a pas lieu d'allouer des dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux participants à la procédure et à la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 mars 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Fellay