Faits:
A. A.a Le 12 juin 1990, Y._ (ci-après: le poursuivi) et sa mère, Z._, ont signé une "déclaration" par laquelle cette dernière s'engageait à conclure un pacte successoral avec son fils prévoyant pour l'essentiel que celui-ci ne serait ni exclu de la succession ni ramené à sa réserve, que sa part ne pourrait être entamée par des legs ou autres donations sous quelque forme que ce soit et que le pacte successoral serait irrévocable.
Le même jour, X._ (ci-après: le poursuivant) et le poursuivi ont signé une convention aux termes de laquelle le second se reconnaissait débiteur du premier d'un montant de 900'000 fr. payable au plus tard six mois après le décès de sa mère (ch. I). Pour garantir le paiement de la dette, le poursuivi a déclaré céder au poursuivant, à due concurrence, sa part dans la succession de sa mère, cette cession ne dépassant toutefois pas les 50 % de ladite part successorale, limite à laquelle se réduirait également la dette stipulée sous chiffre I (ch. IV). La "déclaration" de la mère du poursuivi a été annexée à cette convention pour en faire partie intégrante, avec l'indication qu'elle était "précisément destinée à permettre [au poursuivant] de conclure la présente transaction".
Le poursuivi et sa mère ont conclu le pacte successoral le 18 juillet 1990. En préambule, la mère exposait qu'elle requérait l'établissement de cet acte "eu égard aux difficultés financières rencontrées par son fils [...] dans le cadre de ses affaires, au vu des engagements contractés par celui-ci et en relation avec la déclaration qu'elle a[vait] prise le 12 juin 1990". Le pacte prévoyait qu'elle révoquait toutes les dispositions pour cause de mort qu'elle aurait pu prendre antérieurement (art. 1) et qu'elle instituait son fils héritier pour un tiers de tous ses biens (art. 2).
Le 25 septembre 2002, le poursuivant et le poursuivi ont signé une nouvelle convention, qui reprenait pour l'essentiel celle du 12 juin 1990 tout en précisant son contenu et en clarifiant certains points. Le pacte successoral a été annexé à la convention avec la précision qu'il était "notamment destiné à garantir certains engagements prévus dans la présente convention et par là pour permettre [au poursuivant] de la conclure".
Le 14 mai 2004, le poursuivant et le poursuivi ont signé une troisième convention, dont la teneur est la suivante:
"[...]
Il est préliminairement exposé:
- que les parties ont conclu une convention transactionnelle le 12 juin 1990
qui a été complétée par un avenant signé le 27 septembre 2001 à l'occa-
sion d'un remboursement partiel effectué par le débiteur et reconnu par le
créancier au niveau de CHF 127'600.00,
- qu'une convention interprétative laissant subsister l'avenant a été signée par
les parties le 25 septembre 2002,
- que certaines stipulations se sont avérées irréalisables, notamment sur la
conclusion d'une police d'assurance vie en raison de l'état de santé du débi-
teur et d'autres pour l'exécution des accords,
- que par conséquent les parties remplacent par la présente convention toutes
les précédentes, sauf les stipulations qu'elles maintiennent expressément
en s'y référant dans cet acte, valeur aux dates des conventions précitées,
- que le pacte successoral entre [le poursuivi] et sa mère [...] prévu dans le
préambule de la convention du 12 juin 1990 a été conclu et reste en vigueur
en ce sens que la part du débiteur dans la future succession maternelle,
représentant un tiers, ne peut être réduite par aucun acte à cause de mort.
Cela exposé, parties conviennent de ce qui suit:
I.
Comme stipulé dans l'art. 1er al. 1er de la convention du 12 juin 1990, [le poursuivi] se reconnaît personnellement et irrévocablement débiteur [du poursuivant] par CHF 900'000.00 [...], valeur échue.
La créance sera exigible le jour de l'ouverture de la succession de [la mère du poursuivi].
La créance porte intérêts à 5 % l'an dès le 1er juin 1990.
II.
La dette est diminuée, valeur au 30 septembre 2001, du montant remboursé par [le poursuivi] au niveau de CHF 127'600.00 [...].
III.
Parties confirment la stipulation à l'art. IV de la convention du 12 juin 1990, "pour garantir le paiement de sa dette, [le poursuivi] déclare céder [au poursuivant] à due concurrence sa part dans la succession de sa mère."
[...]
[...]
VI.
La présente convention annule et remplace les trois actes mentionnés au préambule, sauf dans la mesure où elle reprend expressément les stipulations qu'ils contenaient.
[...]".
A.b Le 8 septembre 2009, à la requête du poursuivant, le Juge de paix du district de l'Ouest lausannois a ordonné le séquestre, à concurrence de 900'000 fr. plus intérêts à 5 % dès le 1er juin 1990, sous déduction de 127'600 fr., valeur au 1er octobre 2001, de la part successorale du poursuivi dans la succession de sa mère, décédée le 25 octobre 2008. Son ordonnance indiquait comme cause de l'obligation la convention du 14 mai 2004 et comme cas de séquestre celui de l'art. 271 al. 1 ch. 2 LP (dol ou fuite du débiteur).
Le poursuivi a formé opposition à l'ordonnance de séquestre en faisant valoir que la convention du 14 mai 2004 était nulle au regard de la disposition de l'art. 636 CC relative aux pactes sur successions non ouvertes. Par décision du 19 novembre 2009, le juge de paix a rejeté l'opposition et confirmé l'ordonnance de séquestre, en la rectifiant d'office en ce sens que le cas de séquestre était celui de l'art. 271 al. 1 ch. 1 LP (absence de domicile fixe du débiteur). Le poursuivi a, par acte du 10 mars 2010, recouru contre cette décision auprès de la Cour des poursuites et faillites du Tribunal cantonal vaudois qui, par arrêt n° 228 du 23 juin 2011, a admis le recours. Le recours constitutionnel interjeté au Tribunal fédéral par le poursuivant contre cet arrêt fait l'objet de la procédure parallèle 5A_877/2011.
B. Le 16 novembre 2009, à la réquisition du poursuivant, l'Office des poursuites du district de Morges-Aubonne a notifié au poursuivi un commandement de payer n° xxxx portant sur les sommes de 900'000 fr. plus intérêts et de 504 fr. sans intérêts, sous déduction de 127'600 fr. La cause de l'obligation était la suivante: "Validation du séquestre n° xxxx. Convention du 14 mai 2004. Frais de procès-verbal de séquestre".
Le poursuivi a formé opposition totale. Requis par le poursuivant de lever l'opposition, le Juge de paix du district de Morges a rejeté cette requête par prononcé du 3 mars 2010. Il a considéré, en substance, que la prohibition de l'art. 636 al. 1 CC devait s'appliquer et qu'elle emportait la mise à néant de la reconnaissance de dette. Le 26 avril 2010, le poursuivant a recouru contre cette décision auprès de la cour cantonale des poursuites et faillites.
Par arrêt n° 229 du 23 juin 2011, notifié en expédition complète aux parties le 15 novembre 2011, la cour cantonale a rejeté le recours du poursuivant et confirmé le rejet de la requête de mainlevée d'opposition prononcé par le juge de paix morgien dans la poursuite en validation du séquestre.
C. Le 15 décembre 2011, le poursuivant a interjeté un recours en matière civile au Tribunal fédéral, concluant à l'annulation de la décision de la cour cantonale et au prononcé de la mainlevée provisoire de l'opposition faite à la poursuite en validation de séquestre, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il invoque la constatation manifestement inexacte des faits (art. 97 LTF) et l'appréciation arbitraire des preuves dans l'application des art. 82 LP et 636 CC, ainsi que la violation des art. 636 CC et 20 CO. Il conclut à l'annulation de la décision attaquée
Le dépôt de réponses n'a pas été requis.
Considérant en droit:
1. 1.1 La décision rendue en matière de mainlevée - définitive ou provisoire - de l'opposition est une décision finale au sens de l'art. 90 LTF puisqu'elle met fin à l'instance (ATF 134 III 115 consid. 1.1). Elle peut faire l'objet du recours en matière civile (art. 72 al. 2 let. a LTF) lorsque la valeur litigieuse atteint, comme en l'espèce, au moins 30'000 fr. (art. 74 al. 1 let. b LTF; ATF 133 III 399 consid. 1.3). Interjeté en temps utile (art. 100 al. 1 LTF) par la partie qui a succombé en instance cantonale (art. 76 al. 1 LTF) à l'encontre d'une telle décision prise sur recours en dernière instance cantonale (art. 75 LTF), le présent recours est en principe recevable.
1.2 Le recours en matière civile peut être formé pour violation du droit fédéral, lequel comprend les droits constitutionnels (art. 95 let. a LTF; ATF 133 III 446 consid. 3.1, 462 consid. 2.3). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2). Il ne connaît toutefois de la violation des droits fondamentaux que si ce grief a été soulevé et motivé par le recourant ("principe d'allégation"; art. 106 al. 2 LTF; ATF 134 I 83 consid. 3.2; 133 II 249 consid. 1.4.2).
1.3 Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; ATF 135 II 145 consid. 8.1; 133 II 249 consid. 1.2.2) - des faits doit satisfaire au principe d'allégation susmentionné (consid. 1.2), étant rappelé que l'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 134 V 53 consid. 4.3; 129 I 8 consid. 2.1).
1.4 Lorsqu'il admet un recours, le Tribunal fédéral peut statuer lui-même sur le fond (art. 107 al. 2 LTF) et donc prononcer la mainlevée de l'opposition, s'il dispose de tous les faits nécessaires; en effet, ni le recours en matière civile ni le recours constitutionnel ne sont purement cassatoires (arrêt 5A_62/2009 du 2 juillet 2009 consid. 3; cf. ATF 134 III 379 consid. 1.3; 133 III 489 consid. 3).
2. En vertu de l'art. 82 LP, le créancier dont la poursuite se fonde sur une reconnaissance de dette constatée par acte authentique ou sous seing privé peut requérir la mainlevée provisoire (al. 1); le juge la prononce si le débiteur ne rend pas immédiatement vraisemblable sa libération (al. 2).
2.1 Constitue une reconnaissance de dette au sens de l'art. 82 LP l'acte authentique ou sous seing privé signé par le poursuivi ou son représentant, d'où ressort sa volonté de payer au poursuivant, sans réserve ni condition, une somme d'argent déterminée ou facilement déterminable et échue. La reconnaissance de dette peut résulter de plusieurs pièces, dans la mesure où celle qui est signée renvoie ou se réfère directement à celle qui indique la créance et son montant (ATF 132 III 480 consid. 4.1 et les références citées).
Au stade de la mainlevée, le juge examine uniquement l'existence et la force probante du titre produit par le créancier, et non la réalité ou la validité de la créance; il attribue force exécutoire à ce titre à moins que le débiteur ne rende immédiatement vraisemblables ses moyens libératoires (ATF 132 III 140 consid. 4.1.1 et les références).
2.2 Le débiteur n'a pas à apporter la preuve absolue (ou stricte) de ses moyens libératoires, mais seulement leur simple vraisemblance (Glaubhaftmachung; semplice verosimiglianza), en principe par titre (dans ce sens, l'art. 254 al. 1 CPC en vigueur depuis le 1er janvier 2011). Le juge n'a pas à être persuadé de l'existence des faits allégués; il doit, en se fondant sur des éléments objectifs, avoir l'impression que les faits allégués se sont produits, sans exclure pour autant la possibilité qu'ils se soient déroulés autrement (arrêt 5D_147/2011 du 10 novembre 2011 consid. 3 et les références citées, notamment ATF 132 III 140 consid. 4.1.2 et 130 III 321 consid. 3.3).
Le débiteur peut se prévaloir de tous les moyens de droit civil - exceptions ou objections - qui infirment la reconnaissance de dette (arrêt 5D_147/2011 précité, même considérant). Des moyens comme ceux tirés de la violation de règles impératives prescrites à peine de nullité, ou de l'objet illicite ou contraire aux moeurs d'un contrat, telle la disposition de l'art. 636 al. 1 CC édictée dans l'intérêt de l'ordre public et des moeurs (ATF 42 II 190 consid. 3), doivent même être soulevés d'office par le juge de la mainlevée (GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n. 75 ad art. 82 LP).
3. En ce qui concerne la constatation des faits et l'appréciation des preuves, le recourant reproche à la cour cantonale, sous l'angle de l'art. 82 LP, d'avoir dénié arbitrairement toute existence de titre à la mainlevée provisoire, en violant le degré de preuve imposé par le droit fédéral et en excédant son pouvoir d'examen. Sous l'angle de l'art. 636 CC, il lui fait grief d'avoir retenu arbitrairement, soit en omettant certaines preuves et faits pertinents ou en n'en comprenant manifestement pas le sens et la portée, l'absence de consentement de la de cujus à la convention du 14 mai 2004.
3.1 S'agissant de l'art. 82 LP, contrairement à ce que soutient le recourant, la cour cantonale n'a nullement constaté qu'il ne disposait pas d'un titre de mainlevée provisoire. Elle a simplement retenu que la requête de mainlevée était fondée sur la convention signée par les parties le 14 mai 2004 et que le poursuivi invoquait la nullité de celle-ci. Dès lors qu'elle admettait ce moyen libératoire, la cour cantonale pouvait se dispenser de trancher formellement la question de savoir si, en soi, la convention constituait un titre de mainlevée au sens de l'art. 82 LP. Il s'ensuit que les griefs du recourant portant sur ce point sont dénués d'objet et n'ont, partant, pas à être examinés.
3.2 S'agissant de l'art. 636 CC, la cour cantonale a considéré que les seules pièces d'où aurait pu ressortir le consentement de la de cujus étaient la déclaration qu'elle avait signée avec son fils le 12 juin 1990 et le pacte successoral du 18 juillet 1990. Les constatations faites à propos desdites pièces par l'arrêt attaqué sont les suivantes: le pacte successoral mentionnait dans son préambule que la de cujus l'avait fait confectionner "eu égard aux difficultés rencontrées par son fils [...] dans le cadre de ses affaires, au vu des engagements contractés par celui-ci et en relation avec la déclaration qu'elle [avait] prise le 12 juin 1990"; si l'on pouvait éventuellement déduire de cette indication que la de cujus avait consenti au principe d'une cession de la part d'héritage de son fils au profit des créanciers d'affaires de celui-ci, ce consentement général implicite ne coïncidait toutefois pas avec le contenu de la convention de 2004, notamment quant à l'identité de l'unique créancier bénéficiaire de la cession et quant au montant en capital de la dette ainsi garantie; la de cujus ne pouvait donc avoir consenti aux termes spécifiques de ce contrat.
Le recourant se contente de prétendre le contraire, mais ne démontre pas, conformément aux exigences rappelées plus haut (consid. 1.3), que la cour cantonale aurait fait une déduction insoutenable, partant arbitraire, des pièces susmentionnées. Contrairement à ce qu'il laisse entendre, il n'en ressort en tout cas pas que la de cujus a eu connaissance de la convention des parties du 12 juin 1990 prévoyant la cession de la part successorale de son fils au recourant. Le fait que les parties ont de leur propre chef annexé sa déclaration du même jour par laquelle elle s'engageait, sans indication de motifs, à conclure avec son fils un pacte successoral, ne pouvait suppléer à cette absence de connaissance. En outre, aucun élément du dossier ne permet d'admettre que la cour cantonale aurait dû constater que les clauses de la convention de 2004 avaient été portées à la connaissance de la de cujus.
Le grief de constatation manifestement inexacte des faits et d'appréciation arbitraire des preuves en relation avec l'application de l'art. 636 CC doit en conséquence être rejeté.
4. Aux termes de l'art. 636 al. 1 CC, sont nuls et de nul effet tous contrats passés au sujet d'une succession non ouverte, par un héritier avec ses cohéritiers ou un tiers, sans le concours et l'assentiment de celui dont l'hérédité a fait l'objet de la convention.
4.1 Cette disposition, qui doit être interprétée restrictivement dès lors qu'elle constitue une atteinte au principe de la liberté des contrats, ne vise que les contrats ayant pour objet la cession d'une part d'héritage donnant au cessionnaire le droit, non pas de participer au partage, mais de revendiquer la part d'héritage échue au cédant. La prohibition légale ne s'applique pas au fait de reporter l'exigibilité d'une dette au moment de l'ouverture de la succession. Ainsi la promesse de payer une dette au moyen d'une succession future est juridiquement valable. (ATF 56 II 347).
Le concours et l'assentiment du de cujus exigés pour la validité du contrat consistent dans le fait que le de cujus exprime clairement à l'égard des parties au contrat son accord avec le contenu de celui-ci. Il suffit qu'il donne son assentiment aux clauses du contrat qui ont été portées à sa connaissance d'une façon détaillée, par exemple par la remise d'un projet avant que les parties signent le contrat, ou qu'il se déclare d'accord avec le contrat conclu par les parties après en avoir pris connaissance. Cela suffit du moins lorsque, entre la conclusion du contrat par les parties et le moment où le de cujus a donné son assentiment, il ne s'est pas écoulé un temps si long ou qu'il n'est pas survenu d'autres circonstances telles que l'on ait des raisons de douter que le de cujus maintienne son accord ou que les parties maintiennent leur volonté de conclure le contrat (ATF 98 II 281 consid. 5e).
Il n'est pas nécessaire que le de cujus fasse sa déclaration par écrit. Il suffit qu'il puisse décider en pleine connaissance de cause s'il veut donner son assentiment au contrat ou s'il ne le veut pas, et qu'il déclare son accord aux parties de façon claire et non équivoque, soit expressément ou par actes concluants (même arrêt, consid. 5g).
4.2 Le recourant fait grief à la cour cantonale d'avoir considéré à tort que la convention conclue par les parties le 14 mai 2004 avait pour objet la cession d'une part successorale. D'après lui, cette convention ne faisait que repousser l'exigibilité de la créance au décès de la mère de l'intimé.
Il ne saurait être suivi. Le chiffre III de ladite convention prévoit sans équivoque que "pour garantir le paiement de sa dette, [le poursuivi] déclare céder [au poursuivant] à due concurrence sa part dans la succession de sa mère". C'est donc à bon droit que la cour cantonale a retenu que l'accord des parties portait bien sur une cession de part d'héritage, qu'il s'agissait indubitablement d'un pacte sur succession non ouverte soumis à l'art. 636 CC et que, faute de consentement de la de cujus aux termes spécifiques de ce contrat (cf. consid. 3.2 ci-dessus), la prohibition légale prévue par cette disposition s'appliquait.
Le grief de violation de l'art. 636 CC est par conséquent infondé.
5. 5.1 L'art. 20 al. 2 CO, dont le recourant invoque la violation par la cour cantonale, prévoit que si le contrat n'est vicié que dans certaines de ses clauses, ces clauses sont seules frappées de nullité, à moins qu'il n'y ait lieu d'admettre que le contrat n'aurait pas été conclu sans elles. Le juge doit rechercher quelle aurait été la volonté des parties si elles avaient connu la nullité de la clause, c'est-à-dire leur volonté hypothétique (ATF 114 II 159 consid. 2c et les références citées). C'est là une question de droit. Le Tribunal fédéral est cependant lié par les constatations de fait sur lesquelles les premiers juges se sont fondés pour déterminer cette volonté hypothétique (ATF 120 II 35 consid. 4b;107 II 216 consid. 3b ).
5.2 L'arrêt attaqué retient à ce propos les éléments suivants:
- le préambule de la convention de 1990 précisait que la déclaration
de la mère de l'intimé de conclure un pacte successoral était
"précisément destinée à permettre [au poursuivant] de conclure la présente
transaction";
- le préambule de la convention de 2002 contenait une déclaration
similaire, le pacte successoral étant intégré à cette convention "pour
permettre [au poursuivant] de la conclure";
- la convention de 2004, qui a remplacé les deux précédentes, sauf
stipulations expressément maintenues, précisait également dans
son préambule que "le pacte successoral [...] prévu dans la convention
du 12 juin 1990 [...] rest[ait] en vigueur en ce sens que la part du débiteur
dans la future succession maternelle, représentant un tiers, ne pouvait être
réduite par aucun acte à cause de mort"; les parties y ont par ailleurs
repris, mot à mot, la cession stipulée dans la convention de 1990, à
savoir que "pour garantir le paiement de sa dette, [le poursuivi] déclar[ait]
céder [au poursuivant] à due concurrence sa part dans la succession de sa
mère".
La cour cantonale a déduit de ces éléments que, sans la déclaration de la mère de l'intimé, respectivement le pacte successoral, partant sans la cession de part d'héritage, les deux premières conventions n'auraient pas été signées, à tout le moins par le recourant; que, sans les deux premières conventions, les parties n'auraient pas conclu celle de 2004; que les trois conventions successives, reprenant l'essentiel et remplaçant chaque fois la précédente, s'inscrivaient à l'évidence dans une continuité et avaient le même objet, à savoir une dette de l'intimé à l'égard du recourant, dont le paiement était garanti par la cession des prétentions que l'intimé pourrait faire valoir dans le cadre du partage de la succession de sa mère; que le recourant avait signé les deux premières conventions à la condition, clairement exprimée, qu'il y ait une déclaration de la mère de l'intimé, puis un pacte successoral, et donc qu'il y ait cession d'une part d'héritage; que la troisième convention avait été signée pour remplacer les deux précédentes, toujours avec la même cession, mentionnant le même pacte successoral. Ces éléments ont conduit la cour cantonale à admettre que sans la clause prévoyant la cession d'héritage, les parties n'auraient pas passé les conventions en cause, en particulier celle du 14 mai 2004, et que cet acte devait dès lors être considéré comme entièrement nul.
5.3 Le recourant reproche à la cour cantonale d'avoir construit de manière erronée la volonté hypothétique des parties. Il estime qu'elle aurait dû distinguer clairement dans la convention du 14 mai 2004 la reconnaissance de dette et la cession de part héréditaire, parfaitement indépendantes l'une de l'autre selon lui, et retenir que, malgré la nullité de la clause prévoyant la cession de la part successorale, les parties auraient manifestement conclu la reconnaissance de dette. Il concède pourtant lui-même une certaine interdépendance des deux composantes de la convention lorsqu'il affirme que "c'est parce que l'intimé s'est reconnu [son] débiteur [...] à hauteur d'un montant de CHF 900'000.- qu'un mécanisme de cession de part héréditaire a été mis en place par les parties avec le concours et l'accord [de la de cujus]". Quoi qu'il en soit, ainsi qu'il a été retenu plus haut (consid. 4.2), l'accord des parties ne s'est pas borné à consacrer une reconnaissance de dette assortie d'un report d'exigibilité au décès de la mère de l'intimé, mais il a porté sur une cession de part d'héritage; il s'agissait ainsi fondamentalement d'un pacte sur succession non ouverte soumis à l'art. 636 CC. Il est constant que le recourant a signé cet accord à la condition, clairement exprimée et confirmée dans les conventions successives, qu'il y ait une déclaration de la mère de l'intimé, puis un pacte successoral, et donc qu'il y ait cession d'une part d'héritage. La cour cantonale pouvait donc en déduire, sous l'angle de la vraisemblance exigée pour la preuve des moyens libératoires du débiteur (art. 82 al. 2 LP), que les parties n'auraient pas passé l'accord sans la clause prévoyant la cession de la part successorale et considérer dès lors qu'il était entièrement nul. Le fait, avancé par le recourant, que l'intimé a partiellement remboursé sa dette en 2001, par 127'600 fr., n'est pas déterminant à cet égard puisque les parties ont maintenu la clause en question en dépit dudit remboursement.
Le grief de violation de l'art. 20 al. 2 CO est donc également infondé.
6. Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais de son auteur (art. 66 al. 1 LTF).
Il n'y a pas lieu d'allouer des dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux participants à la procédure et à la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 mars 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Fellay