Faits:
A. A.a Le 27 novembre 2009, dame A._ a requis du Juge de paix du district de Nyon le séquestre de l'immeuble sis ch. ... à X._, propriété de son ex-mari A._.
La requérante invoquait une créance de 230'678 fr. 65 plus intérêt à 5 % l'an dès le 26 novembre 2007, fondée sur le jugement de divorce des parties devenu définitif et exécutoire à cette date. Ce jugement, prononcé le 8 novembre 2007 par le Tribunal civil de l'arrondissement de La Côte, ratifiait notamment une convention des parties du 23 mai 2006 et ordonnait la répartition par moitié entre celles-ci d'un montant de 119'992 GBP 60, représentant une restitution d'avoirs de la part de l'administration fiscale britannique et dont le sort avait été réservé par ladite convention. Cette dernière prévoyait également le partage par moitié des avoirs bancaires sur la base d'un relevé au 31 mai 2006 (ch. 2.3.1) et l'engagement du mari à verser à son épouse la somme de 70'000 fr. en échange de sa part à trois polices d'assurance-vie (ch. 2.3.3).
Le juge de paix a ordonné le séquestre le 1er décembre 2009, à concurrence de la somme de 227'419 fr. 55; puis, le 4 mai 2010, sur opposition du poursuivi, à concurrence de la somme de 191'030 fr. 85 plus intérêt à 5 % l'an dès le 26 novembre 2007.
A.b Le séquestre a été validé par la poursuite n° xxxx de l'Office des poursuites du district de Nyon, poursuite requise le 11 février 2010 et dont le commandement de payer a été notifié au poursuivi le 17 du même mois. La poursuivante réclamait le paiement de 227'419 fr. 55 avec intérêt à 5 % dès le 26 novembre 2007, plus frais de séquestre et de poursuite. Le poursuivi a formé opposition totale.
Par prononcé du 10 août 2010, le juge de paix a levé définitivement l'opposition du poursuivi à concurrence de 191'030 fr. 85 plus intérêt à 5 % dès le 6 février 2010. Dans ses motifs, notifiés aux parties le 27 août 2010, il a considéré que le jugement de divorce valait titre à la mainlevée définitive de l'opposition pour la somme de 206'530 fr. 85 moins 15'500 fr. admis en compensation. Il a en outre corrigé son prononcé du 10 août 2010 en ce sens que l'intérêt courait, à défaut de mise en demeure avant la procédure de séquestre, dès le 5 février 2010, lendemain de la notification de l'ordonnance de séquestre.
B. Le poursuivi a recouru le 9 septembre 2010 auprès de la Cour des poursuites et faillites du Tribunal cantonal vaudois, en concluant à la réforme du prononcé du juge de paix en ce sens que la mainlevée ne devait être accordée qu'à concurrence de 27'326 fr. 08 plus intérêt à 5 % dès le 6 février 2010. Dans son mémoire ampliatif du 13 décembre 2010, il a maintenu cette conclusion.
Par arrêt du 17 février 2011, notifié en expédition complète aux parties le 21 juillet 2011, la cour cantonale a rejeté le recours du poursuivi et confirmé le prononcé attaqué. Elle a considéré en substance que les sommes dues à la poursuivante en raison du jugement de divorce s'élevaient à 206'530 fr. 85, soit 70'000 fr. en échange de sa part aux trois polices d'assurance-vie et 136'530 fr. 85 correspondant à la moitié lui revenant sur le montant de 119'992 GBP 60 converti en francs suisses à la date du 26 novembre 2007. Quant aux sommes opposées en compensation par le poursuivi, deux seulement étaient admises par la poursuivante pour un total de 15'500 fr.; les autres faisaient l'objet de réserves de la part de celle-ci et ne découlaient pas de titres qui auraient permis la mainlevée définitive ou provisoire de l'opposition dans une poursuite intentée par le recourant.
C. Par acte du 12 août 2011, le poursuivi a interjeté un recours en matière civile au Tribunal fédéral, assorti d'une requête d'effet suspensif. Il reproche à la cour cantonale d'avoir établi de manière inexacte les faits de la cause, d'avoir violé le droit fédéral en ce qui concerne la date de conversion du montant de 119'992 GBP 60 en francs suisses et commis une erreur manifeste quant au point de départ des intérêts. Il conclut à la réforme de l'arrêt attaqué en ce sens que la mainlevée définitive est prononcée à concurrence principalement de 153'915 fr. 25, subsidiairement de 154'753 fr. 65, avec intérêt à 5 % dès le 18 février 2010. Plus subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
La requête d'effet suspensif a été admise par ordonnance présidentielle du 15 septembre 2011.
Dans sa détermination du 18 octobre 2011, la cour cantonale a déclaré se référer à son arrêt. Dans sa réponse du 21 octobre 2011, la poursuivante a conclu au rejet du recours. Dans leurs réplique et duplique des 4/21 novembre 2011, les parties sont restées sur leurs positions.
Considérant en droit:
1. 1.1 La décision rendue en matière de mainlevée - définitive ou provisoire - de l'opposition est une décision finale au sens de l'art. 90 LTF puisqu'elle met fin à l'instance (ATF 134 III 115 consid. 1.1). Elle peut faire l'objet du recours en matière civile (art. 72 al. 2 let. a LTF) lorsque la valeur litigieuse atteint, comme dans le cas particulier, au moins 30'000 fr. (art. 74 al. 1 let. b LTF; ATF 133 III 399 consid. 1.3). Interjeté en temps utile (art. 100 al. 1 LTF) par la partie qui a succombé en instance cantonale (art. 76 al. 1 LTF) à l'encontre d'une telle décision prise sur recours en dernière instance cantonale (art. 75 LTF), le présent recours est en principe recevable.
1.2 L'art. 99 al. 2 LTF déclare irrecevable toute conclusion nouvelle, c'est-à-dire toute conclusion qui n'aurait pas été soumise à l'autorité précédente et qui tend, par conséquent, à élargir l'objet du litige. Il est ainsi exclu de demander davantage ou autre chose que ce qui figure dans les dernières conclusions prises devant l'autorité précédente. Il n'est donc pas possible d'augmenter les conclusions, de les modifier ou d'en ajouter de nouvelles (arrêt 9C_172/2011 du 22 août 2011 consid. 2.1 et les références). La prohibition des conclusions nouvelles ne fait en revanche pas obstacle à la diminution des conclusions prises en dernière instance cantonale (arrêt 4A_565/2009 du 21 janvier 2010 consid. 1.4; 5A_8/2008 du 11 avril 2008 consid. 1.1 et 4A_264/2008 du 23 septembre 2008 consid. 2.3).
En l'espèce, le chef de conclusions tendant à ce que l'intérêt coure dès le 18 février 2010 est irrecevable, parce qu'il est nouveau au sens de ce qui précède. En revanche, les conclusions réduites, visant à ce que la mainlevée définitive soit accordée à concurrence de 153'915 fr. 25 ou 154'753 fr. 65, au lieu de 27'326 fr. 08 seulement comme requis en instance cantonale, sont recevables.
1.3 Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties. Eu égard à l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, il n'examine cependant que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui. S'agissant de la violation des droits fondamentaux, le recourant doit, dans son mémoire, exposer en quoi consiste la violation alléguée, c'est-à-dire discuter les motifs de la décision entreprise et indiquer en quoi il estime que l'autorité précédente a méconnu de tels droits ("principe d'allégation"; art. 106 al. 2 LTF; ATF 134 I 83 consid. 3.2; 133 II 249 consid. 1.4.2; 133 IV 286 consid. 1.4).
1.4 Le Tribunal fédéral statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; ATF 133 II 249 consid. 1.2.2 p. 252) - des faits doit satisfaire au principe d'allégation susmentionné.
1.5 Lorsqu'il admet un recours, le Tribunal fédéral peut statuer lui-même sur le fond (art. 107 al. 2 LTF) et donc prononcer la mainlevée de l'opposition, s'il dispose de tous les faits nécessaires; en effet, ni le recours en matière civile ni le recours constitutionnel ne sont purement cassatoires (arrêt 5A_62/2009 du 2 juillet 2009 consid. 3).
2. Le recourant invoque un fait nouveau, irrecevable comme tel en vertu de l'art. 99 al. 1 LTF, à savoir que dans le cadre de la procédure de séquestre, la cour cantonale a, par arrêt du 11 novembre 2010, réformé le prononcé du juge de paix du 4 mai 2010 en ce sens que le séquestre garantissait une créance de 153'915 fr. 25 plus intérêt à 5 % dès le 18 février 2010. L'arrêt en question, dont le dispositif a été communiqué aux parties le jour même et les considérants le 17 mars 2011, a fait l'objet d'un recours de l'intimée au Tribunal fédéral, qui l'a déclaré irrecevable le 14 juillet 2011, faute de motivation suffisante (5A_289/2011).
Le recourant reproche à ce propos à la cour cantonale d'avoir établi les faits de manière inexacte, mais son grief se résume au seul énoncé du reproche et à la simple mise en parallèle des deux arrêts de la cour cantonale. Il n'indique pas en quoi cette dernière, statuant sur la mainlevée d'opposition dans la poursuite en validation de séquestre (art. 80 ss LP), aurait commis arbitraire en omettant de tenir compte d'une décision sur opposition à l'ordonnance de séquestre (art. 278 LP). D'ailleurs, dans la poursuite en validation de séquestre, la décision du juge du séquestre ne lie pas le juge de la mainlevée (P.-R. GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n. 42 ad art. 278 LP; HANS REISER, in Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs II, 2e éd., n. 5 ad art. 278 LP). De surcroît, le recourant ne s'est pas prévalu du fait en question dans son mémoire ampliatif adressé à la cour cantonale le 13 décembre 2010, alors qu'il aurait été en mesure de le faire, ayant en main à ce moment-là le dispositif de l'arrêt du 11 novembre 2010 qui prévoyait que le séquestre garantissait une créance de 153'915 fr. 25 plus intérêt à 5 % dès le 18 février 2010.
Le grief de constatation inexacte des faits est donc irrecevable.
3. A teneur de l'art. 67 al. 1 ch. 3 LP, la réquisition de poursuite adressée à l'office énonce le montant de la créance en valeur légale suisse. La conversion en valeur légale suisse d'une créance stipulée en monnaie étrangère est une règle d'ordre public et une exigence de la pratique. En imposant cette conversion, le législateur n'a cependant pas entendu modifier le rapport de droit liant les parties et nover en une dette de francs suisses celle que les intéressés ont librement fixée en devises étrangères. La conversion se fait néanmoins au cours de l'offre des devises du jour de la réquisition de poursuite (ATF 135 III 88 consid. 4.1 et les références citées). Du moment que la conversion en valeur légale suisse est tenue pour une règle d'ordre public, il n'y a pas de place pour un choix, servant uniquement les intérêts du poursuivant, entre le cours au moment de la réquisition de poursuite et le cours à l'échéance de sa prétention, l'art. 84 al. 2 CO ne s'appliquant pas (GILLIÉRON, op. cit., n. 60 ad art. 67 LP). C'est donc à juste titre que le recourant soutient qu'en convertissant le montant de la créance de 59'996 GBP 60 (moitié de 119'992 GBP 60) au 26 novembre 2007, date d'entrée en force du jugement de divorce, et non au 11 février 2010, date de la réquisition de poursuite en cause, la cour cantonale a violé le droit fédéral.
Le taux de conversion des monnaies est un fait notoire, qui ne doit être ni allégué ni prouvé. Il peut notamment être contrôlé par chacun sur internet, qui permet d'accéder rapidement au taux de conversion en vigueur à une date donnée. Ainsi, selon le site http://www.fxtop.com, qui donne les taux officiels diffusés par la Banque centrale européenne (cf. ATF 135 III 88 consid. 4.1 in fine), le cours de la livre britannique par rapport au franc suisse était, au 11 février 2010, date de la réquisition de poursuite en cause, de 1,670997, et 59'996 GBP 30 équivalaient alors à 100'253 fr. 65. Ces valeurs de conversion alléguées par le recourant ne sont d'ailleurs contestées ni par la cour cantonale ni par l'intimée.
L'arrêt attaqué doit en conséquence être réformé dans ce sens que la mainlevée définitive de l'opposition est prononcée à concurrence d'un montant de 154'753 fr. 65 (70'000 + 100'253.65 - 15'500).
4. Contrairement à ce que demande le recourant, l'arrêt attaqué n'a en revanche pas à être corrigé dans le sens que le cours des intérêts à 5 % aurait commencé à courir le 18 février 2010. En effet, comme il a été relevé plus haut (consid. 1.2 et 2), cette prétention constitue un chef de conclusions irrecevable et se fonde sur un fait nouveau irrecevable.
5. Il résulte de ce qui précède que le recours doit être partiellement admis dans le sens de ses conclusions subsidiaires et rejeté pour le surplus.
L'intimée, qui succombe, doit être chargée des frais judiciaires (art. 66 al. 1 LTF) et condamnée à verser des dépens au recourant (art. 68 al. 1 LTF).
Une modification de la répartition des frais et dépens de l'instance cantonale, suite à la réforme de l'arrêt attaqué (art. 67 et 68 al. 5 LTF), ne saurait être envisagée au vu des conclusions prises par le recourant en instance cantonale et du résultat qu'il a finalement obtenu.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis dans la mesure où il est recevable et l'arrêt attaqué réformé en ce sens que la mainlevée définitive de l'opposition formée par A._ dans la poursuite n° xxxx de l'Office des poursuites du district de Nyon introduite par dame A._ est prononcée à concurrence de 154'753 fr. 65 avec intérêts à 5 % dès le 5 février 2010.
2. Le recours est rejeté pour le surplus.
3. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge de l'intimée.
4. Une indemnité de 3'000 fr., à payer au recourant à titre de dépens, est mise à la charge de l'intimée.
5. Le présent arrêt est communiqué aux participants à la procédure et à la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 décembre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Fellay