Faits: A. Le 11 août 2009, le Canton de Berne et la Commune Municipale de Thoune, représentés par la Caisse de la ville de Thoune, ont fait notifier à X._ un commandement de payer (n° xxxx) les sommes de 1'079'265 fr. 05 avec intérêts à 3,5% l'an dès le 25 juin 2009, de 78'000 fr. 65 et de 1'050 fr. sans intérêts, invoquant comme cause de l'obligation des "Impôts supplémentaires 2007 selon facture du 15.05.2007". Cet acte a été frappé d'opposition totale. B. Par prononcé du 18 novembre 2009, le Juge de paix du district de Nyon a accordé la mainlevée définitive. Statuant sur recours du poursuivi, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a confirmé cette décision par arrêt du 23 avril 2010. C. Par acte du 31 mai 2010, le poursuivi interjette un recours en matière civile contre cet arrêt. Sur le fond, il conclut en substance à la réforme de l'arrêt attaqué en ce sens qu'il soit dit que tant le for de la poursuite que le for judiciaire sont situés dans le canton de Genève et que la juridiction précédente n'est pas compétente ratione loci, que la requête des intimés soit déclaré irrecevable et que le commandement de payer en cause soit annulé. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour statuer dans le sens des considérants. Des déterminations sur le fond n'ont pas été requises. Par ordonnance du 18 juin 2010, la Présidente de la Cour de céans a attribué l'effet suspensif au recours.