Faits:
A. A.a Le 2 juin 2010, X._ a déposé un pourvoi en révision contre un jugement rendu le 15 juin 2009 par le juge suppléant de la Cour pénale II du Tribunal cantonal.
A.b Ce pourvoi a été rejeté le 26 juillet 2010 par le juge unique du Tribunal cantonal.
B. Les éléments à l'origine de cette procédure sont en résumé les suivants.
B.a Le 23 mars 1998, l'avocat C._ a déposé plainte pénale contre son confrère X._ pour calomnie, subsidiairement diffamation, ainsi que pour dénonciation calomnieuse. Les infractions incriminées avaient trait à une écriture adressée le 26 février 1998 à la Chambre de surveillance des avocats valaisans, dans laquelle X._ accusait C._ de l'avoir dénoncé disciplinairement, le 9 octobre 1995, prétendument en lui imputant de manière fallacieuse des manquements professionnels dans le cadre de la liquidation d'un régime matrimonial dont il s'était occupé en 1993.
Le 3 août 1998, en réponse à la plainte précitée, X._ a dénoncé C._, notamment pour escroquerie au procès, faux témoignage, faux dans les certificats, subsidiairement faux dans les titres et dénonciation calomnieuse. Par décision du 12 août 1999, le juge d'instruction a refusé de donner suite à cette dénonciation.
Le 23 mai 2003, C._, agissant par l'intermédiaire de ses avocats B._ et A._, a déposé une plainte complémentaire contre X._, pour dénonciation calomnieuse, en raison notamment des allégations contenues dans le document du 3 août 1998.
B.b A la suite de la dénonciation pénale du 23 mai 2003, X._ a déposé plainte, le 18 août 2003, contre B._ et A._, pour calomnie et dénonciation calomnieuse, et les a dénoncés disciplinairement, le 3 septembre 2003, à la Chambre de surveillance des avocats.
Le 14 novembre 2003, B._ et A._ ont déposé, en leurs noms personnels, une plainte contre X._ pour diffamation et calomnie, au motif que les allégations contenues dans la dénonciation du 3 septembre 2003 étaient attentatoires à leur honneur.
B.c Le 2 septembre 2004, X._ a informé le juge d'instruction qu'il allait déposer un avis de droit concernant les différentes procédures l'opposant à C._. Il précisait que ce document serait adressé à toutes les études valaisannes afin qu'elles soient informées des agissements de B._, vice-bâtonnier de l'ordre des avocats valaisans, dont le comportement dans cette procédure n'était pas digne de la charge qu'il entendait assumer.
Par décision du 25 octobre 2004, statuant sur requête de mesures provisionnelles de B._, le Juge I du district de Sion a fait interdiction à X._ de publier ou de diffuser d'une quelconque manière cet avis de droit, sous la menace des sanctions prévues à l'<ref-law>.
Le 3 mai 2005, le juge de district a dénoncé X._, celui-ci ayant apparemment violé l'interdiction précitée.
B.d Par jugement contumacial du 20 août 2007, le Juge III du district de Sion a condamné X._, pour dénonciation calomnieuse, calomnie et insoumission à une décision de l'autorité, à 135 jours-amende à 200 fr./j. et à une amende de 1'500 fr. Il a assorti la peine pécuniaire d'un sursis de deux ans et fixé à 15 jours la peine privative de liberté de substitution en cas de non paiement de l'amende.
Par arrêt du 15 juin 2009, le Juge suppléant de la Cour pénale II du Tribunal cantonal valaisan a notamment rejeté l'appel de X._.
Le 1er février 2010, la Cour de droit pénal du Tribunal fédéral a rejeté le recours formé par X._ contre cet arrêt.
C. X._ a adressé au Tribunal fédéral un recours en matière pénale contre l'arrêt du 26 juillet 2010. Il conclut, avec suite de frais, à la réforme, subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.
Il a également déposé une requête en récusation de trois juges fédéraux et d'une greffière.

Considérant en droit:
I Requête en récusation
1. Le recourant forme une requête en récusation du Président de la Cour pénale du Tribunal fédéral, Dominique Favre, des Juges fédéraux Roland Schneider et Laura Jacquemoud-Rossari ainsi que de la greffière Yasmina Bendani, lesquels composaient la cour qui a rendu l'arrêt du 1er février 2010. Le recourant relève d'emblée que le seul fait d'avoir déjà été membres d'une autorité ayant rendu un jugement à son encontre ne suffit pas à remettre en cause leur impartialité, même si le jugement en question lui donnait tort. Il expose ensuite les raisons pour lesquelles il considère que l'arrêt fait une application erronée de la jurisprudence dans le seul but d'avaliser sa condamnation. Il relève par ailleurs qu'un juge du Tribunal cantonal valaisan est également greffier au Tribunal fédéral et pense que des contacts ont eu lieu entre ce dernier et les membres de la cour dont il sollicite la récusation.
Aucune des personnes visées n'entrant dans la composition de la présente cour, qui tranche sur le fond le recours en matière pénale, la demande de récusation est sans objet.
II Recours en matière pénale
2. Le recourant reproche en premier lieu à l'autorité cantonale d'avoir violé son droit d'être entendu en ne l'informant pas, avant que la décision ne soit prise, de la composition de la cour qui a rendu l'arrêt attaqué.
Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., comprend en particulier le droit pour l'intéressé d'offrir des preuves, de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3). Il comprend notamment aussi le droit pour l'accusé d'être jugé en sa présence. Il n'impose en revanche pas l'obligation de communiquer la composition de l'autorité avant que celle-ci ne statue et le recourant ne montre pas, par une motivation satisfaisant aux exigences de l'<ref-law>, que tel serait le cas. Il est en revanche possible de faire valoir d'éventuels motifs de récusation par la voie des recours ouverts contre la décision litigieuse. Toutefois, le recourant ne formule pas de grief dans ce sens, de sorte qu'il n'est pas possible d'examiner la question sous cet angle.
3. Le recourant reproche à l'autorité cantonale d'avoir fait une interprétation arbitraire de l'ordonnance de refus de suivre à la dénonciation qu'il avait formée, le 3 août 2008, contre C._.
Ce grief tombe doublement à faux. D'une part, le recourant cherche ainsi à remettre en question un raisonnement juridique, ce qui n'est pas admissible dans le cadre d'une telle procédure qui permet exclusivement de demander, dans certaines conditions, le réexamen d'une décision mais n'est en aucun cas ouverte pour soulever des griefs qui devaient être invoqués dans la procédure de jugement ou sur lesquels il a déjà été statué dans le cadre de cette dernière. D'autre part, ce grief est très largement dirigé contre l'arrêt du 15 juin 2009, qui ne fait pas l'objet du présent recours en matière pénale.
4. Le recourant soutient que l'autorité cantonale a fait une interprétation arbitraire de l'art. 199 (recte: 195) let. a CPP/VS en n'admettant pas sa demande de révision motivée par l'existence de jugements inconciliables. Se prévalant d'arrêts rendus dans des cas qu'il qualifie lui-même de similaires, le recourant soutient que le juge d'instruction D._ aurait dû être récusé.
La révision pour cause de jugements inconciliables est ouverte lorsque deux ou plusieurs personnes ont été condamnées pour la même infraction par deux décisions différentes au point de vue de l'état de fait et qui sont inconciliables entre elles, leur contradiction étant la preuve de l'innocence de l'un ou de l'autre des condamnés. La contradiction ne peut reposer que sur un point de fait. Pour que cette cause de révision soit accueillie favorablement, il faut que deux ou plusieurs personnes, qui ont commis une infraction, fassent l'objet de deux jugements successifs qui comportent des contradictions telles au point de vue des faits que l'un des jugements apparaît nécessairement faux (GÉRARD PIQUEREZ, Traité de procédure pénale suisse, 2e éd., 2006, p. 789 n° 1279).
En l'espèce, le recourant invoque des jugements rendus dans des affaires différentes et dont l'une ne concerne pas le même juge. On ne se trouve donc de toute évidence pas en présence d'un motif de révision pour contrariété de jugements tel qu'il a été rappelé ci-dessus. C'est dès lors sans arbitraire que l'autorité cantonale a nié l'existence de cette cause de révision. Mal fondé, ce grief doit également être rejeté.
5. Vu l'issue de la procédure, les frais doivent être mis à la charge du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. La requête en récusation est sans objet.
2. Le recours est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Juge unique du Tribunal cantonal valaisan.
Lausanne, le 31 janvier 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Wiprächtiger Paquier-Boinay