Faits:
A. Le 25 août 2011, A.A._, B.A._ et C._ (ci-après: A.A._ et consorts) ont déposé un recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: la Cour cantonale) contre la décision rendue par la Municipalité de Payerne le 22 juin 2011. Celle-ci avait écarté leur opposition et accordé un permis de construire à X._ SA en vue de la création d'une butte anti-bruit, d'une piste de karting extérieure, d'une piste de karting pour enfants et d'un parc de jeux pour enfants dans le périmètre du plan partiel d'affectation "Le Vernex".
Le 29 août 2011, les prénommés ont requis la récusation du Juge cantonal en charge du dossier, D._, au motif que celui-ci avait présidé la Cour du Tribunal cantonal ayant rejeté dans la mesure de sa recevabilité leur précédent recours concernant le plan partiel d'affectation "Le Vernex", dans un arrêt du 17 août 2009; le Tribunal fédéral avait par ailleurs rejeté, dans la mesure où il était recevable, le recours qu'ils avaient formé contre l'arrêt du 17 août 2009 (arrêt 1C_429/2009 du 19 juillet 2010).
Par courrier du 31 août 2011, le Juge cantonal D._ s'est opposé à la récusation et a transmis la demande à la Cour administrative du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 21 septembre 2011, le Tribunal cantonal a rejeté la demande de récusation. Il a jugé en substance que rien ne permettait de penser que la connaissance approfondie par le Juge cantonal précité des faits ressortant du recours précédent impliquerait un préjugé empêchant de le considérer comme impartial au moment du jugement sur le second recours.
B. Agissant par la voie du recours en matière de droit public, A.A._ et consorts demandent principalement au Tribunal fédéral de réformer cet arrêt en ce sens que la requête de récusation est admise. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué. Invoquant notamment les art. 30 al. 1 Cst. et 6 par. 1 CEDH, ils se plaignent en substance de la partialité du juge visé par la demande de récusation.
Dans le délai imparti par le Tribunal fédéral, le Juge cantonal D._ renonce à se déterminer et le Tribunal cantonal se réfère aux considérants de son arrêt.
C. Par ordonnance du 31 octobre 2011, le Juge instructeur a rejeté la requête d'effet suspensif, formée par les recourants.
Considérant en droit:
1. Dirigé contre une décision rendue en matière administrative (art. 82 let. a LTF) par une autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public a été déposé en temps utile (art. 100 al. 1 LTF), par les destinataires de la décision attaquée qui ont succombé devant l'autorité précédente et qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). La décision attaquée est une décision incidente, prise et notifiée séparément du fond, portant sur une demande de récusation d'un juge administratif. Par conséquent, elle peut faire l'objet d'un recours immédiat devant le Tribunal de céans (art. 92 al. 1 LTF). Il y a donc lieu d'entrer en matière sur le fond.
2. Les recourants se plaignent d'une violation des art. 30 al. 1 Cst. et 6 par. 1 CEDH. Ils dénoncent le fait qu'un même juge puisse se déterminer d'abord sur un plan d'affectation, puis sur la validité du permis de construire de l'installation pour laquelle le plan d'affectation a été conçu. Ils voient en particulier un motif de prévention dans le fait que le Juge cantonal D._ pourrait se prononcer une seconde fois sur des questions qu'il a déjà jugées en leur défaveur.
2.1 La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH - qui ont, de ce point de vue, la même portée - permet, indépendamment du droit de procédure cantonal, de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité; elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (ATF 134 I 238 consid. 2.1 p. 240 et les arrêts cités).
Selon la jurisprudence, il n'est pas admissible qu'un magistrat connaisse successivement de la même affaire en première instance puis en instance de recours, comme juge titulaire ou suppléant (ATF 114 Ia 50 consid. 3d p. 58 et les références citées). En revanche, la participation successive d'un juge à des procédures distinctes posant les mêmes questions n'est pas contraire à la Constitution et à la Convention européenne des droits de l'homme (arrêt du Tribunal fédéral 5P.202/2003 du 11 août 2003 consid. 2, in SJ 2004 I 128; arrêt de la Cour européenne des droits de l'homme Gillow contre Royaume-Uni du 24 novembre 1986, série A vol. 109 § 72 et 73, où il est observé qu'il arrive souvent que des juridictions supérieures aient à traiter successivement d'affaires analogues ou apparentées; cf. ATF 114 Ia 50 consid. 3d p. 58).
Le fait notamment qu'un magistrat ait déjà agi dans une cause peut éveiller un soupçon de partialité. Le cumul des fonctions n'est alors admissible que si le magistrat, en participant à des décisions antérieures relatives à la même affaire, n'a pas déjà pris position au sujet de certaines questions de manière telle qu'il ne semble plus à l'avenir exempt de préjugés et que, par conséquent, le sort du procès n'apparaisse plus indécis. Pour en juger, il faut tenir compte des faits, des particularités procédurales ainsi que des questions concrètes soulevées au cours des différents stades de la procédure (ATF 126 I 168 consid. 2a p. 169 et l'arrêt cité; cf. aussi ATF 120 Ia 82 consid. 6 p. 83 ss). Par ailleurs, le seul fait qu'un juge ait déjà rendu une décision défavorable au recourant ne suffit pas pour admettre un motif de prévention (cf. ATF 114 Ia 278 consid. 1 p. 279).
Enfin, la connaissance approfondie du dossier par le juge n'implique pas un préjugé empêchant de le considérer comme impartial au moment du jugement sur le fond. L'appréciation préliminaire des données disponibles ne saurait non plus passer comme préjugeant l'appréciation finale. Il importe que cette appréciation intervienne avec le jugement et s'appuie sur les éléments produits et débattus à l'audience (arrêt de la Cour européenne des droits de l'homme du 9 novembre 2006, Sacilor Lormines contre France § 61).
2.2 En l'espèce, les recourants reprochent au Juge cantonal D._ d'avoir pris une décision en leur défaveur au moins à deux reprises sur des questions qui se poseraient à nouveau dans le recours pendant: ils lui font grief d'avoir dénié aux époux A._ la qualité pour recourir devant le Tribunal cantonal dans l'arrêt du 17 août 2009, contrairement à ce qui aurait été constaté par l'Office fédéral de l'environnement dans sa détermination du 19 février 2010 adressée au Tribunal fédéral. Il est vrai que, dans le recours pendant contre le permis de construire, la Cour de droit administratif et public devra à nouveau examiner la question de la qualité pour recourir des époux A._ en lien avec les immissions de bruit provenant du karting, ce qu'elle a déjà fait lors du recours contre le plan partiel d'affectation. Le fait que le Juge cantonal intimé se soit déjà prononcé sur la question juridique précitée ne paraît cependant pas remettre en cause la capacité du magistrat professionnel à statuer de manière impartiale, en s'appuyant sur les éléments produits et débattus dans la procédure pendante qui est distincte de celle ayant donné lieu à l'arrêt du 17 août 2009. S'ajoute à cela le fait que le magistrat intimé ne statue pas comme juge unique, mais comme membre d'une juridiction collégiale.
Les recourants se plaignent également du fait que le Juge cantonal D._, qui aurait statué en leur défaveur sur la question de l'application de l'art. 47a de loi cantonale sur l'aménagement du territoire et les constructions du 4 décembre 1985 (LATC; RSV 700.11) lors de leur premier recours, devra examiner une seconde fois cette question dans le cadre de leur recours pendant. Ils ne discutent cependant pas les motifs avancés dans l'arrêt attaqué sur ce grief. Or, l'instance précédente a considéré, à juste titre, que la Cour cantonale "n'aura pas à statuer sur la même question dans le cadre du second recours, le Tribunal fédéral ayant apparemment déjà jugé que l'art. 47a al. 2 LATC ne trouvait pas application en l'espèce; en revanche la [Cour cantonale] devra se prononcer sous l'angle de l'art. 47a al. 1 LATC en relation avec la délivrance du permis de construire dont les [recourants] requièrent l'annulation, question qui n'a pas été traitée dans le cadre du premier recours". Ainsi, on ne peut objectivement soutenir que le Juge cantonal intimé se serait déjà forgé une opinion sur l'application éventuelle de cette disposition. Ce grief, fût-il recevable, doit donc être écarté.
Enfin, le fait que des questions soumises au Tribunal cantonal dans le cadre du permis de construire pourraient être en partie similaires à celles posées lors de la procédure de validation du plan partiel d'affectation ne saurait en soi susciter des doutes légitimes sur l'impartialité du Juge cantonal intimé. Cela est d'autant moins pertinent que la Cour cantonale a pour pratique que les nouveaux recours soient confiés au même juge qui a instruit des recours précédents concernant la même affaire.
Pour le surplus, le grief doit être écarté, dans la mesure où, vu la jurisprudence susmentionnée, un juge ne peut pas être récusé pour le simple motif que, dans une procédure antérieure, il a eu à trancher en défaveur des recourants.
2.3 En définitive, on ne distingue pas dans les allégués des recourants d'éléments concrets permettant objectivement de retenir une apparence de prévention du Juge cantonal D._. Dans ces conditions, il y a lieu de constater que la garantie du juge impartial a été respectée, de sorte que c'est à bon droit que le Tribunal cantonal a rejeté la demande de récusation.
3. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Les frais sont mis à la charge des recourants, qui succombent (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge des recourants.
3. Le présent arrêt est communiqué au mandataire des recourants, au Juge cantonal D._, à la Municipalité de Payerne et à la Cour administrative du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 janvier 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
La Greffière: Tornay Schaller