Faits:
A. A.a Dans la procédure de divorce qui oppose les époux X._, le Tribunal de première instance du canton de Genève a, par jugement sur mesures provisoires du 29 juin 2011, attribué l'autorité parentale et la garde des enfants B.X._, C.X._ et D.X._ à la mère, réservé au père un droit de visite s'exerçant à raison d'un week-end sur deux du vendredi après l'école au lundi matin, chaque mercredi de 18h à 20h30, ainsi que durant la moitié des vacances scolaires, et instauré une curatelle d'organisation et de surveillance des relations personnelles. Le père a formé appel contre ce jugement.
Par décisions des 29 juillet et 4 août 2011, le Service de protection des mineurs (SPMi) a prononcé des clauses péril suspendant toute relation personnelle entre le père et ses trois enfants, estimant que ceux-ci étaient en danger auprès de lui lors de l'exercice du droit de visite. Une procédure de ratification de ces clauses est pendante entre les parties devant le Tribunal tutélaire du canton de Genève.
A.b Par requête sur mesures provisoires en modification des relations personnelles du 5 août 2011, la mère a sollicité la suppression du droit de visite et de tout droit aux relations personnelles du père sur ses trois enfants.
Par ordonnance préparatoire du 13 septembre 2011, le Tribunal de première instance a, notamment, instauré une mesure de curatelle de représentation des enfants au sens de l'art. 299 CPC, désigné Me E._ aux fonctions de curatrice et confié l'établissement d'un nouveau rapport d'évaluation sociale au SPMi, un premier rapport ayant été établi par ce service le 29 janvier 2010 dans le cadre de la procédure de mesures protectrices de l'union conjugale opposant les époux.
Par courrier du 4 octobre 2011, le père s'est opposé à ce que ce rapport soit établi par le SPMi. Il faisait valoir que ce service, étant sa partie adverse dans la procédure pendante devant le Tribunal tutélaire, se trouvait en situation de conflit d'intérêts. Il soutenait en outre que le comportement dudit service durant l'été 2011 (notamment par le prononcé des clauses péril), qui donnerait lieu à une dénonciation administrative de sa part auprès du chef du département concerné, était révélateur d'un manque total d'impartialité. Par conséquent, il demandait que la mission d'évaluation soit confiée au Service médico-pédagogique.
B. Par ordonnance du 2 décembre 2011, le Tribunal de première instance a rejeté la requête du père tendant, notamment, à ce que l'établissement du rapport d'évaluation sociale précité soit confié à une autre institution que le SPMi. Il a considéré que cette tâche, qui tendait à déterminer de quelle manière les relations personnelles entre les enfants et leurs parents devaient être aménagées dans le cadre d'une procédure matrimoniale, relevait de la compétence du SPMi et non du Service médico-pédagogique. De plus, le simple fait que le SPMi ait prononcé des clauses péril ne suffisait pas à remettre en cause l'objectivité dont il pourrait faire preuve dans l'établissement d'un nouveau rapport d'évaluation sociale. En effet, on ne pouvait désavouer cette institution chaque fois qu'elle prenait une décision ou faisait une recommandation négative à l'encontre d'un parent, sauf à lui faire perdre tout sens.
Le père a recouru contre cette ordonnance, concluant à ce que le SPMi soit récusé et à ce qu'il soit dit qu'un nouveau rapport d'évaluation sociale ne sera pas établi par ce service. Par arrêt du 9 mars 2012, la Cour de justice du canton de Genève a déclaré le recours irrecevable au motif, d'une part, qu'il ne s'agissait pas d'un cas prévu par la loi (art. 319 let. b ch. 1 CPC), les dispositions sur la récusation n'entrant pas en ligne de compte au motif que le SPMi n'était pas un «expert» et, d'autre part, que cette décision n'était pas susceptible de causer un préjudice difficilement réparable (art. 319 let. b ch. 2 CPC).
C. Par acte du 11 avril 2012, le père exerce un recours en matière civile contre l'arrêt du 9 mars 2012. Il conclut à l'annulation de celui-ci et au renvoi de la cause à l'autorité précédente pour qu'elle entre en matière et statue sur le fond.
La mère propose le rejet du recours et les enfants, par l'intermédiaire de leur curateur, s'en rapportent à justice.
L'autorité cantonale se réfère aux considérants de son arrêt.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 136 I 42 consid. 1; 134 III 115 consid. 1).
2. Statuant sur la recevabilité du recours en instance cantonale, la décision attaquée a examiné successivement deux questions distinctes: d'une part, si les dispositions sur la récusation entraient en ligne de compte (art. 319 let. b ch. 1 CPC); d'autre part, si l'ordonnance du 2 décembre 2011 pouvait causer au recourant un préjudice difficilement réparable (art. 319 let. b ch. 2 CPC).
Contrairement à ce que prétend le recourant, qui mentionne l'art. 90 LTF, l'arrêt querellé ne constitue pas une décision finale, à savoir une décision qui met fin à la procédure, que ce soit pour un motif tiré du droit matériel ou de la procédure (ATF 134 III 426 consid. 1; 133 III 629 consid. 2.2). Bien que l'autorité cantonale ait refusé d'entrer en matière, cet arrêt met seulement fin au différend sur l'ordonnance d'instruction (art. 319 let. b CPC) rendue en première instance, mais non à la procédure principale, et revêt ainsi un caractère incident (ATF 137 III 380 consid. 1.1 et l'arrêt cité).
3. En tant qu'il porte sur une demande de récusation, l'arrêt attaqué peut faire l'objet d'un recours immédiat au Tribunal fédéral (art. 92 al. 1 LTF).
3.1 La voie de droit contre une telle décision suit celle ouverte contre la décision sur le fond. En l'espèce, le SPMi, dont la récusation est demandée, a été chargé d'établir un rapport dans une procédure de modification de mesures provisoires de divorce tendant à la suppression du droit aux relations personnelles du père sur ses enfants. Il s'agit ainsi d'une décision rendue en matière civile (art. 72 al. 1 LTF) dans une affaire non pécuniaire. Interjeté par ailleurs en temps utile (art. 100 al. 1 LTF) et dans la forme requise (art. 42 LTF), par la partie qui a succombé devant l'autorité cantonale de dernière instance (art. 75 al. 1 et 76 al. 1 LTF), le recours est donc en principe recevable.
3.2 Comme la décision attaquée s'inscrit dans le cadre d'une procédure portant sur des mesures provisionnelles, seule peut être dénoncée la violation de droits constitutionnels (art. 98 LTF; ATF 133 III 392 consid. 5.2). Le Tribunal fédéral ne connaît de la violation de tels droits que si ce moyen est invoqué et motivé par le recourant conformément au principe d'allégation (art. 106 al. 2 LTF), à savoir s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2 et les arrêts cités). Il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 III 589 consid. 2).
Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de la juridiction cantonale, mais doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi manifestement insoutenable (ATF 134 II 349 consid. 3 et les références citées). L'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, viole gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de cette décision soit insoutenable; encore faut-il qu'elle se révèle arbitraire dans son résultat (ATF 133 I 149 consid. 3.1; 133 II 257 consid. 5.1; 133 III 462 consid. 4.4.1).
4. 4.1 Le recourant reproche à l'autorité cantonale d'avoir déclaré son recours irrecevable au motif qu'il n'était pas prévu par la loi, le Tribunal de première instance n'ayant pas statué sur la récusation d'un expert (art. 50 al. 2 CPC, par renvoi de l'art. 183 al. 3 CPC) dès lors que le SPMi n'avait pas cette qualité et que son rapport n'avait pas la même valeur qu'une expertise familiale.
4.2 Savoir si la Cour de justice a à juste titre considéré que le SPMi n'était pas un expert peut en l'occurrence rester ouverte, car l'arrêt attaqué n'apparaît de toute manière pas arbitraire dans son résultat (cf. supra, consid. 3.2 in fine). Une requête de récusation visant, comme en l'espèce, préventivement un service, voire indistinctement tous les membres du SPMi, peut en effet être considérée comme abusive et, partant, irrecevable en soi (arrêts 5A_316/2012 du 17 octobre 2012 consid. 4.1; arrêt 6B_1027/2010 du 4 avril 2011 consid. 2; ATF 129 III 445 consid. 4.2.2; 5A_324/2007 du 27 novembre 2007 consid. 3, non publié aux ATF 134 I 20 ss; idem pour la récusation «en bloc» des juges du Tribunal fédéral: ATF 105 Ib 301). Le recours apparaît ainsi infondé sur ce point.
5. Si l'on considère que la décision de première instance est une ordonnance sur preuves, comme l'a admis la Cour de justice, l'arrêt querellé constitue une décision incidente au sens de l'art. 93 LTF. Le recours au Tribunal fédéral contre une telle décision n'est recevable que si celle-ci peut causer un préjudice irréparable (al. 1 let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (al. 1 let. b).
5.1 Le préjudice irréparable dont il est question à l'art. 93 al. 1 let. a LTF doit être de nature juridique et ne pas pouvoir être réparé ultérieurement par une décision finale favorable au recourant. Il incombe à celui-ci d'indiquer de manière détaillée en quoi il se trouve menacé d'un préjudice irréparable - au sens de l'art. 93 al. 1 let. a LTF et de la jurisprudence rendue en application de cette disposition - par la décision incidente qu'il conteste; à défaut, le recours est irrecevable (ATF 138 III 46 consid. 1.2; 137 III 522 consid. 1.3 et les arrêts cités). Le recourant, partant vraisemblablement de l'idée que l'arrêt attaqué est une décision finale, ne fait pas cette démonstration. Or, une décision relative à l'administration de preuves n'étant en principe pas de nature à causer un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF (ATF 134 III 188 consid. 2.3; 133 IV 139 consid. 4; 133 V 477 consid. 5.2; arrêt 5A_612/2007 du 22 janvier 2008 consid. 5.2), un tel préjudice n'apparaît pas d'emblée. En conséquence, il y a lieu de déclarer le recours irrecevable au regard de l'art. 93 al. 1 let. a LTF.
5.2 La Cour de justice a rendu un arrêt d'irrecevabilité et ne s'est pas prononcée sur le bien-fondé de la décision de première instance. Si le Tribunal fédéral annule un tel arrêt, il ne statue pas lui-même sur le fond, mais renvoie la cause à l'autorité précédente afin que le justiciable ne soit pas privé d'un degré de juridiction (ATF 138 III 46 consid. 1.2 et l'arrêt cité). Aussi l'admission du recours ne pourrait-elle conduire immédiatement à une décision finale, si bien que l'une des deux conditions cumulatives posées à l'art. 93 al. 1 let. b LTF n'est pas remplie dans le cas particulier.
5.3 En tant que le recours s'en prend au refus de l'autorité cantonale de considérer que les conditions de l'art. 319 let. b ch. 2 CPC sont remplies, le recours en matière civile est par conséquent irrecevable.
6. Sur le vu de ce qui précède, le recours apparaît mal fondé et doit dès lors être rejeté, dans la mesure où il est recevable, aux frais de son auteur (art. 66 al. 1 LTF). Celui-ci versera en outre des dépens à l'intimée (art. 68 al. 1 et 2 LTF). Il n'y a en revanche pas lieu d'allouer une telle indemnité aux enfants pour leur curateur, qui s'en est remis à justice.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 1'000 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 13 novembre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Mairot