Faits:
A. Le Ministère public de l'arrondissement de la Côte (ci-après: le Ministère public) instruit une enquête contre A._, d'office et sur plainte de C._, pour actes d'ordre sexuel avec des personnes hospitalisées, détenues ou prévenues (<ref-law>), subsidiairement pour abus de détresse (<ref-law>). Il est en substance reproché au prénommé d'avoir eu des relations sexuelles avec deux patientes alors qu'il travaillait comme infirmier à l'Hôpital psychiatrique de Prangins.
Le 10 janvier 2011, la procureure en charge du dossier a avisé les parties de son intention d'ordonner une expertise psychiatrique du prévenu et de désigner en qualité d'experte la Dresse B._, psychiatre et psychothérapeute FMH. En application de l'art. 184 al. 3 du code de procédure pénale suisse (CPP; RS 312.0), elle a donné aux parties l'occasion de s'exprimer sur ce choix et sur les questions qu'elle entendait soumettre à l'experte. A._ et la plaignante ne s'y étant pas opposés, la Dresse B._ a été désignée en qualité d'experte par décision du 9 février 2011.
B. Le 21 avril 2011, A._ a demandé la récusation de la Dresse B._, au motif que l'extension de son adresse électronique laissait supposer qu'elle était liée au Centre hospitalier universitaire vaudois (CHUV), dont fait partie l'Hôpital psychiatrique de Prangins. De tels liens n'étaient pas admissibles, dans la mesure où l'employeur de A._ s'estimait également lésé par les actes reprochés à ce dernier. Invitée à se déterminer, la Dresse B._ a expliqué qu'elle travaillait "à 70 % comme psychiatre privée" et qu'elle effectuait dans ce cadre des expertises psychiatriques pour son propre compte. Elle exerçait en outre "une fonction institutionnelle à 20 % comme responsable des expertises pour le secteur psychiatrique nord, dépendant du département psychiatrique du CHUV", ce qui expliquait l'extension de son adresse électronique. Elle utilisait cette adresse pour ses deux activités, les fonctions étant toutefois bien séparées. Prenant acte de ces explications, A._ a maintenu sa demande de récusation.
Considérant qu'elle était compétente pour statuer sur la demande de récusation, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté cette requête par arrêt du 14 juillet 2011. Cette autorité a estimé que seule la clause générale de l'art. 56 let. f CPP entrait en considération et qu'aucun motif de récusation ne pouvait être retenu, l'experte désignée jouissant de l'indépendance nécessaire à l'accomplissement de sa mission.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt, d'ordonner la récusation de la Dresse B._ et d'écarter son expertise du dossier. Il se plaint d'une violation des art. 183 al. 3 et 56 let. f CPP et invoque le principe de la bonne foi au sens de l'<ref-law>. Le Tribunal cantonal et le Ministère public ont renoncé à se déterminer. La Dresse B._ a présenté des observations, concluant à la confirmation de l'arrêt attaqué et à l'octroi de dépens. A._ s'est déterminé sur ces observations.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 Le CPP ne désigne pas l'autorité compétente pour statuer sur une demande de récusation visant un expert. L'<ref-law> prévoit certes que les motifs de récusation énoncés à l'<ref-law> sont applicables aux experts, mais sans renvoyer expressément à l'<ref-law> relatif à la décision sur récusation. L'<ref-law> énumère au demeurant les autorités compétentes en fonction des entités visées par la demande de récusation, sans mentionner le cas de l'expert. Cette lacune peut être comblée en appliquant par analogie l'<ref-law>, qui prévoit que l'autorité de recours est compétente lorsque le ministère public, les autorités pénales compétentes en matière de contraventions et les tribunaux de première instance sont concernés. Une compétence du ministère public sur la base de l'<ref-law> aurait également pu être envisagée, si l'on considère que l'expert agit sur mandat du procureur à l'instar de la police. Toutefois, en sa qualité de direction de la procédure, le ministère public est déjà compétent pour désigner formellement l'expert en application de l'<ref-law>. Il est donc préférable de laisser à une autre autorité, soit l'autorité de recours, le soin de statuer sur la demande de récusation visant cet expert. Une compétence de l'autorité de recours sur la base de l'<ref-law> a en outre le mérite de s'appliquer non seulement aux cas où l'expert est désigné par le ministère public, mais aussi en cas de désignation par l'autorité pénale compétente en matière de contraventions ou par la direction de la procédure du tribunal de première instance. En tant qu'autorité de recours dans le canton de Vaud (art. 13 de la loi d'introduction du code de procédure pénale suisse [RSV 312.01]), la Chambre des recours pénale du Tribunal cantonal est donc bien l'autorité compétente pour statuer définitivement sur la demande de récusation de l'expert.
1.2 Le recours a été déposé le dernier jour du délai dans une boîte postale. L'enveloppe contenant le recours comporte une description des circonstances de ce dépôt ainsi que la mention et la signature d'un témoin. Le même jour, le mandataire du recourant a en outre envoyé le recours par fax, en l'expédiant toutefois par erreur à un destinataire ayant un numéro proche de celui du Tribunal fédéral. Cela étant, compte tenu des indications données, en particulier la mention d'un témoin sur l'enveloppe, on peut admettre que le recourant est en mesure de prouver que son envoi a été expédié à temps, de sorte que le recours est recevable de ce point de vue (cf. <ref-ruling> consid. 3b p. 375 s.; <ref-ruling> consid. 3a p. 12; arrêt 5A_267/2008 du 16 octobre 2008 consid. 3).
1.3 Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation dans une cause pénale peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour agir (<ref-law>).
2. Dans la première partie de son écriture, le recourant propose des corrections et compléments de l'état de fait et il invoque des faits nouveaux.
2.1 Conformément à l'<ref-law>, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente. L'<ref-law> lui permet cependant de rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 4.3 p. 62; pour une définition de l'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5 et les arrêts cités ) - ou en violation du droit au sens de l'<ref-law>. Le recourant peut critiquer les constatations de fait aux mêmes conditions, si la correction du vice soulevé est susceptible d'influer sur le sort de la cause (<ref-law>).
En l'espèce, le recourant souhaite la correction d'un passage de l'état de fait résumant la teneur de sa demande de récusation et il requiert de prendre en compte le fait que l'experte n'a pas spontanément mentionné ses liens avec le CHUV, qu'il ne connaissait pas ces liens lorsqu'il a approuvé le choix de l'experte, qu'il a été licencié du CHUV et qu'il a suscité une réaction de colère au sein de l'institution dans laquelle il travaillait. S'il est exact que l'arrêt attaqué ne mentionne pas expressément tous ces éléments, il n'apparaît pas non plus en contradiction manifeste avec ceux-ci. Or, un prétendu manque d'exhaustivité de l'état de fait ou certaines divergences avec les allégués d'une partie ne rendent pas nécessairement l'arrêt arbitraire au sens de la jurisprudence susmentionnée. En définitive, le recourant ne démontre pas en quoi les conditions permettant de s'écarter des faits constatés dans l'arrêt attaqué seraient réunies, de sorte qu'il y a lieu de s'en tenir à ces faits.
2.2 Comme fait nouveau, le recourant invoque la remise aux parties, le 7 septembre 2011, de l'expertise psychiatrique réalisée par la Dresse B._. Il entend également se prévaloir du contenu de cette expertise. Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Or, le recourant ne démontre pas en quoi cette exception serait remplie et il n'apparaît pas évident qu'elle le soit. Au demeurant, il ne suffit pas qu'un fait soit survenu après la décision attaquée pour justifier une telle exception, la tâche du Tribunal fédéral étant de vérifier si l'autorité précédente a respecté le droit sur la base de la situation existant au moment où elle a rendu sa décision (cf. <ref-ruling> consid. 2.1 p. 343 s.). Les faits nouveaux invoqués sont donc irrecevables.
3. Pour le surplus, le recourant fait valoir une violation des art. 183 al. 3 et 56 let. f CPP, en alléguant en substance que les circonstances créaient une apparence de prévention qui devait conduire à la récusation de l'experte désignée.
3.1 L'<ref-law> - applicable aux experts par renvoi de l'<ref-law> - énumère divers motifs de récusation aux let. a à e, la let. f imposant la récusation "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". La let. f de l'<ref-law> a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes (arrêt 1B_131/ 2011 du 2 mai 2011 consid. 3.1).
L'<ref-law> concrétise les garanties déduites de l'art. 30 al. 1 Cst. Certes, dès lors que l'expert ne fait pas partie du tribunal, sa récusation ne s'examine pas au regard de l'art. 30 al. 1 Cst. mais sous l'angle de l'art. 29 al. 1 Cst. garantissant l'équité du procès (<ref-ruling> consid. 4a p. 544). Cette disposition assure toutefois au justiciable une protection équivalente à celle de l'art. 30 al. 1 Cst. s'agissant des exigences d'impartialité et d'indépendance requises d'un expert (<ref-ruling> consid. 2b p. 198). Les parties à une procédure ont donc le droit d'exiger la récusation d'un expert dont la situation ou le comportement sont de nature à faire naître un doute sur son impartialité. Cette garantie tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective est établie, car une disposition interne de l'expert ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Seules des circonstances constatées objectivement doivent être prises en considération; les impressions individuelles d'une des parties au procès ne sont pas décisives (cf. <ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 2b p. 198).
3.2 Le recourant estime que des circonstances objectives créent une apparence de prévention de la Dresse B._. Celle-ci a en effet omis de renseigner le ministère public sur son statut de responsable au sein du CHUV, institution dont fait partie l'Hôpital psychiatrique de Prangins. Or, les actes reprochés au recourant ont été commis en partie dans le cadre de son activité d'infirmier dans cet hôpital et ils auraient provoqué la colère de sa hiérarchie et de ses collègues. De plus, bien que le CHUV ne soit pas actuellement partie à la procédure, il serait selon lui sujet à une action civile de la partie plaignante et pourrait se retourner contre le recourant. Ces circonstances particulières avaient amené le procureur à faire appel à un expert privé, de sorte que le défaut de renseignement de la Dresse B._ sur ses liens avec le CHUV renforcerait l'apparence de prévention.
Comme le relève le recourant, l'appartenance de l'expert à une institution avec laquelle une partie est liée d'une manière ou d'une autre peut effectivement créer une apparence de prévention (cf. arrêt 1B_188/2011 du 1er juin 2011 consid. 3.3; JOËLLE VUILLE, in Commentaire romand CPP, 2011, n. 9 ad <ref-law>; ANDREAS DONATSCH, Zur Unabhängigkeit und Unbefangenheit des Sachverständigen, in Festschrift v. Castelberg, 1997, p. 49). L'activité de l'experte auprès du CHUV est donc de nature à créer une telle apparence. Contrairement à ce qu'a retenu l'autorité attaquée, le fait que l'experte "se considère en situation de totale indépendance morale" n'est pas pertinent à cet égard. De même, le taux d'activité de seulement 20 % auprès du CHUV n'est pas de nature à atténuer cette apparence de prévention. Il est en effet évident que, même avec ce taux d'activité réduit, l'intéressée a des contacts réguliers avec différents intervenants du CHUV et qu'elle a un devoir de fidélité envers cette institution, ce d'autant plus qu'elle y exerce une fonction de "responsable". Le fait que l'experte ait choisi d'utiliser l'adresse électronique du CHUV malgré ce taux d'activité réduit n'est d'ailleurs pas nécessairement anodin de ce point de vue et peut dénoter une volonté de valoriser cette activité. Par conséquent, le Tribunal cantonal ne saurait être suivi lorsqu'il considère que la relation de dépendance est "des plus ténue".
Le fait que le CHUV ne soit pas partie à la procédure n'est pas non plus décisif, dès lors qu'il n'apparaît pas d'emblée exclu qu'il puisse répondre en partie des agissements de son ancien employé si celui-ci devait être condamné. Il ressort en outre du dossier que le CHUV se sent concerné par l'instruction menée contre le recourant. En effet, "d'entente avec [le] Directeur général du CHUV", le chef de l'unité des affaires juridiques a sollicité la consultation du dossier du recourant. Le sort de la procédure pénale intéresse en outre le Service de la santé publique du canton de Vaud, qui a également requis la consultation du dossier afin de décider de l'ouverture d'une enquête administrative. Il convient encore de relever que l'experte contestée exerce dans un service dépendant du département psychiatrique du CHUV, alors que le recourant a commis les infractions qu'on lui reproche en sa qualité d'infirmier dans le domaine de la psychiatrie également. C'est d'ailleurs pour ce motif que la juge d'instruction en charge du dossier avait estimé qu'il était préférable que le mandat d'expertise soit confié à une "personne privée", raison pour laquelle elle avait proposé la Dresse B._, présentée comme une psychiatre et psychothérapeute FMH exerçant à X._.
En définitive, compte tenu des éléments qui précèdent, même si la bonne foi de la Dresse B._ n'est pas en cause, les liens qu'elle entretient avec le CHUV donnent une apparence de prévention et sont de nature à faire naître un doute sur son impartialité, de sorte que sa récusation s'imposait au regard des exigences déduites des art. 30 Cst. et 56 CPP.
3.3 Conformément à l'<ref-law>, les actes de procédure auxquels a participé une personne tenue de se récuser sont annulés et répétés si une partie le demande. Dès lors que le recourant conclut au retrait du dossier de l'expertise réalisée par la Dresse B._, il y a lieu de faire droit à cette requête. Le Ministère public statuera sur les honoraires relatifs à cette expertise, qui seront laissés à la charge de l'Etat.
4. Il s'ensuit que le recours doit être admis et l'arrêt attaqué annulé. La demande de récusation est admise et le rapport d'expertise psychiatrique établi le 21 avril 2011 par la Dresse B._ est retiré du dossier. La cause est renvoyée au Ministère public de l'arrondissement de la Côte pour qu'il ordonne une nouvelle expertise et désigne un nouvel expert conformément à l'<ref-law>. Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens pour la présente procédure de recours, à la charge de l'Etat de Vaud (<ref-law>). Le recourant conclut par ailleurs à l'octroi d'une indemnité de 550 fr. à titre de dépens pour la procédure de récusation devant les autorités cantonales. Vu l'issue de la cause, il y a lieu de faire droit à cette requête et d'inclure ce montant dans l'indemnité globale allouée à titre de dépens. Il n'est pas perçu de frais judiciaires (<ref-law>).
Le Ministère public a transmis au Tribunal fédéral la copie d'une "note d'honoraire" établie par la Dresse B._ pour sa réponse au recours dans la présente procédure, à hauteur de 900 fr. pour trois heures de travail. Dans la mesure où l'intéressée n'obtient pas gain de cause, elle n'a pas droit à des dépens (<ref-law>). Au demeurant, même si le recours avait été rejeté, il est douteux qu'elle ait pu prétendre à une indemnité dès lors qu'elle n'est pas représentée par un avocat et dans la mesure où la présente cause ne revêtait pas pour elle un enjeu considérable et n'exigeait pas le déploiement d'une grande activité, les frais engagés devant en toute hypothèse être établis et appropriés aux circonstances (<ref-ruling> consid. 4 p. 446; <ref-ruling> consid. 5b p. 519).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
2. La demande de récusation est admise et le rapport d'expertise psychiatrique établi le 21 avril 2011 par la Dresse B._ est retiré du dossier. La cause est renvoyée au Ministère public de l'arrondissement de la Côte pour qu'il ordonne une nouvelle expertise et désigne un nouvel expert.
3. Il n'est pas perçu de frais judiciaires.
4. Une indemnité de 2'550 fr. est allouée au recourant à titre de dépens, à la charge de l'Etat de Vaud.
5. Le présent arrêt est communiqué aux parties, au Ministère public de l'arrondissement de la Côte, par le Ministère public central du canton de Vaud, et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 2 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener