Faits:
Faits:
A. D._, née en 1959, exerçait la profession d'infirmière. Elle travaillait à temps partiel dans un établissement médico-social tout en assurant, dès 1994, la gestion d'un magasin de jouets éducatifs. A partir du mois de janvier 1998, son médecin traitant, le docteur P._, a attesté une incapacité de travail variant de 50 à 100 %, en raison de fatigue et de douleurs musculaires, principalement à la ceinture scapulaire. Il a posé les diagnostics de fibromyalgie et d'état dépressif réactionnel et a également fait état d'une hospitalisation en septembre 1999, en raison d'une décompensation (rapports des 26 janvier, 5 février, 5 juin, 9 août et 27 décembre 20000; rapport du 30 août 2002). Le 24 décembre 1999, D._ a adressé une demande de rente à l'Office de l'assurance-invalidité du canton de Vaud (ci-après : l'Office AI).
L'Office AI a confié au docteur S._, psychiatre, le soin de réaliser une expertise. Celui-ci a posé les diagnostics de dysthymie à début précoce de sévérité légère (axe I), de personnalité immature à défense obsessionnelle (axe II). Il a renoncé à se prononcer sur l'existence d'une atteinte somatique à la santé (axe III) et a relevé la présence de difficultés financières et affectives (axe IV). Il a proposé de retenir une incapacité de travail de 70 % depuis 1999, et de 30 % dès le début de l'année 2001, en raison des troubles psychiques de l'assurée (rapport du 18 janvier 2001 et rapport complémentaire du 23 mai 2002). Pour sa part, le docteur C._, médecin au Service médical régional X._, a proposé d'admettre une diminution de la capacité de travail de 70 % au maximum entre septembre 1999 et décembre 2000, explicable par une exacerbation d'un trouble de l'adaptation avec humeur anxio-dépressive, puis une incapacité de travail de 30 % dès le 1er janvier 2001 (rapport du 28 mai 2002).
Le 17 juillet 2002, l'Office AI a adressé à l'assurée un projet de décision dans lequel il indiquait vouloir lui allouer une rente entière d'invalidité, pour une période limitée du 1er septembre au 31 décembre 2000. Par lettres des 22 juillet et 2 août 2002, l'assurée s'est opposée à ce projet de décision, en alléguant subir une incapacité de travail totale.
Par décision du 24 février 2003, l'Office AI lui a alloué une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, conformément au projet de décision du 17 juillet 2002. Dans un recours remis le 26 mars 2003 au Tribunal des assurances du canton de Vaud, D._ a mis en cause l'impartialité du docteur S._, en produisant une lettre qu'elle avait adressée le 21 janvier 2003 à la Commission de déontologie de la Société vaudoise de médecine (ci-après : la Commision de déontologie). Elle y précise avoir consulté le docteur S._ en mars 2001 et avoir été frappée par son attitude familière, son manque de rigueur et d'écoute, ainsi que par son manque de professionnalisme; elle ajoute lui avoir fait part de ces critiques dans une lettre. Le docteur S._ se serait senti agressé et aurait réagi négativement. La relation thérapeutique aurait pris fin après deux séances, D._ la jugeant peu satisfaisante. Toujours dans la lettre du 21 janvier 2003 à la Commission de déontologie, D._ allègue que le docteur S._, lors de l'expertise, l'a interrogée de manière insistante sur le point de savoir si elle avait consulté son ex-épouse, également psychiatre.
Le recours, dans lequel l'assurée relevait encore plusieurs imprécisions de l'expertise, a été transmis à l'Office AI comme opposition à la décision du 24 février 2003. Par décision sur opposition du 26 novembre 2003, l'Office AI a alloué à l'assurée une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, mais a refusé de lui allouer des prestations postérieurement à cette date. Il a considéré que les motifs de récusation du docteur S._ avaient été soulevés tardivement et que l'expertise revêtait une pleine valeur probante malgré les imprécisions mentionnées par l'assurée.
Le recours, dans lequel l'assurée relevait encore plusieurs imprécisions de l'expertise, a été transmis à l'Office AI comme opposition à la décision du 24 février 2003. Par décision sur opposition du 26 novembre 2003, l'Office AI a alloué à l'assurée une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, mais a refusé de lui allouer des prestations postérieurement à cette date. Il a considéré que les motifs de récusation du docteur S._ avaient été soulevés tardivement et que l'expertise revêtait une pleine valeur probante malgré les imprécisions mentionnées par l'assurée.
B. Par jugement du 9 septembre 2004, le Tribunal des assurances du canton de Vaud a admis le recours interjeté par l'assurée contre la décision sur opposition du 26 novembre 2003 et a renvoyé la cause à l'Office AI pour qu'il mette en oeuvre une nouvelle expertise psychiatrique et statue à nouveau.
B. Par jugement du 9 septembre 2004, le Tribunal des assurances du canton de Vaud a admis le recours interjeté par l'assurée contre la décision sur opposition du 26 novembre 2003 et a renvoyé la cause à l'Office AI pour qu'il mette en oeuvre une nouvelle expertise psychiatrique et statue à nouveau.
C. L'Office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. L'intimée conclut au rejet du recours, sous suite de frais et dépens, alors que l'Office fédéral des assurances sociale en propose l'admission.

Considérant en droit:
Considérant en droit:
1. Est litigieux le point de savoir si l'expertise réalisée par le docteur S._ permet de se prononcer en connaissance de cause sur la capacité résiduelle de travail de l'intimée, eu égard aux atteintes à la santé psychique dont elle est atteinte. En revanche, D._ n'a contesté ni dans la procédure d'opposition, ni dans le recours qu'elle a adressé à la juridiction cantonale, ni dans sa détermination sur le recours de droit administratif de l'Office AI, qu'abstraction faite des atteintes à sa santé psychique, son état de santé physique lui permet de travailler sans restriction, comme l'a admis à juste titre le recourant. Il n'y a pas lieu de revenir sur ce dernier point dans le cadre de la présente procédure.
1. Est litigieux le point de savoir si l'expertise réalisée par le docteur S._ permet de se prononcer en connaissance de cause sur la capacité résiduelle de travail de l'intimée, eu égard aux atteintes à la santé psychique dont elle est atteinte. En revanche, D._ n'a contesté ni dans la procédure d'opposition, ni dans le recours qu'elle a adressé à la juridiction cantonale, ni dans sa détermination sur le recours de droit administratif de l'Office AI, qu'abstraction faite des atteintes à sa santé psychique, son état de santé physique lui permet de travailler sans restriction, comme l'a admis à juste titre le recourant. Il n'y a pas lieu de revenir sur ce dernier point dans le cadre de la présente procédure.
2. D'après la juridiction cantonale, l'expertise réalisée par le docteur S._ ne revêt qu'une valeur probante insuffisante, parce que l'expert avait précédemment été médecin traitant de l'assurée et que la relation thérapeutique s'était terminée de manière conflictuelle. Ces circonstances jetteraient un doute sur l'impartialité de l'expert, qui justifierait d'exiger la mise en oeuvre d'une nouvelle expertise par l'Office AI.
2. D'après la juridiction cantonale, l'expertise réalisée par le docteur S._ ne revêt qu'une valeur probante insuffisante, parce que l'expert avait précédemment été médecin traitant de l'assurée et que la relation thérapeutique s'était terminée de manière conflictuelle. Ces circonstances jetteraient un doute sur l'impartialité de l'expert, qui justifierait d'exiger la mise en oeuvre d'une nouvelle expertise par l'Office AI.
2.1 2.1.1 Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation des circonstances ne peut pas reposer sur les seules impressions de l'expertisé, la méfiance à l'égard de l'expert devant au contraire apparaître comme fondée sur des éléments objectifs (cf. <ref-ruling> sv. consid. 3b/ee, 123 V 176 consid. 3d; voir également, parmi d'autres, arrêts S. du 31 mai 2005 [I 26/05], consid. 5.1, B. du 14 avril 2005 [I 12/04], consid. 5.2.1).
2.1.2 D'après la jurisprudence rendue en matière de récusation d'un juge, le motif de récusation doit être invoqué dès que possible, soit en principe dès le début des débats, mais au plus tard dès que le plaideur a connaissance de l'identité des membres composant l'autorité. Il serait en effet contraire à la bonne foi d'attendre l'issue d'une procédure pour tirer ensuite argument, à l'occasion d'un recours, du motif de récusation, alors que celui-ci était déjà connu auparavant (<ref-ruling> consid. 2b et les références). Ces principes sont applicables par analogie à la récusation d'experts judiciaires (<ref-ruling> consid. 3a), ainsi qu'aux cas d'expertises ordonnées par l'administration (cf. VSI 2001 p. 110 sv. consid. 4a/aa et les références).
2.2 L'intimée avait connaissance d'emblée des motifs qu'elle invoque à l'appui du grief de partialité de l'expert. Lorsque l'Office AI lui en a communiqué le nom, elle n'a soulevé aucune objection, ni même ne l'a informé du fait qu'elle avait déjà consulté le docteur S._. Après l'expertise, elle n'a pas davantage protesté auprès de l'Office AI, se bornant à alléguer à nouveau une incapacité de travail de 100 % à réception du projet de décision du 17 juillet 2002. Ce n'est qu'après la décision du 24 février 2003 qu'elle a soulevé le grief de prévention pour la première fois. Ces circonstances justifient de se montrer particulièrement circonspect dans l'examen de l'argumentation de l'assurée et de faire preuve de retenue avant d'admettre un renversement de la présomption d'impartialité de l'expert. On peut d'ailleurs se demander si les premiers juges n'auraient pas déjà dû rejeter le recours de l'assurée au motif qu'elle n'avait pas présenté une demande de récusation suffisamment tôt. La question peut cependant rester ouverte, compte tenu de ce qui suit.
2.2 L'intimée avait connaissance d'emblée des motifs qu'elle invoque à l'appui du grief de partialité de l'expert. Lorsque l'Office AI lui en a communiqué le nom, elle n'a soulevé aucune objection, ni même ne l'a informé du fait qu'elle avait déjà consulté le docteur S._. Après l'expertise, elle n'a pas davantage protesté auprès de l'Office AI, se bornant à alléguer à nouveau une incapacité de travail de 100 % à réception du projet de décision du 17 juillet 2002. Ce n'est qu'après la décision du 24 février 2003 qu'elle a soulevé le grief de prévention pour la première fois. Ces circonstances justifient de se montrer particulièrement circonspect dans l'examen de l'argumentation de l'assurée et de faire preuve de retenue avant d'admettre un renversement de la présomption d'impartialité de l'expert. On peut d'ailleurs se demander si les premiers juges n'auraient pas déjà dû rejeter le recours de l'assurée au motif qu'elle n'avait pas présenté une demande de récusation suffisamment tôt. La question peut cependant rester ouverte, compte tenu de ce qui suit.
2.3 2.3.1 La jurisprudence exposée ci-dessus (consid. 2.1.1), relative aux motifs permettant d'écarter une expertise en raison de doutes sur l'impartialité de l'expert, est également applicable lorsque celui-ci a été consulté précédemment par l'assuré en qualité de médecin traitant. Dans ce contexte, on rappellera qu'il convient en principe d'éviter de confier une expertise à un ancien médecin traitant de l'assuré, eu égard au conflit d'intérêts pouvant résulter de sa position de thérapeute et d'expert (arrêt P. du 5 avril 2004 [I 814/03], consid. 2.4.2; Meyer-Blaser, Der Rechtsbegriff der Arbeitsunfähigkeit und seine Bedeutung in der Sozialversicherung, namentlich für den Einkommensvergleich in der Invaliditätsbemessung, in : Schaffhauser/Schlauri, Schmerz und Arbeitsunfähigkeit, St-Gall 2003, p. 51). Selon la jurisprudence, toutefois, cela ne justifie pas d'exclure d'emblée toute expertise réalisée par un ancien médecin traitant, en l'absence d'autre circonstance objective jetant le doute sur son impartialité, par exemple parce qu'il n'a pas rédigé son rapport de manière neutre et factuelle (arrêt J. du 17 août 2004 [I 29/04], consid. 2.2 et les références).
2.3.2 En l'occurrence, la plupart des allégations contenues dans la lettre du 21 janvier 2003 à la Commission de déontologie sont d'ordre subjectif et ne sont étayées par aucune pièce. L'assurée n'a pas produit les récriminations écrites qu'elle allègue avoir adressées au docteur S._ en mars 2001 et soutient à tort que ce médecin n'a pas fait mention dans l'expertise du fait qu'elle l'avait consulté précédemment en tant que médecin traitant (cf. expertise, p. 8). Par ailleurs, la lettre à la Commission de déontologie a été écrite plus d'une année après l'interruption du traitement et les derniers examens effectués pour l'expertise, alors que l'assurée savait qu'une décision de refus de prestations, pour la période postérieure au 31 décembre 2000, lui serait notifiée sous peu. Ces circonstances jettent un sérieux doute sur les allégations de l'assurée, en particulier sur la manière conflictuelle dont le traitement suivi auprès du docteur S._ aurait pris fin et sur l'insistance avec laquelle il l'aurait interrogée sur la thérapie suivie auprès de son ex-épouse. Hormis la consultation du docteur S._ par l'assurée quelques mois avant la désignation de ce médecin comme expert, il n'y a donc pas lieu de tenir ces faits pour établis.
En ce qui concerne l'expertise comme telle, force est de constater qu'elle est rédigée de manière objective et nuancée. Contrairement à l'opinion des premiers juges, l'expert explique de manière convaincante pourquoi il a admis une amélioration de la capacité de travail de l'assurée dès le 1er janvier 2001. Il a précisé que D._ présentait une capacité adaptative réduite en situation de stress, ce qui avait provoqué une décompensation en septembre 1999; elle était alors confrontée à des problèmes familiaux ainsi qu'à des difficultés dans la gestion de son magasin, ces dernières ayant finalement abouti à une faillite. Il a ajouté que lorsque l'assurée ne traversait pas de stress existentiel majeur, elle était tout à fait apte à tenir une activité professionnelle à 70 % au moins, son fonctionnement hors professionnel semblant par ailleurs parfaitement conservé. Enfin, comme l'ont admis les premiers juges eux-mêmes, les erreurs relevées par l'assurée dans l'anamnèse portent sur des faits d'importance secondaire et n'entament pas sérieusement la valeur probante de l'expertise.
En l'absence de motifs justifiant objectivement d'admettre le grief de prévention soulevé par l'assurée, et dès lors que l'expertise remplit largement les critères posés par la jurisprudence pour lui reconnaître une pleine valeur probante (sur ces critères : <ref-ruling> ss consid. 3), le renvoi de la cause à l'Office AI par la juridiction cantonale n'était pas justifié.
En l'absence de motifs justifiant objectivement d'admettre le grief de prévention soulevé par l'assurée, et dès lors que l'expertise remplit largement les critères posés par la jurisprudence pour lui reconnaître une pleine valeur probante (sur ces critères : <ref-ruling> ss consid. 3), le renvoi de la cause à l'Office AI par la juridiction cantonale n'était pas justifié.
3. Compte tenu de la capacité résiduelle de travail décrite par l'expert dès le 31 décembre 2000, l'Office AI a considéré à juste titre que l'assurée ne présentait plus, dès le début de l'année 2001, un taux d'invalidité de 40 % ou plus. Il convient cependant de rectifier la date de modification du droit à la rente fixée dans la décision sur opposition litigieuse. En effet, un changement de circonstance entraînant une diminution du taux d'invalidité d'un assuré ne justifie de revoir son droit à la rente que s'il est prévisible d'emblée que l'amélioration constatée se maintiendra durant une assez longue période ou si un tel changement a duré trois mois déjà sans interruption notable et sans qu'une complication prochaine soit à craindre (cf. <ref-law>, applicable, en l'espèce, dans sa teneur en vigueur jusqu'au 29 février 2004; cf. <ref-ruling> consid. 1, 127 V 467 consid. 1). En l'occurrence, il n'était pas d'emblée prévisible que l'amélioration de l'état de santé de l'assurée se maintiendrait durablement, l'expert s'étant montré réservé sur l'évolution de cet état de santé à l'avenir. La rente allouée avec effet dès le 1er septembre 2000 ne pouvait donc pas être supprimée avant l'écoulement d'un délai de trois mois courant depuis le 1er janvier 2001. Le jugement entrepris et la décision sur opposition litigieuse seront modifiés dans ce sens.
3. Compte tenu de la capacité résiduelle de travail décrite par l'expert dès le 31 décembre 2000, l'Office AI a considéré à juste titre que l'assurée ne présentait plus, dès le début de l'année 2001, un taux d'invalidité de 40 % ou plus. Il convient cependant de rectifier la date de modification du droit à la rente fixée dans la décision sur opposition litigieuse. En effet, un changement de circonstance entraînant une diminution du taux d'invalidité d'un assuré ne justifie de revoir son droit à la rente que s'il est prévisible d'emblée que l'amélioration constatée se maintiendra durant une assez longue période ou si un tel changement a duré trois mois déjà sans interruption notable et sans qu'une complication prochaine soit à craindre (cf. <ref-law>, applicable, en l'espèce, dans sa teneur en vigueur jusqu'au 29 février 2004; cf. <ref-ruling> consid. 1, 127 V 467 consid. 1). En l'occurrence, il n'était pas d'emblée prévisible que l'amélioration de l'état de santé de l'assurée se maintiendrait durablement, l'expert s'étant montré réservé sur l'évolution de cet état de santé à l'avenir. La rente allouée avec effet dès le 1er septembre 2000 ne pouvait donc pas être supprimée avant l'écoulement d'un délai de trois mois courant depuis le 1er janvier 2001. Le jugement entrepris et la décision sur opposition litigieuse seront modifiés dans ce sens.
4. L'intimée, qui voit ses conclusions rejetées, ne peut prétendre de dépens à la charge de l'Office AI (art. 159 al. 1 OJ). La procédure est par ailleurs gratuite, dès lors qu'elle porte sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis au sens des considérants. Le jugement du Tribunal des assurances du canton de Vaud du 9 septembre 2004 ainsi que la décision sur opposition de l'Office de l'assurance-invalidité pour le canton de Vaud du 26 novembre 2003 sont modifiés en ce sens que D._ a droit à une rente d'invalidité pour la période du 1er septembre 2000 au 31 mars 2001.
1. Le recours est admis au sens des considérants. Le jugement du Tribunal des assurances du canton de Vaud du 9 septembre 2004 ainsi que la décision sur opposition de l'Office de l'assurance-invalidité pour le canton de Vaud du 26 novembre 2003 sont modifiés en ce sens que D._ a droit à une rente d'invalidité pour la période du 1er septembre 2000 au 31 mars 2001.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Il n'est pas alloué de dépens.
3. Il n'est pas alloué de dépens.
4. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
4. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 3 février 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IIIe Chambre: Le Greffier: