Faits: Faits: A. D._, née en 1959, exerçait la profession d'infirmière. Elle travaillait à temps partiel dans un établissement médico-social tout en assurant, dès 1994, la gestion d'un magasin de jouets éducatifs. A partir du mois de janvier 1998, son médecin traitant, le docteur P._, a attesté une incapacité de travail variant de 50 à 100 %, en raison de fatigue et de douleurs musculaires, principalement à la ceinture scapulaire. Il a posé les diagnostics de fibromyalgie et d'état dépressif réactionnel et a également fait état d'une hospitalisation en septembre 1999, en raison d'une décompensation (rapports des 26 janvier, 5 février, 5 juin, 9 août et 27 décembre 20000; rapport du 30 août 2002). Le 24 décembre 1999, D._ a adressé une demande de rente à l'Office de l'assurance-invalidité du canton de Vaud (ci-après : l'Office AI). L'Office AI a confié au docteur S._, psychiatre, le soin de réaliser une expertise. Celui-ci a posé les diagnostics de dysthymie à début précoce de sévérité légère (axe I), de personnalité immature à défense obsessionnelle (axe II). Il a renoncé à se prononcer sur l'existence d'une atteinte somatique à la santé (axe III) et a relevé la présence de difficultés financières et affectives (axe IV). Il a proposé de retenir une incapacité de travail de 70 % depuis 1999, et de 30 % dès le début de l'année 2001, en raison des troubles psychiques de l'assurée (rapport du 18 janvier 2001 et rapport complémentaire du 23 mai 2002). Pour sa part, le docteur C._, médecin au Service médical régional X._, a proposé d'admettre une diminution de la capacité de travail de 70 % au maximum entre septembre 1999 et décembre 2000, explicable par une exacerbation d'un trouble de l'adaptation avec humeur anxio-dépressive, puis une incapacité de travail de 30 % dès le 1er janvier 2001 (rapport du 28 mai 2002). Le 17 juillet 2002, l'Office AI a adressé à l'assurée un projet de décision dans lequel il indiquait vouloir lui allouer une rente entière d'invalidité, pour une période limitée du 1er septembre au 31 décembre 2000. Par lettres des 22 juillet et 2 août 2002, l'assurée s'est opposée à ce projet de décision, en alléguant subir une incapacité de travail totale. Par décision du 24 février 2003, l'Office AI lui a alloué une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, conformément au projet de décision du 17 juillet 2002. Dans un recours remis le 26 mars 2003 au Tribunal des assurances du canton de Vaud, D._ a mis en cause l'impartialité du docteur S._, en produisant une lettre qu'elle avait adressée le 21 janvier 2003 à la Commission de déontologie de la Société vaudoise de médecine (ci-après : la Commision de déontologie). Elle y précise avoir consulté le docteur S._ en mars 2001 et avoir été frappée par son attitude familière, son manque de rigueur et d'écoute, ainsi que par son manque de professionnalisme; elle ajoute lui avoir fait part de ces critiques dans une lettre. Le docteur S._ se serait senti agressé et aurait réagi négativement. La relation thérapeutique aurait pris fin après deux séances, D._ la jugeant peu satisfaisante. Toujours dans la lettre du 21 janvier 2003 à la Commission de déontologie, D._ allègue que le docteur S._, lors de l'expertise, l'a interrogée de manière insistante sur le point de savoir si elle avait consulté son ex-épouse, également psychiatre. Le recours, dans lequel l'assurée relevait encore plusieurs imprécisions de l'expertise, a été transmis à l'Office AI comme opposition à la décision du 24 février 2003. Par décision sur opposition du 26 novembre 2003, l'Office AI a alloué à l'assurée une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, mais a refusé de lui allouer des prestations postérieurement à cette date. Il a considéré que les motifs de récusation du docteur S._ avaient été soulevés tardivement et que l'expertise revêtait une pleine valeur probante malgré les imprécisions mentionnées par l'assurée. Le recours, dans lequel l'assurée relevait encore plusieurs imprécisions de l'expertise, a été transmis à l'Office AI comme opposition à la décision du 24 février 2003. Par décision sur opposition du 26 novembre 2003, l'Office AI a alloué à l'assurée une rente entière d'invalidité pour la période du 1er septembre au 31 décembre 2000, mais a refusé de lui allouer des prestations postérieurement à cette date. Il a considéré que les motifs de récusation du docteur S._ avaient été soulevés tardivement et que l'expertise revêtait une pleine valeur probante malgré les imprécisions mentionnées par l'assurée. B. Par jugement du 9 septembre 2004, le Tribunal des assurances du canton de Vaud a admis le recours interjeté par l'assurée contre la décision sur opposition du 26 novembre 2003 et a renvoyé la cause à l'Office AI pour qu'il mette en oeuvre une nouvelle expertise psychiatrique et statue à nouveau. B. Par jugement du 9 septembre 2004, le Tribunal des assurances du canton de Vaud a admis le recours interjeté par l'assurée contre la décision sur opposition du 26 novembre 2003 et a renvoyé la cause à l'Office AI pour qu'il mette en oeuvre une nouvelle expertise psychiatrique et statue à nouveau. C. L'Office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. L'intimée conclut au rejet du recours, sous suite de frais et dépens, alors que l'Office fédéral des assurances sociale en propose l'admission.