Faits:
Faits:
A. Le 1er février 2000, B._ a présenté une demande de prestations de l'assurance-invalidité, en invoquant souffrir d'une affection du système nerveux. Après avoir recueilli divers avis médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a confié une expertise psychiatrique au docteur S._, spécialiste en psychiatrie et psychothérapie. L'assuré en a été informé par communication du 3 mars 2003. Deux jours plus tard, il a demandé la récusation du praticien comme expert, en invoquant que «la presse a longuement parlé de ce médecin et de ses expertises désastreuses».
Le 13 mars 2003, l'office AI a informé B._ qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»).
Le 13 mars 2003, l'office AI a informé B._ qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»).
B. Par écriture du 11 avril 2003, l'assuré a déféré cet acte au Tribunal des assurances du canton de Vaud qui l'a débouté par jugement du 10 février 2004.
B. Par écriture du 11 avril 2003, l'assuré a déféré cet acte au Tribunal des assurances du canton de Vaud qui l'a débouté par jugement du 10 février 2004.
C. B._ interjette un recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut en substance à la réformation de celui-ci, en ce sens que soit prononcée la récusation de l'expert désigné et que la cause soit renvoyée à l'administration pour qu'elle nomme un nouvel expert.

Considérant en droit:
Considérant en droit:
1. 1.1 Le litige porte sur la récusation de l'expert S._ mandaté par l'office AI.
1.2 En communiquant au recourant, le 3 mars 2003, son intention de mettre en oeuvre une expertise auprès du psychiatre prénommé puis en rendant la décision du 13 mars suivant, par laquelle elle a refusé la récusation de celui-ci, l'administration a pris des mesures d'instruction après l'entrée en vigueur de la LPGA, le 1er janvier 2003. En ce qui concerne la procédure d'instruction à laquelle sont soumis les offices AI, les nouvelles règles de procédure prévues par cette loi n'ont pas introduit de structure juridique entièrement nouvelle, de sorte qu'elles sont immédiatement applicables au 1er janvier 2003 (cf. arrêt B. du 8 février 2006, I 745/03, destiné à la publication au Recueil officiel, consid. 2.2 et 2.3; voir aussi l'arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749). Partant, la légalité de la décision litigieuse doit être examinée à la lumière des dispositions idoines de la LPGA.
1.2 En communiquant au recourant, le 3 mars 2003, son intention de mettre en oeuvre une expertise auprès du psychiatre prénommé puis en rendant la décision du 13 mars suivant, par laquelle elle a refusé la récusation de celui-ci, l'administration a pris des mesures d'instruction après l'entrée en vigueur de la LPGA, le 1er janvier 2003. En ce qui concerne la procédure d'instruction à laquelle sont soumis les offices AI, les nouvelles règles de procédure prévues par cette loi n'ont pas introduit de structure juridique entièrement nouvelle, de sorte qu'elles sont immédiatement applicables au 1er janvier 2003 (cf. arrêt B. du 8 février 2006, I 745/03, destiné à la publication au Recueil officiel, consid. 2.2 et 2.3; voir aussi l'arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749). Partant, la légalité de la décision litigieuse doit être examinée à la lumière des dispositions idoines de la LPGA.
2. 2.1 Selon l'<ref-law>, l'assureur examine les demandes, prend d'office les mesures d'instruction nécessaires et recueille les renseignements dont il a besoin (al. 1). L'assuré doit se soumettre à des examens médicaux ou techniques si ceux-ci sont nécessaires à l'appréciation du cas et qu'ils peuvent être raisonnablement exigés (al. 2). Si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions (<ref-law>).
L'acte par lequel l'assureur social ordonne une expertise n'a pas le caractère de décision au sens de l'<ref-law> et intervient sous la forme d'une communication (arrêt B., précité, consid. 5). En revanche, lorsque l'assuré, dans le cadre des droits conférés par l'<ref-law>, fait valoir des motifs de récusation au sens des <ref-law> et 10 PA (cf. infra consid. 2.2) - dispositions relatives à la récusation des personnes appelées à préparer ou prendre des décisions, applicables mutatis mutandis -, l'administration doit rendre une décision directement soumise à recours (arrêt B., précité, consid. 6). Une telle décision portant sur la récusation d'un expert peut, ainsi que l'a déjà jugé le Tribunal fédéral des assurances, être attaquée séparément par la voie du recours de droit administratif dès lors qu'elle est susceptible de causer un préjudice irréparable (VSI 1998 p. 128, consid. 1 et les références). L'entrée en vigueur de la LPGA n'a apporté à cet égard aucun changement (arrêt B., précité, consid. 6.3).
2.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'arrêt B. précité (voir aussi l'arrêt D. du 14 mars 2006, I 14/04), de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. <ref-law> et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de défiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999, 1P.553/1999).
2.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'arrêt B. précité (voir aussi l'arrêt D. du 14 mars 2006, I 14/04), de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. <ref-law> et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de défiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999, 1P.553/1999).
3. Le recourant conteste essentiellement la compétence professionnelle du docteur S._ d'agir comme expert. Se référant aux articles parus dans la presse romande sur le conflit qui opposait le psychiatre à 33 de ses confrères qui l'auraient «dénoncé comme étant un médecin qui n'a pas les capacités professionnelles pour réaliser des expertises», B._ met en doute la qualification professionnelle du docteur S._.
Il s'agit en l'espèce d'un motif matériel de récusation qui vise la crédibilité et le caractère probant de l'expertise que le docteur S._ sera appelé à rendre et non d'un motif formel lié à l'impartialité de l'expert. Il n'appartenait dès lors pas à l'administration de rendre une décision sur ce point, sa «décision suite à une demande de récusation» du 13 mars 2003 devant être considérée comme une simple communication. Partant, c'est à tort que la juridiction cantonale est entrée en matière sur l'écriture du 11 avril 2003. Le grief invoqué devra en effet être examiné par l'administration, puis l'autorité cantonale de recours et, cas échéant, la Cour de céans, au moment de se prononcer sur la décision sur le fond dans le cadre de l'appréciation des preuves (supra consid. 2.2). Au demeurant, aussi bien l'acte par lequel est ordonnée une expertise que le refus d'administrer des preuves (sous réserve du risque de perdre des moyens pertinents) ne sont pas propres à entraîner un préjudice irréparable (<ref-ruling>, 98 Ib 286 sv; Pierre Moor, Droit administratif, vol. II: Les actes administratifs et leur contrôle, 2ème édition, Berne 2002, p. 579 n° 5.4.2.3, Grisel, Traité de droit administratif, Neuchâtel 1984, p. 871; Gygi, Bundesverwaltungsrechtspflege, 2ème édition, Berne 1983, p. 142; RJAM 1975 no 232 p. 197).
Il s'agit en l'espèce d'un motif matériel de récusation qui vise la crédibilité et le caractère probant de l'expertise que le docteur S._ sera appelé à rendre et non d'un motif formel lié à l'impartialité de l'expert. Il n'appartenait dès lors pas à l'administration de rendre une décision sur ce point, sa «décision suite à une demande de récusation» du 13 mars 2003 devant être considérée comme une simple communication. Partant, c'est à tort que la juridiction cantonale est entrée en matière sur l'écriture du 11 avril 2003. Le grief invoqué devra en effet être examiné par l'administration, puis l'autorité cantonale de recours et, cas échéant, la Cour de céans, au moment de se prononcer sur la décision sur le fond dans le cadre de l'appréciation des preuves (supra consid. 2.2). Au demeurant, aussi bien l'acte par lequel est ordonnée une expertise que le refus d'administrer des preuves (sous réserve du risque de perdre des moyens pertinents) ne sont pas propres à entraîner un préjudice irréparable (<ref-ruling>, 98 Ib 286 sv; Pierre Moor, Droit administratif, vol. II: Les actes administratifs et leur contrôle, 2ème édition, Berne 2002, p. 579 n° 5.4.2.3, Grisel, Traité de droit administratif, Neuchâtel 1984, p. 871; Gygi, Bundesverwaltungsrechtspflege, 2ème édition, Berne 1983, p. 142; RJAM 1975 no 232 p. 197).
4. Dès lors que le recourant conclut en substance à la récusation de l'expert, il n'obtient pas gain de cause et n'a donc pas droit à des dépens (art. 159 al. 1 OJ a contrario en corrélation avec l'art. 135 OJ). Etant donné le rapport étroit entre l'acte entrepris et l'examen du droit à une prestation d'assurance, il n'y a pas lieu de percevoir des frais de justice. La demande d'assistance judiciaire visant à la dispense de payer les émoluments de justice présentée par le recourant est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud du 10 février 2004 est réformé en ce sens que le recours daté du 11 avril 2003 est irrecevable.
1. Dans la mesure où il est recevable, le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud du 10 février 2004 est réformé en ce sens que le recours daté du 11 avril 2003 est irrecevable.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
3. L'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 23 mars 2006
Au nom du Tribunal fédéral des assurances
La Présidente de la IIe Chambre: La Greffière: