Faits:
Faits:
A. R._ a présenté une demande de prestations d'invalidité le 18 novembre 1997. Après instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a, au printemps 2002, confié une expertise au docteur S._. L'assuré n'a pas donné suite à la convocation de ce médecin et a indiqué à l'office AI qu'il refusait de se soumettre à une expertise auprès de ce praticien. Par courrier du 13 septembre 2002, l'office AI lui a confirmé avoir désigné le docteur S._ pour une expertise et maintenir cette demande d'expertise; il l'a par ailleurs invité à donner suite au prochain rendez-vous qui lui serait fixé par le médecin.
Par la suite, le 6 mars 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»).
Par la suite, le 6 mars 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et que la demande d'expertise faite auprès du docteur S._ était maintenue («décision suite à une demande de récusation»).
B. Par écriture du 3 avril 2003, l'assuré a déféré cet acte au Tribunal cantonal vaudois des assurances qui l'a débouté par jugement du 25 février 2004.
B. Par écriture du 3 avril 2003, l'assuré a déféré cet acte au Tribunal cantonal vaudois des assurances qui l'a débouté par jugement du 25 février 2004.
C. R._ interjette recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut en substance à la réformation de celui-ci, en ce sens que soit prononcée la récusation de l'expert désigné et que la cause soit renvoyée à l'administration pour qu'elle nomme un nouvel expert.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le Tribunal fédéral des assurances examine d'office les conditions dont dépend la qualité pour recourir et les conditions formelles de validité et de régularité de la procédure administrative, soit en particulier le point de savoir si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours ou l'action. Cela vaut également pour l'examen de la compétence quant au fond de l'autorité qui a statué. Aussi, lorsque l'autorité de première instance a ignoré qu'une condition de l'examen du litige par le juge faisait défaut et a statué sur le fond, cela doit conduire le tribunal saisi d'un recours à annuler d'office le jugement entrepris en constatant qu'on ne peut entrer en matière sur le moyen de droit, dès lors que les conditions de l'examen du litige par le juge ne sont pas réalisées (<ref-ruling> consid. 4a; voir aussi <ref-ruling> consid. 2a et les références).
Il convient dès lors d'examiner si c'est à juste titre que les premiers juges ont qualifié de décision d'ordonnancement l'acte administratif du 6 mars 2003 et ont procédé à l'examen au fond de celui-ci.
Il convient dès lors d'examiner si c'est à juste titre que les premiers juges ont qualifié de décision d'ordonnancement l'acte administratif du 6 mars 2003 et ont procédé à l'examen au fond de celui-ci.
2. 2.1 En ce qui concerne la procédure administrative suivie par les offices AI pour l'instruction de la demande sous l'empire des dispositions applicables avant l'entrée en vigueur de la loi fédérale sur la partie générale des assurances sociales du 6 octobre 2000, LPGA, (art. 58 et 86 al. 2 aLAI; 69 à 77 RAI), le Tribunal fédéral des assurances a jugé que l'acte par lequel un office AI ordonne une expertise médicale n'a pas le caractère d'une décision. Aussi, si l'assuré émet des objections à l'égard de l'expert désigné aussitôt après avoir été invité à se soumettre à une expertise, l'office AI doit-il se prononcer sans rendre de décision sur la suite à donner aux critiques et propositions de l'assuré. L'assuré dispose ensuite de la possibilité de réitérer ses objections lors de l'audition au sens de l'art. 73bis al. 1 RAI et de faire valoir, en particulier, qu'il n'a pas été traité correctement par l'expert ou n'a pas été examiné avec l'impartialité requise (<ref-ruling> consid. 3c).
2.2 Avec l'entrée en vigueur de la LPGA, au 1er janvier 2003, la procédure d'audition au sens de l'art. 73bis al. 1 RAI a été abrogée, tandis que la mise sur pied d'une expertise par l'office AI est régie par l'art. 44 LPGA. Selon cette disposition, si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions.
2.2 Avec l'entrée en vigueur de la LPGA, au 1er janvier 2003, la procédure d'audition au sens de l'art. 73bis al. 1 RAI a été abrogée, tandis que la mise sur pied d'une expertise par l'office AI est régie par l'art. 44 LPGA. Selon cette disposition, si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions.
3. 3.1 Selon l'art. 82 al. 1 première phrase LPGA, les dispositions matérielles de la loi ne sont pas applicables aux prestations en cours et aux créances fixées avant son entrée en vigueur. En revanche, les nouvelles prescriptions de procédure - à l'exception du droit procédural cantonal - s'appliquent immédiatement, dès le jour de l'entrée en vigueur de la LPGA, faute de dispositions transitoires contraires (<ref-ruling> consid. 2.2 et les arrêts cités). Ce principe ne vaut toutefois pas lorsqu'il n'y a pas continuité entre l'ancien et le nouveau système juridique procédural et qu'avec le nouveau droit, des règles de procédure fondamentalement nouvelles ont été créées (<ref-ruling> consid. 3.2, 129 V 115 consid. 2.2, 112 V 360 consid. 4a).
3.2 Par rapport à la procédure d'instruction à laquelle sont soumis les offices AI, la LPGA n'a pas introduit de structure juridique entièrement nouvelle, de sorte que les nouvelles règles de procédure sont en principe immédiatement applicables au 1er janvier 2003. La continuité entre l'ancien et le nouveau système de droit de procédure et, partant, l'application immédiate et étendue de celui-ci doivent cependant être relativisées, dans la mesure où le nouveau droit ne s'applique pas à toutes les procédures pendantes au moment de l'entrée en vigueur de la LPGA. En ce qui concerne l'application des nouveautés de la LPGA en matière de procédure, il y a lieu de se fonder sur le moment où se pose la question litigieuse de procédure ou au moment où celle-ci est tranchée. Si l'objet du litige en ce sens survient avant le 1er janvier 2003, il doit être tranché à la lumière des anciennes dispositions. Une procédure administrative ouverte sous l'empire des anciennes normes continue donc son cours sous l'empire du nouveau droit, sans que les mesures déjà ordonnées, qui n'ont pas été contestées ou ne pouvaient pas être contestées jusqu'alors, doivent être répétées à nouveau selon les règles du nouveau droit. Réitérer une étape de la procédure achevée sous l'ancien droit - comme par exemple la mise sur pied d'une expertise médicale - reviendrait à appliquer rétroactivement le nouveau droit, en ce sens que des questions litigieuses seraient réglées d'après un droit qui n'était pas encore en vigueur au moment de leur survenance; cela contreviendrait au principe de la non rétroactivité des dispositions légales (arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749).
3.2 Par rapport à la procédure d'instruction à laquelle sont soumis les offices AI, la LPGA n'a pas introduit de structure juridique entièrement nouvelle, de sorte que les nouvelles règles de procédure sont en principe immédiatement applicables au 1er janvier 2003. La continuité entre l'ancien et le nouveau système de droit de procédure et, partant, l'application immédiate et étendue de celui-ci doivent cependant être relativisées, dans la mesure où le nouveau droit ne s'applique pas à toutes les procédures pendantes au moment de l'entrée en vigueur de la LPGA. En ce qui concerne l'application des nouveautés de la LPGA en matière de procédure, il y a lieu de se fonder sur le moment où se pose la question litigieuse de procédure ou au moment où celle-ci est tranchée. Si l'objet du litige en ce sens survient avant le 1er janvier 2003, il doit être tranché à la lumière des anciennes dispositions. Une procédure administrative ouverte sous l'empire des anciennes normes continue donc son cours sous l'empire du nouveau droit, sans que les mesures déjà ordonnées, qui n'ont pas été contestées ou ne pouvaient pas être contestées jusqu'alors, doivent être répétées à nouveau selon les règles du nouveau droit. Réitérer une étape de la procédure achevée sous l'ancien droit - comme par exemple la mise sur pied d'une expertise médicale - reviendrait à appliquer rétroactivement le nouveau droit, en ce sens que des questions litigieuses seraient réglées d'après un droit qui n'était pas encore en vigueur au moment de leur survenance; cela contreviendrait au principe de la non rétroactivité des dispositions légales (arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749).
4. 4.1 Au printemps 2002, l'office intimé a confié une expertise au docteur S._. Comme le recourant n'a pas donné suite à la convocation de ce médecin, en indiquant à l'administration qu'il refusait de se soumettre à une expertise menée par celui-ci, l'office intimé l'a informé, le 13 septembre 2002, qu'il maintenait la demande d'expertise; il l'a par ailleurs averti que si l'assuré ne donnait à nouveau pas suite, sans excuse valable, à la convocation à l'expertise, il pouvait se prononcer en l'état du dossier. Dans la communication du 6 mars 2003, l'office intimé a répété qu'il maintenait l'expertise prévue. Il n'a dès lors pas imposé de nouvelles obligations au recourant, ni n'est revenu sur la mise sur pied de l'expertise médicale. Dans ces circonstances, l'acte administratif du 13 septembre 2002, rendu conformément aux anciennes dispositions de procédure alors applicables, reste valable sans modification également après l'entrée en vigueur de la LPGA. Il ne devait donc pas être répété, ni revêtir une nouvelle forme pour être maintenu au-delà du 1er janvier 2003. La répétition de cet acte sous la forme d'une décision d'ordonnancement de la procédure en application des nouvelles prescriptions reviendrait en fait à appliquer celles-ci de manière rétroactive, ce qui n'est pas admissible (consid. 3.2). Par conséquent, dans la mesure où la juridiction cantonale de recours a appliqué le nouveau droit à la prescription prise le 13 septembre 2002, elle ne saurait être suivie. Même si l'office intimé a intitulé sa communication du 6 mars 2003 «décision suite à une demande de récusation», cet acte ne revêt pas le caractère d'une décision. Dès lors, faute de décision susceptible de recours, c'est à tort que les premiers juges sont entrés en matière sur l'écriture du 3 avril 2003.
4.2 En application de l'art. 73 RAI (à nouveau en vigueur depuis le 1er janvier 2004; cf. aussi l'art. 43 al. 3 LPGA), l'office AI impartira un délai approprié au recourant pour se soumettre à l'expertise médicale ordonnée. Si celui-ci est désormais d'accord de donner suite à la convocation pour l'expertise, l'office AI se prononcera en temps voulu sur les objections de l'assuré, à savoir dans le cadre de la décision et de la décision sur opposition (cf. art. 49 al. 1 et 52 al. 1 LPGA). Dans le cas contraire, il se prononcera en l'état du dossier ou suspendra les éclaircissements et renoncera à entrer en matière.
4.2 En application de l'art. 73 RAI (à nouveau en vigueur depuis le 1er janvier 2004; cf. aussi l'art. 43 al. 3 LPGA), l'office AI impartira un délai approprié au recourant pour se soumettre à l'expertise médicale ordonnée. Si celui-ci est désormais d'accord de donner suite à la convocation pour l'expertise, l'office AI se prononcera en temps voulu sur les objections de l'assuré, à savoir dans le cadre de la décision et de la décision sur opposition (cf. art. 49 al. 1 et 52 al. 1 LPGA). Dans le cas contraire, il se prononcera en l'état du dossier ou suspendra les éclaircissements et renoncera à entrer en matière.
5. Dès lors que le recourant conclut en substance à la récusation de l'expert, il n'obtient pas gain de cause; il n'a donc pas droit à des dépens (art. 159 al. 1 OJ a contrario en corrélation avec l'art. 135 OJ). Etant donné le rapport étroit entre l'acte entrepris et l'examen du droit à une prestation d'assurance, il n'y a pas lieu de percevoir des frais de justice.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 25 février 2004 est annulé et qu'il est constaté que le recours du 3 avril 2003 est irrecevable.
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 25 février 2004 est annulé et qu'il est constaté que le recours du 3 avril 2003 est irrecevable.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
3. L'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 9 mai 2005
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: La Greffière: