Faits:
Faits:
A. N._ a présenté une demande de prestations d'invalidité le 7 juin 1994. Après instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a, en été 2002, mandaté le docteur S._ pour une expertise. En réponse à des objections de l'assuré quant à l'expert nommé, l'office AI lui a indiqué ne pas avoir d'éléments objectifs qui le conduiraient à retirer sa confiance au médecin prénommé (courrier du 27 août 2002). L'assuré ayant réitéré sa demande de récusation, il l'a invité, par lettre du 26 septembre 2002, à donner suite au rendez-vous qui lui serait fixé par l'expert et averti, qu'à défaut, il pouvait se prononcer en l'état du dossier.
Le 14 février 2003, N._ a indiqué à l'office AI qu'il refusait de donner suite à la convocation du médecin pour un examen le 28 février suivant. En réponse, le 25 juin 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et qu'il maintenait la demande d'expertise faite auprès du docteur S._ pour les raisons exposées dans ses courriers des 27 août et 26 septembre 2002 («décision suite à une demande de récusation»).
Le 14 février 2003, N._ a indiqué à l'office AI qu'il refusait de donner suite à la convocation du médecin pour un examen le 28 février suivant. En réponse, le 25 juin 2003, l'office AI a informé l'assuré qu'une expertise médicale était nécessaire pour pouvoir évaluer le droit à des prestations de l'assurance-invalidité et qu'il maintenait la demande d'expertise faite auprès du docteur S._ pour les raisons exposées dans ses courriers des 27 août et 26 septembre 2002 («décision suite à une demande de récusation»).
B. Par écriture du 9 juillet 2003, l'assuré a déféré cet acte au Tribunal cantonal des assurances du canton de Vaud qui l'a rejeté par jugement du 24 mars 2004.
B. Par écriture du 9 juillet 2003, l'assuré a déféré cet acte au Tribunal cantonal des assurances du canton de Vaud qui l'a rejeté par jugement du 24 mars 2004.
C. N._ interjette recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut à la réformation de celui-ci, en ce sens que soit constaté qu'il a fait valoir des raisons pertinentes pour la récusation de l'expert, ainsi qu'au renvoi de la cause à l'administration pour qu'elle désigne un nouvel expert. Il sollicite en outre le bénéfice de l'assistance judiciaire tendant à la dispense de payer des frais de justice.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le Tribunal fédéral des assurances examine d'office les conditions dont dépend la qualité pour recourir et les conditions formelles de validité et de régularité de la procédure administrative, soit en particulier le point de savoir si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours ou l'action. Cela vaut également pour l'examen de la compétence quant au fond de l'autorité qui a statué. Aussi, lorsque l'autorité de première instance a ignoré qu'une condition de l'examen du litige par le juge faisait défaut et a statué sur le fond, cela doit conduire le tribunal saisi d'un recours à annuler d'office le jugement entrepris en constatant qu'on ne peut entrer en matière sur le moyen de droit, dès lors que les conditions de l'examen du litige par le juge ne sont pas réalisées (<ref-ruling> consid. 4a; voir aussi <ref-ruling> consid. 2a et les références).
Il convient dès lors d'examiner si c'est à juste titre que les premiers juges ont qualifié de décision d'ordonnancement l'acte administratif du 25 juin 2003 et ont procédé à l'examen au fond de celui-ci.
Il convient dès lors d'examiner si c'est à juste titre que les premiers juges ont qualifié de décision d'ordonnancement l'acte administratif du 25 juin 2003 et ont procédé à l'examen au fond de celui-ci.
2. 2.1 En ce qui concerne la procédure administrative suivie par les offices AI pour l'instruction de la demande sous l'empire des dispositions applicables avant l'entrée en vigueur de la loi fédérale sur la partie générale des assurances sociales du 6 octobre 2000, LPGA, (art. 58 et 86 al. 2 aLAI; 69 à 77 RAI), le Tribunal fédéral des assurances a jugé que l'acte par lequel un office AI ordonne une expertise médicale n'a pas le caractère d'une décision. Aussi, si l'assuré émet des objections à l'égard de l'expert désigné aussitôt après avoir été invité à se soumettre à une expertise, l'office AI doit-il se prononcer sans rendre de décision sur la suite à donner aux critiques et propositions de l'assuré. L'assuré dispose ensuite de la possibilité de réitérer ses objections lors de l'audition au sens de l'<ref-law> et de faire valoir, en particulier, qu'il n'a pas été traité correctement par l'expert ou n'a pas été examiné avec l'impartialité requise (<ref-ruling> consid. 3c).
2.2 Avec l'entrée en vigueur de la LPGA, au 1er janvier 2003, la procédure d'audition au sens de l'<ref-law> a été abrogée, tandis que la mise sur pied d'une expertise par l'office AI est régie par l'<ref-law>. Selon cette disposition, si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions.
2.2 Avec l'entrée en vigueur de la LPGA, au 1er janvier 2003, la procédure d'audition au sens de l'<ref-law> a été abrogée, tandis que la mise sur pied d'une expertise par l'office AI est régie par l'<ref-law>. Selon cette disposition, si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions.
3. 3.1 Selon l'art. 82 al. 1 première phrase LPGA, les dispositions matérielles de la loi ne sont pas applicables aux prestations en cours et aux créances fixées avant son entrée en vigueur. En revanche, les nouvelles prescriptions de procédure - à l'exception du droit procédural cantonal -, s'appliquent immédiatement, dès le jour de l'entrée en vigueur de la LPGA, faute de dispositions transitoires contraires (<ref-ruling> consid. 2.2 et les arrêts cités). Ce principe ne vaut toutefois pas lorsqu'il n'y a pas continuité entre l'ancien et le nouveau système juridique procédural et qu'avec le nouveau droit, des règles de procédure fondamentalement nouvelles ont été créées (<ref-ruling> consid. 3.2, 129 V 115 consid. 2.2, 112 V 360 consid. 4a).
3.2 Par rapport à la procédure d'instruction à laquelle sont soumis les offices AI, la LPGA n'a pas introduit de structure juridique entièrement nouvelle, de sorte que les nouvelles règles de procédure sont en principe immédiatement applicables au 1er janvier 2003. La continuité entre l'ancien et le nouveau système de droit de procédure et, partant, l'application immédiate et étendue de celui-ci doivent cependant être relativisées, dans la mesure où le nouveau droit ne s'applique pas à toutes les procédures pendantes au moment de l'entrée en vigueur de la LPGA. En ce qui concerne l'application des nouveautés de la LPGA en matière de procédure, il y a lieu de se fonder sur le moment où se pose la question litigieuse de procédure ou au moment où celle-ci est tranchée. Si l'objet du litige en ce sens survient avant le 1er janvier 2003, il doit être tranché à la lumière des anciennes dispositions. Une procédure administrative ouverte sous l'empire des anciennes normes continue donc son cours sous l'empire du nouveau droit, sans que les mesures déjà ordonnées, qui n'ont pas été contestées ou ne pouvaient pas être contestées jusqu'alors, doivent être répétées à nouveau selon les règles du nouveau droit. Réitérer une étape de la procédure achevée sous l'ancien droit - comme par exemple la mise sur pied d'une expertise médicale - reviendrait à appliquer rétroactivement le nouveau droit, en ce sens que des questions litigieuses seraient réglées d'après un droit qui n'était pas encore en vigueur au moment de leur survenance; cela contreviendrait au principe de la non rétroactivité des dispositions légales (arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749).
3.2 Par rapport à la procédure d'instruction à laquelle sont soumis les offices AI, la LPGA n'a pas introduit de structure juridique entièrement nouvelle, de sorte que les nouvelles règles de procédure sont en principe immédiatement applicables au 1er janvier 2003. La continuité entre l'ancien et le nouveau système de droit de procédure et, partant, l'application immédiate et étendue de celui-ci doivent cependant être relativisées, dans la mesure où le nouveau droit ne s'applique pas à toutes les procédures pendantes au moment de l'entrée en vigueur de la LPGA. En ce qui concerne l'application des nouveautés de la LPGA en matière de procédure, il y a lieu de se fonder sur le moment où se pose la question litigieuse de procédure ou au moment où celle-ci est tranchée. Si l'objet du litige en ce sens survient avant le 1er janvier 2003, il doit être tranché à la lumière des anciennes dispositions. Une procédure administrative ouverte sous l'empire des anciennes normes continue donc son cours sous l'empire du nouveau droit, sans que les mesures déjà ordonnées, qui n'ont pas été contestées ou ne pouvaient pas être contestées jusqu'alors, doivent être répétées à nouveau selon les règles du nouveau droit. Réitérer une étape de la procédure achevée sous l'ancien droit - comme par exemple la mise sur pied d'une expertise médicale - reviendrait à appliquer rétroactivement le nouveau droit, en ce sens que des questions litigieuses seraient réglées d'après un droit qui n'était pas encore en vigueur au moment de leur survenance; cela contreviendrait au principe de la non rétroactivité des dispositions légales (arrêt R. du 25 août 2004, I 570/03, résumé dans RJB 2004, p. 749).
4. 4.1 En été 2002, l'office intimé a chargé le docteur S._ d'une expertise. Après que le recourant a émis des objections à l'égard de la personne de l'expert, l'administration lui a répondu ne pas disposer d'éléments pour retirer sa confiance au médecin désigné. Répondant à la demande de récusation réitérée par le recourant, elle l'a invité à se rendre à la convocation du médecin et informé qu'en cas de refus elle pouvait statuer en l'état du dossier (courrier du 26 septembre 2002). Dans la communication du 25 juin 2003, l'office intimé a répété qu'il maintenait l'expertise prévue. Il n'a dès lors pas imposé de nouvelles obligations au recourant, ni n'est revenu sur la mise sur pied de l'expertise médicale. Dans ces circonstances, l'acte administratif du 26 septembre 2002, rendu conformément aux anciennes dispositions de procédure alors applicables, reste valable sans modification également après l'entrée en vigueur de la LPGA. Il ne devait donc pas être répété, ni revêtir une nouvelle forme pour être maintenu au-delà du 1er janvier 2003. La répétition de cet acte sous la forme d'une décision d'ordonnancement de la procédure en application des nouvelles prescriptions revient en fait à appliquer celles-ci de manière rétroactive, ce qui n'est pas admissible (consid. 3.2). Par conséquent, dans la mesure où la juridiction cantonale de recours a appliqué le nouveau droit à la prescription prise en été 2002 et confirmée le 26 septembre 2002, elle ne saurait être suivie. Même si l'office intimé a intitulé sa communication du 25 juin 2003 «décision suite à une demande de récusation», cet acte ne revêt pas le caractère d'une décision. Dès lors, faute de décision susceptible de recours, c'est à tort que les premiers juges sont entrés en matière sur l'écriture du 9 juillet 2003.
4.2 En application de l'<ref-law> (à nouveau en vigueur depuis le 1er janvier 2004; cf. aussi l'<ref-law>), l'office AI impartira un délai approprié au recourant pour se soumettre à l'expertise médicale ordonnée. Si celui-ci est désormais d'accord de donner suite à la convocation pour l'expertise, l'office AI se prononcera en temps voulu sur les objections de l'assuré, à savoir dans le cadre de la décision et de la décision sur opposition (cf. art. 49 al. 1 et 52 al. 1 LPGA). Dans le cas contraire, il se prononcera en l'état du dossier ou suspendra les éclaircissements et renoncera à entrer en matière.
4.2 En application de l'<ref-law> (à nouveau en vigueur depuis le 1er janvier 2004; cf. aussi l'<ref-law>), l'office AI impartira un délai approprié au recourant pour se soumettre à l'expertise médicale ordonnée. Si celui-ci est désormais d'accord de donner suite à la convocation pour l'expertise, l'office AI se prononcera en temps voulu sur les objections de l'assuré, à savoir dans le cadre de la décision et de la décision sur opposition (cf. art. 49 al. 1 et 52 al. 1 LPGA). Dans le cas contraire, il se prononcera en l'état du dossier ou suspendra les éclaircissements et renoncera à entrer en matière.
5. Etant donné le rapport étroit entre l'acte entrepris et l'examen du droit à une prestation d'assurance, il n'y a pas lieu de percevoir des frais de justice. La demande d'assistance judiciaire visant à la dispense de payer les émoluments de justice présentée par le recourant est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 24 mars 2004 est annulé et qu'il est constaté que le recours du 9 juillet 2003 est irrecevable.
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 24 mars 2004 est annulé et qu'il est constaté que le recours du 9 juillet 2003 est irrecevable.
2. ll n'est pas perçu de frais de justice.
2. ll n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 juin 2005
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: La Greffière: