Faits:
Faits:
A. A.a A._, plâtrier-peintre né en 1952 et domicilié à B._, a présenté une demande de prestations de l'assurance-invalidité, le 4 septembre 2000, en invoquant souffrir de douleurs dorsales. Considérant au terme de son instruction que le degré d'invalidité présenté par le prénommé était de 11 %, l'Office cantonal AI du Valais (ci-après: l'Office AI) lui a refusé aussi bien une rente qu'un reclassement professionnel (décision du 30 octobre 2001). Saisi d'un recours formé par l'assuré contre cette décision, le Tribunal des assurances du canton du Valais l'a rejeté par jugement du 18 février 2003; il a par ailleurs transmis le dossier à l'Office AI pour qu'il se prononce sur une nouvelle demande de l'assuré au vu d'un rapport rendu le 2 juillet 2002 par les médecins des Institutions psychiatriques de X._ et versé en cours de procédure.
A.b Considérant que l'assuré avait rendu plausible une aggravation de son état de santé, mais que les renseignements médicaux à disposition étaient insuffisants, l'Office AI a confié une expertise psychiatrique au docteur Y._, spécialiste en psychiatrie et psychothérapie à C._. Le mandataire de l'assuré en a été informé par communication du 3 septembre 2003.
Dans le délai utile, le mandataire de l'assuré s'est opposé à la désignation du docteur Y._ comme expert en invoquant, d'une part, le fait que ce médecin ne possédait pas les compétences professionnelles requises pour procéder à cette expertise et, d'autre part, que le praticien ne pouvait être considéré comme indépendant au vu du nombre d'expertises qu'il réalisait à la demande de l'assurance-invalidité.
Par décision du 19 septembre 2003, l'Office AI a rejeté la demande de récusation présentée, sans frais.
Par décision du 19 septembre 2003, l'Office AI a rejeté la demande de récusation présentée, sans frais.
B. A._ a déféré cette décision au Tribunal des assurances du canton du Valais qui l'a débouté par jugement du 15 décembre 2003.
B. A._ a déféré cette décision au Tribunal des assurances du canton du Valais qui l'a débouté par jugement du 15 décembre 2003.
C. L'intéressé interjette recours de droit administratif contre ce jugement. Sous suite de dépens, il conclut à son annulation et au renvoi du dossier à l'administration pour désignation d'un nouvel expert.
L'Office AI a conclu au rejet du recours, alors que l'Office fédéral des assurances sociales n'a pas présenté d'observations.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur la récusation de l'expert Y._ mandaté par l'Office AI du canton du Valais.
1. Le litige porte sur la récusation de l'expert Y._ mandaté par l'Office AI du canton du Valais.
2. 2.1 Initiée en 2003 à la suite de la nouvelle demande de l'assuré, la présente procédure est soumise à la LPGA. Selon l'art. 43 de cette loi, l'assureur examine les demandes, prend d'office les mesures d'instruction nécessaires et recueille les renseignements dont il a besoin (al. 1). L'assuré doit se soumettre à des examens médicaux ou techniques si ceux-ci sont nécessaires à l'appréciation du cas et qu'ils peuvent être raisonnablement exigés (al. 2). Si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions (<ref-law>).
L'acte par lequel l'assureur social ordonne une expertise n'a pas le caractère de décision au sens de l'<ref-law> et intervient sous la forme d'une communication (arrêt B. du 8 février 2006, I 745/03, destiné à la publication au Recueil officiel, consid. 5). En revanche, lorsque l'assuré, dans le cadre des droits conférés par l'<ref-law>, fait valoir des motifs de récusation au sens des <ref-law> et 10 PA (cf. infra consid. 2.2) - dispositions relatives à la récusation des personnes appelées à préparer ou prendre des décisions, applicables mutatis mutandis -, l'administration doit rendre une décision directement soumise à recours (arrêt B., précité, consid. 6). Une telle décision portant sur la récusation d'un expert peut, ainsi que l'a déjà jugé le Tribunal fédéral des assurances, être attaquée séparément par la voie du recours de droit administratif dès lors qu'elle est susceptible de causer un préjudice irréparable (VSI 1998 p. 128, consid. 1 et les références). L'entrée en vigueur de la LPGA n'a apporté à cet égard aucun changement (arrêt B., précité, consid. 6.3).
2.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'arrêt B. précité, de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. <ref-law> et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de défiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999, 1P.553/1999).
2.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'arrêt B. précité, de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. <ref-law> et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de défiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999, 1P.553/1999).
3. 3.1 Le recourant conteste avant tout la compétence professionnelle du docteur Y._ d'agir comme expert, dans la mesure où il met en doute la qualification professionnelle du médecin en se référant à «la dénonciation d'incompétence du docteur Y._ par 33 de ses confrères», telle que relatée dans la presse romande en juillet 2002 et 2003.
Il s'agit en l'espèce d'un motif matériel de récusation qui vise la crédibilité et le caractère probant de l'expertise que le docteur Y._ sera appelé à rendre et non d'un motif formel lié à l'impartialité de l'expert. Il n'appartient dès lors pas au Tribunal fédéral des assurances de se prononcer sur ce grief qui devra être examiné par l'administration, puis l'autorité cantonale de recours et, cas échéant, la Cour de céans, au moment de se prononcer sur la décision sur le fond dans le cadre de l'appréciation des preuves (supra consid. 2.2). Au demeurant, aussi bien l'acte par lequel est ordonnée une expertise que le refus d'administrer des preuves (sous réserve du risque de perdre des moyens pertinents) ne sont pas propres à entraîner un préjudice irréparable (<ref-ruling>, 98 Ib 286 sv; Pierre Moor, Droit administratif, vol. II: Les actes administratifs et leur contrôle, 2ème édition, Berne 2002, p. 579 n° 5.4.2.3, Grisel, Traité de droit administratif, Neuchâtel 1984, p. 871; Gygi, Bundesverwaltungsrechtspflege, 2ème édition, Berne 1983, p. 142; RJAM 1975 no 232 p. 197).
En conséquence, il n'y a pas lieu d'entrer en matière, à ce stade de la procédure, sur le grief invoqué.
3.2 Le recourant semble encore critiquer l'attitude qu'aurait eue l'expert Y._ avec des personnes expertisées, tout en reprochant à l'Office AI de recourir très régulièrement aux services de l'expert.
3.2.1 Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation des circonstances ne peut pas reposer sur les seules impressions de l'expertisé, la méfiance à l'égard de l'expert devant au contraire apparaître comme fondée sur des éléments objectifs (<ref-ruling> sv. consid. 3b/ee, 123 V 176 consid. 3d et l'arrêt cité; VSI 2001 p. 109 sv. consid. 3b/ee; RAMA 1999 n° U 332 p. 193 consid. 2a/bb et les références).
3.2.2 Le docteur Y._ est un psychiatre indépendant établi à C._. Le fait allégué par le recourant que ce médecin serait chargé régulièrement par les organes de l'assurance-invalidité d'établir des expertises ne constitue pas à lui seul un motif suffisant pour conclure au manque d'objectivité et à la partialité de l'expert (RAMA 1999 n° U 332 p. 193 consid. 2a; arrêt F. du 14 juin 2000, I 218/00). Dans son activité, le docteur Y._ est ainsi objectivement indépendant des parties en cause.
En réalité, le recourant vise l'impartialité subjective de l'expert, qu'il dénie à ce médecin en raison de l'attitude qu'il aurait avec les expertisés. Comme cette impartialité se présume jusqu'à preuve du contraire (Auer/Malinverni/Hottelier, Droit constitutionnel suisse, vol. II: Les droits fondamentaux, Berne 2000, p. 579 ch. 1205), il ne suffisait pas au recourant d'alléguer une prétendue partialité, mais il lui incombait d'en établir la preuve contraire, ce qu'il n'a pas fait.
Au demeurant, à supposer que ce fait soit établi, rien ne permettrait d'en déduire une prévention générale aussi bien à l'égard de tous les assurés, faute de connaître tous les avis médicaux de ce médecin - y compris évidemment ceux dits favorables -, qu'à l'égard du recourant en particulier dans l'expertise à venir.
Le second grief soulevé par le recourant doit dès lors être rejeté.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est rejeté.
1. Dans la mesure où il est recevable, le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 14 mars 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IIIe Chambre: La Greffière: