Faits: Faits: A. A.a A._, plâtrier-peintre né en 1952 et domicilié à B._, a présenté une demande de prestations de l'assurance-invalidité, le 4 septembre 2000, en invoquant souffrir de douleurs dorsales. Considérant au terme de son instruction que le degré d'invalidité présenté par le prénommé était de 11 %, l'Office cantonal AI du Valais (ci-après: l'Office AI) lui a refusé aussi bien une rente qu'un reclassement professionnel (décision du 30 octobre 2001). Saisi d'un recours formé par l'assuré contre cette décision, le Tribunal des assurances du canton du Valais l'a rejeté par jugement du 18 février 2003; il a par ailleurs transmis le dossier à l'Office AI pour qu'il se prononce sur une nouvelle demande de l'assuré au vu d'un rapport rendu le 2 juillet 2002 par les médecins des Institutions psychiatriques de X._ et versé en cours de procédure. A.b Considérant que l'assuré avait rendu plausible une aggravation de son état de santé, mais que les renseignements médicaux à disposition étaient insuffisants, l'Office AI a confié une expertise psychiatrique au docteur Y._, spécialiste en psychiatrie et psychothérapie à C._. Le mandataire de l'assuré en a été informé par communication du 3 septembre 2003. Dans le délai utile, le mandataire de l'assuré s'est opposé à la désignation du docteur Y._ comme expert en invoquant, d'une part, le fait que ce médecin ne possédait pas les compétences professionnelles requises pour procéder à cette expertise et, d'autre part, que le praticien ne pouvait être considéré comme indépendant au vu du nombre d'expertises qu'il réalisait à la demande de l'assurance-invalidité. Par décision du 19 septembre 2003, l'Office AI a rejeté la demande de récusation présentée, sans frais. Par décision du 19 septembre 2003, l'Office AI a rejeté la demande de récusation présentée, sans frais. B. A._ a déféré cette décision au Tribunal des assurances du canton du Valais qui l'a débouté par jugement du 15 décembre 2003. B. A._ a déféré cette décision au Tribunal des assurances du canton du Valais qui l'a débouté par jugement du 15 décembre 2003. C. L'intéressé interjette recours de droit administratif contre ce jugement. Sous suite de dépens, il conclut à son annulation et au renvoi du dossier à l'administration pour désignation d'un nouvel expert. L'Office AI a conclu au rejet du recours, alors que l'Office fédéral des assurances sociales n'a pas présenté d'observations.