Faits: A. Dans une communication du 26 juillet 2012, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a informé A._ qu'une expertise neurologique était nécessaire afin de clarifier son droit à des prestations de l'assurance-invalidité. Le docteur H._, spécialiste FMH en neurologie, était ainsi mandaté pour effectuer l'expertise. Par lettres des 9 et 28 août 2012, A._ a émis toutes réserves en ce qui concerne la désignation du docteur H._ en qualité d'expert. Il proposait que le docteur B._ soit désigné en cette qualité. Par décision incidente du 13 septembre 2012, l'office AI, rejetant les motifs de récusation invoqués par A._, a maintenu l'expertise envisagée auprès du docteur H._. B. A._ a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant, sous suite de frais et dépens, à son annulation. Il invitait le tribunal à ordonner que l'expertise soit confiée au docteur B._ ou, à défaut, aux docteurs R._ ou N._. L'office AI a conclu au rejet du recours. A._ a déposé ses observations, en requérant du tribunal qu'il statue préjudiciellement sur la question d'une nouvelle expertise. La juridiction cantonale a tenu audience le 5 mars 2013, au cours de laquelle une tentative de conciliation n'a pas abouti. Par arrêt du 13 mai 2013, elle a rejeté le recours. C. A._ interjette un recours contre ce jugement, en concluant, sous suite de frais et dépens, à son annulation. Il demande que le dossier soit renvoyé à l'Office de l'assurance-invalidité pour le canton de Vaud pour nouvelle instruction et nouvelle décision dans le sens des considérants.