Faits:
Faits:
A. P._, né en 1949, a déposé le 30 juillet 2002 une demande de prestations AI tendant à l'octroi d'un reclassement dans une nouvelle profession. Procédant à l'instruction du dossier, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a versé au dossier plusieurs avis médicaux, dont une expertise psychiatrique du docteur B._, spécialiste FMH en psychiatrie et psychothérapie mandaté par Swica, assurance d'indemnités journalières pour perte de gain. Dans son rapport d'expertise du 30 décembre 2002, l'expert conclut à l'absence de troubles psychiques majeurs et à une capacité de travail entière dès le 11 décembre 2002.
Dans un rapport du 29 janvier 2003, les docteurs E._ et R._, respectivement chef de clinique et médecin assistant auprès de l'Hôpital psychiatrique X._, font état d'une réaction dépressive prolongée (F4321), consécutive au décès d'un enfant (Z634) et à des difficultés professionnelles (Z56). Selon ces médecins, l'assuré a présenté une incapacité de travail de 100 % du 31 août 2001 au 30 juin 2002, de 50 % du 1er juillet au 25 août 2002, de 100 % du 26 août au 31 décembre 2002 et de 80 % du 1er janvier au 28 février 2003.
Dans un nouveau rapport du 17 septembre 2003, ces médecins indiquent que l'assuré présente un état dépressif persistant (F33.00) depuis octobre 2001 et que très peu d'évolution a pu être observée au niveau du status depuis janvier 2003. Ils estiment la capacité de travail à 20 % du 1er janvier au 30 septembre 2003 dans l'ancienne activité de cuisinier, et à 50 % depuis le 1er mars 2003 dans une activité adaptée.
Le 6 février 2004, la doctoresse C._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant de l'assuré, a informé l'office AI de l'aggravation de l'état de santé de son patient. Dans un rapport du 25 mai 2004, elle a constaté que l'état psychologique de l'assuré restait précaire. Au vu de l'ancienneté et de l'intensité des troubles psychiatriques présentés par celui-ci, le pronostic était très réservé à moyen voire long terme quant à l'évolution de la capacité de travail. Elle ajoutait qu'une réadaptation professionnelle ne pouvait être envisagée car la symptomatologie dépressive sévère et ses retentissements neuropsychologiques ne permettaient pas à l'assuré d'effectuer et de maintenir une activité d'apprentissage, ce dernier ne pouvant faire face qu'à la gestion du quotidien. Elle concluait à une incapacité de travail de 100 % dans toute activité.
Le 8 mars 2005, la doctoresse C._ a fait état d'une nouvelle aggravation du trouble dépressif de l'assuré durant l'automne 2004, à la suite du décès de son frère.
Le 7 juin 2005, le docteur M._, médecin-conseil auprès du Service médical régional AI, a proposé de demander un complément d'expertise au docteur B._, afin que ce dernier se prononce sur l'évolution de l'état de santé de l'assuré et de sa capacité de travail depuis 2002. Le 10 juin 2005, l'office AI a avisé l'assuré de son intention de confier une expertise au docteur B._.
La doctoresse C._ et P._ se sont tous deux opposés à cette désignation. Pour sa part, la doctoresse C._ invoquait le fait que son patient s'était senti maltraité par le docteur B._. D'autre part, elle faisait valoir qu'en 2004, elle avait été en conflit avec son confrère B._, ce qui l'avait amenée à requérir l'intervention de la commission de déontologie de l'association des médecins genevois. De son côté, l'assuré affirmait avoir été totalement déstabilisé par l'attitude du docteur B._ au cours de leur premier entretien, ajoutant qu'il était à nouveau perturbé à l'idée de le rencontrer dans le cadre d'un nouvel examen médical.
Par décision incidente du 11 août 2005, l'office AI a rejeté la demande de récusation, sans frais.
Par décision incidente du 11 août 2005, l'office AI a rejeté la demande de récusation, sans frais.
B. Par jugement du 15 décembre 2005, le Tribunal des assurances du canton de Vaud a admis le recours formé par l'assuré le 9 septembre 2005, réformé la décision attaquée du 11 août 2005, en ce sens que l'expert B._ a été récusé, et renvoyé la cause à l'office AI pour qu'il nomme un nouvel expert et poursuive l'instruction.
B. Par jugement du 15 décembre 2005, le Tribunal des assurances du canton de Vaud a admis le recours formé par l'assuré le 9 septembre 2005, réformé la décision attaquée du 11 août 2005, en ce sens que l'expert B._ a été récusé, et renvoyé la cause à l'office AI pour qu'il nomme un nouvel expert et poursuive l'instruction.
C. L'office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation.
Sous suite de dépens, P._ conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; <ref-ruling> consid. 1.2).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; <ref-ruling> consid. 1.2).
2. Le litige porte sur la récusation de l'expert B._ mandaté par l'office AI.
2. Le litige porte sur la récusation de l'expert B._ mandaté par l'office AI.
3. 3.1 Vu la date de la demande de récusation, la présente procédure est soumise à la LPGA. Selon l'art. 43 de cette loi, l'assureur examine les demandes, prend d'office les mesures d'instruction nécessaires et recueille les renseignements dont il a besoin (al. 1). L'assuré doit se soumettre à des examens médicaux ou techniques si ceux-ci sont nécessaires à l'appréciation du cas et qu'ils peuvent être raisonnablement exigés (al. 2). Si l'assureur doit recourir aux services d'un expert indépendant pour élucider les faits, il donne connaissance du nom de celui-ci aux parties. Celles-ci peuvent récuser l'expert pour des raisons pertinentes et présenter des contre-propositions (art. 44 LPGA).
L'acte par lequel l'assureur social ordonne une expertise n'a pas le caractère de décision au sens de l'art. 49 LPGA et intervient sous la forme d'une communication (<ref-ruling> consid. 5). En revanche, lorsque l'assuré, dans le cadre des droits conférés par l'art. 44 LPGA, fait valoir des motifs de récusation au sens des art. 36 al. 1 LPGA et 10 PA (cf. infra consid. 3.2) - dispositions relatives à la récusation des personnes appelées à préparer ou prendre des décisions, applicables mutatis mutandis -, l'administration doit rendre une décision directement soumise à recours (<ref-ruling> consid. 6). Une telle décision portant sur la récusation d'un expert peut, ainsi que l'a déjà jugé le Tribunal, être attaquée séparément par la voie du recours de droit administratif dès lors qu'elle est susceptible de causer un préjudice irréparable (VSI 1998 p. 128, consid. 1 et les références). L'entrée en vigueur de la LPGA n'a apporté à cet égard aucun changement (<ref-ruling> consid. 6.3).
3.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'ATF précité (voir aussi l'arrêt A. du 14 mars 2006 [I 14/04]), de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. art. 10 PA et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de méfiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999 [1P.553/1999]).
3.2 En matière de récusation, il convient toutefois, comme l'a rappelé et précisé la Cour de céans au consid. 6.5. de l'ATF précité (voir aussi l'arrêt A. du 14 mars 2006 [I 14/04]), de distinguer entre les motifs formels et les motifs matériels. Les motifs de récusation qui sont énoncés dans la loi (cf. art. 10 PA et 36 al. 1 LPGA) sont de nature formelle parce qu'ils sont propres à éveiller la méfiance à l'égard de l'impartialité de l'expert. Les motifs de nature matérielle, qui peuvent également être dirigés contre la personne de l'expert, ne mettent en revanche pas en cause son impartialité. De tels motifs doivent en principe être examinés avec la décision sur le fond dans le cadre de l'appréciation des preuves. Il en va ainsi, par exemple, d'une prétendue incompétence de l'expert à raison de la matière laquelle ne saurait constituer comme telle un motif de méfiance quant à l'impartialité de ce dernier. Bien au contraire, ce grief devra être examiné dans le cadre de l'appréciation des preuves (cf. à ce sujet arrêt D. du 30 novembre 1999 [1P.553/1999]).
4. 4.1 Un expert passe pour prévenu lorsqu'il existe des circonstances propres à faire naître un doute sur son impartialité. Dans ce domaine, il s'agit toutefois d'un état intérieur dont la preuve est difficile à rapporter. C'est pourquoi il n'est pas nécessaire de prouver que la prévention est effective pour récuser un expert. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale de l'expert. L'appréciation de ces circonstances ne peut pas reposer sur les seules impressions de l'expertisé. La méfiance à l'égard de l'expert doit au contraire apparaître comme fondée sur des éléments objectifs (cf. RAMA 1999 n° U 332 p. 193 consid. 2a et les références).
4.2 Le demande de récusation de l'expert B._ se fonde sur les allégués suivants. Tout d'abord, l'intimé fait valoir que l'expert a omis de mentionner, dans son expertise du 30 décembre 2002, un état dépressif survenu en 1984. Puis il reproche à l'expert une attitude aggressive au cours de l'entretien qu'il a eu avec ce dernier. Enfin, l'intimé invoque un conflit entre son médecin traitant et l'expert B._.
4.2 Le demande de récusation de l'expert B._ se fonde sur les allégués suivants. Tout d'abord, l'intimé fait valoir que l'expert a omis de mentionner, dans son expertise du 30 décembre 2002, un état dépressif survenu en 1984. Puis il reproche à l'expert une attitude aggressive au cours de l'entretien qu'il a eu avec ce dernier. Enfin, l'intimé invoque un conflit entre son médecin traitant et l'expert B._.
5. 5.1 Les premiers juges ont retenu qu'à la lecture de l'expertise du 30 décembre 2002, en particulier de certaines considérations contenues aux pages 9 à 11, il y avait lieu de constater que l'expert n'avait accordé aucune crédibilité aux dires de l'intimé, ce qui faisait supposer un malaise profond de ce dernier face à l'attitude de l'expert à son égard. A cela s'ajoutait le fait que l'expert avait tu un état dépressif survenu en 1984. Au vu de ces circonstances, la juridiction cantonale a conclu qu'on ne pouvait exclure que lors de l'entretien l'expert ait eu une attitude inadéquate vis-à-vis de l'assuré, provoquant chez ce dernier le sentiment d'une agressivité et d'une dévalorisation de la part de l'expert.
5.2 Contrairement à ce qu'ont retenu les premiers juges, on ne voit pas en quoi la lacune dans l'anamnèse concernant un état dépressif survenu en 1984 et les propos contenus en pages 9 à 11 de l'expertise seraient de nature à jeter un doute sur l'impartialité de l'expert. Dans ce domaine, la jurisprudence exige des faits qui justifient objectivement la méfiance. Celle-ci ne saurait reposer sur le seul sentiment subjectif d'une partie; un tel sentiment ne peut être pris en considération que s'il est fondé sur des faits concrets et si ces derniers sont, en eux-mêmes, propres à justifier objectivement et raisonnablement un tel sentiment chez une personne réagissant normalement. L'omission dans l'anamnèse et les conclusions parfois hâtives de l'expert au sujet de l'attitude de l'assuré pouvaient dès lors être ressenties, objectivement, comme un manque de professionnalisme de la part du médecin ou une erreur d'appréciation: elle ne dénotait pas encore de la part de l'expert un sentiment d'animosité de nature à fonder objectivement un doute sur son impartialité.
Quant au fait que l'expert B._ se trouvait dans une situation conflictuelle avec le médecin traitant de l'intimé - qui ne concernait pas l'intimé et qui était sans rapport avec la présente cause - , il ne constitue pas non plus une circonstance de nature à fonder objectivement un soupçon de partialité.
Dès lors qu'en l'espèce, les motifs de récusation soulevés visent la crédibilité et le caractère probant de l'expertise que le docteur B._ sera appelé à rendre et non un motif formel lié à l'impartialité de l'expert, il n'appartient pas à l'administration de rendre une décision sur ce point, sa « décision incidente » (du 11 août 2005) devant être considérée comme une simple communication. Partant, c'est à tort que la juridiction cantonale est entrée en matière sur le « recours » déposé le 9 septembre 2005 par l'assuré. Le grief invoqué devra en effet être examiné par l'administration, puis l'autorité cantonale de recours et, le cas échéant, la Cour de céans, au moment de se prononcer sur la décision sur le fond dans le cadre de l'appréciation des preuves (supra consid. 3.2).
Il s'ensuit que le recours est bien fondé.
Il s'ensuit que le recours est bien fondé.
6. Etant donné le rapport étroit entre la désignation d'un expert et l'examen du droit à la prestation d'assurance, il n'y a pas lieu de percevoir des frais de justice (art. 134 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud, du 15 décembre 2005, est réformé en ce sens que le recours du 9 septembre 2005 est déclaré irrecevable.
1. Le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud, du 15 décembre 2005, est réformé en ce sens que le recours du 9 septembre 2005 est déclaré irrecevable.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 février 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière: