Faits: Faits: A. P._, né en 1949, a déposé le 30 juillet 2002 une demande de prestations AI tendant à l'octroi d'un reclassement dans une nouvelle profession. Procédant à l'instruction du dossier, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a versé au dossier plusieurs avis médicaux, dont une expertise psychiatrique du docteur B._, spécialiste FMH en psychiatrie et psychothérapie mandaté par Swica, assurance d'indemnités journalières pour perte de gain. Dans son rapport d'expertise du 30 décembre 2002, l'expert conclut à l'absence de troubles psychiques majeurs et à une capacité de travail entière dès le 11 décembre 2002. Dans un rapport du 29 janvier 2003, les docteurs E._ et R._, respectivement chef de clinique et médecin assistant auprès de l'Hôpital psychiatrique X._, font état d'une réaction dépressive prolongée (F4321), consécutive au décès d'un enfant (Z634) et à des difficultés professionnelles (Z56). Selon ces médecins, l'assuré a présenté une incapacité de travail de 100 % du 31 août 2001 au 30 juin 2002, de 50 % du 1er juillet au 25 août 2002, de 100 % du 26 août au 31 décembre 2002 et de 80 % du 1er janvier au 28 février 2003. Dans un nouveau rapport du 17 septembre 2003, ces médecins indiquent que l'assuré présente un état dépressif persistant (F33.00) depuis octobre 2001 et que très peu d'évolution a pu être observée au niveau du status depuis janvier 2003. Ils estiment la capacité de travail à 20 % du 1er janvier au 30 septembre 2003 dans l'ancienne activité de cuisinier, et à 50 % depuis le 1er mars 2003 dans une activité adaptée. Le 6 février 2004, la doctoresse C._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant de l'assuré, a informé l'office AI de l'aggravation de l'état de santé de son patient. Dans un rapport du 25 mai 2004, elle a constaté que l'état psychologique de l'assuré restait précaire. Au vu de l'ancienneté et de l'intensité des troubles psychiatriques présentés par celui-ci, le pronostic était très réservé à moyen voire long terme quant à l'évolution de la capacité de travail. Elle ajoutait qu'une réadaptation professionnelle ne pouvait être envisagée car la symptomatologie dépressive sévère et ses retentissements neuropsychologiques ne permettaient pas à l'assuré d'effectuer et de maintenir une activité d'apprentissage, ce dernier ne pouvant faire face qu'à la gestion du quotidien. Elle concluait à une incapacité de travail de 100 % dans toute activité. Le 8 mars 2005, la doctoresse C._ a fait état d'une nouvelle aggravation du trouble dépressif de l'assuré durant l'automne 2004, à la suite du décès de son frère. Le 7 juin 2005, le docteur M._, médecin-conseil auprès du Service médical régional AI, a proposé de demander un complément d'expertise au docteur B._, afin que ce dernier se prononce sur l'évolution de l'état de santé de l'assuré et de sa capacité de travail depuis 2002. Le 10 juin 2005, l'office AI a avisé l'assuré de son intention de confier une expertise au docteur B._. La doctoresse C._ et P._ se sont tous deux opposés à cette désignation. Pour sa part, la doctoresse C._ invoquait le fait que son patient s'était senti maltraité par le docteur B._. D'autre part, elle faisait valoir qu'en 2004, elle avait été en conflit avec son confrère B._, ce qui l'avait amenée à requérir l'intervention de la commission de déontologie de l'association des médecins genevois. De son côté, l'assuré affirmait avoir été totalement déstabilisé par l'attitude du docteur B._ au cours de leur premier entretien, ajoutant qu'il était à nouveau perturbé à l'idée de le rencontrer dans le cadre d'un nouvel examen médical. Par décision incidente du 11 août 2005, l'office AI a rejeté la demande de récusation, sans frais. Par décision incidente du 11 août 2005, l'office AI a rejeté la demande de récusation, sans frais. B. Par jugement du 15 décembre 2005, le Tribunal des assurances du canton de Vaud a admis le recours formé par l'assuré le 9 septembre 2005, réformé la décision attaquée du 11 août 2005, en ce sens que l'expert B._ a été récusé, et renvoyé la cause à l'office AI pour qu'il nomme un nouvel expert et poursuive l'instruction. B. Par jugement du 15 décembre 2005, le Tribunal des assurances du canton de Vaud a admis le recours formé par l'assuré le 9 septembre 2005, réformé la décision attaquée du 11 août 2005, en ce sens que l'expert B._ a été récusé, et renvoyé la cause à l'office AI pour qu'il nomme un nouvel expert et poursuive l'instruction. C. L'office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de dépens, P._ conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.