Faits: Faits: A. M._, né en 1962, a travaillé en qualité de buraliste postal depuis le 2 octobre 1978. Le 11 octobre 1996, il a subi un accident de la circulation (collision frontale avec un véhicule de police). Le 20 novembre 1997, il a déposé une demande de prestations de l'assurance-invalidité. Son médecin traitant, le docteur K._, a mentionné diverses incapacités de travail consécutives à cet accident, attribuables à une fracture-luxation du pied droit, un état anxio-dépressif réactionnel, des lombalgies et pseudosciatique gauche (rapport du 15 janvier 1998). Par décision du 9 mars 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (OAI) lui a alloué une demi-rente AI, assortie de rentes complémentaires pour son épouse et ses deux enfants, du 1er octobre 1997 au 31 août 1998. Cette décision n'a pas été attaquée. Le 20 avril 2000, l'assuré a été victime d'un nouvel accident: il a reçu une canne de golf dans la joue gauche, en pratiquant ce sport. Son médecin traitant, le docteur K._ a attesté une incapacité de travail de 100 % dès le 25 avril 2000 jusqu'au 10 mai 2000 (rapport du 6 juin 2000) et à nouveau dès le 13 juin 2000 pour des troubles maladifs (dépression et situation familiale très difficile). Le 7 juillet 2000, le docteur R._, médecin-chef du Centre X._, a diagnostiqué des rachialgies sur troubles statiques par rectitude globale, status après accidents par mécanisme de whip-lash en 1996 et à Pâques 2000 avec composante post-contusionnelle. Dans un rapport du 30 août 2000, le médecin traitant, pour sa part, a attribué les lombalgies de son patient à des troubles transitionnels et à une surcharge pondérale; les douleurs et l'état anxio-dépressif s'étaient aggravés par la détérioration de la situation conjugale qui a abouti à un divorce; la reprise du travail dépendait essentiellement du status psychique; l'état dépressif avec trouble de la concentration rendait l'assuré inapte au travail. Le 1er septembre 2000, les docteurs D._ et V._, respectivement médecin adjoint et médecin assistante au Département universitaire de psychiatrie Y._ du Centre de consultation psychiatrique et psychothérapique Z._, ont fait état d'un trouble de l'adaptation, réaction dépressive prolongée (F43.21, diagnostic principal) et de troubles mixtes de la personnalité, borderline et paranoïaque (F61.0, diagnostic de comorbidité). A la suite de trois entretiens, la symptomatologie dépressive de l'assuré a disparu, sans médication et sans nécessité de suivi spécialisé. Le 13 octobre 2000, M._ a déposé une nouvelle demande de prestations AI, tendant à l'octroi de mesures de reclassement dans une nouvelle profession. Dans un rapport du 30 octobre 2000, le docteur K._ a indiqué que son patient était totalement incapable de travailler depuis le 10 mai 2000 et qu'il présentait, notamment, un état anxieux dépressif (borderline, immature) avec somatisations anxieuses et totalgies. Dans un rapport du 10 décembre 2001, les docteurs P._ et I._ du Service médical régional AI (SMR) ont conclu que l'assuré ne présentait pas d'atteinte à la santé au sens de la LAI et qu'il possédait une capacité de travail exigible de 100 %, dans son poste de buraliste qui devrait pouvoir lui être réattribué. Par décision du 9 janvier 2002, l'OAI a rejeté la demande de prestations. Par décision du 9 janvier 2002, l'OAI a rejeté la demande de prestations. B. M._ a saisi le Tribunal des assurances du canton de Vaud d'un recours contre cette décision, en concluant au renvoi de la cause à l'OAI pour instruction complémentaire et nouvelle décision. En procédure, il a déposé deux rapports médicaux, l'un de son médecin traitant du 27 février 2002 et l'autre du 8 avril 2002 du docteur F._, médecin associé au Service d'orthopédie et de traumatologie de l'appareil moteur, à l'hôpital W._. Pour part, la juridiction cantonale a interpellé le docteur D._, médecin-chef du Département universitaire de psychiatrie Y._. Au vu de la complexité de la situation, ce dernier a choisi de rendre une expertise, co-signée par la doctoresse T._, médecin assistante. Il en ressort que l'assuré présente un état de stress post-traumatique en rémission partielle (F.43.1), un trouble de l'adaptation avec humeur dépressive en rémission complète (F. 43.20) et un trouble somatoforme indifférencié (300.81). L'incapacité de travail est de 70 % dans l'activité de buraliste postal compte tenu d'une diminution des aptitudes physiques liées au trouble somatoforme et des troubles de la concentration. Dans une activité adaptée, exempte de charges physiques avec un horaire souple, la capacité de travail est de 50 % (appréciation du 30 mai 2003). Par jugement du 20 août 2003, le Tribunal des assurances a fait siennes les conclusions de l'expertise, admis le recours et renvoyé la cause à l'OAI pour qu'il examine le cas sous l'angle des mesures de réadaptation professionnelle et rende une nouvelle décision. Par jugement du 20 août 2003, le Tribunal des assurances a fait siennes les conclusions de l'expertise, admis le recours et renvoyé la cause à l'OAI pour qu'il examine le cas sous l'angle des mesures de réadaptation professionnelle et rende une nouvelle décision. C. L'OAI interjette recours de droit administratif contre ce jugement dont il demande l'annulation en concluant au renvoi de la cause à l'administration, afin qu'elle organise une expertise et rende une nouvelle décision. L'intimé conclut au rejet du recours, sous suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations.