Faits: Faits: A. S._, né en 1950, travaillait comme ouvrier pour le compte de l'entreprise X._ SA. Dès le 24 février 1998, le prénommé s'est retrouvé en incapacité de travail totale en raison d'un épuisement somatique global avec troubles vitaminiques massifs. Le 2 septembre 1998, il a présenté une demande de prestations de l'assurance-invalidité, tendant à l'octroi d'une rente. Procédant à l'instruction de la cause, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a requis l'avis de la doctoresse V._, médecin-traitant de l'assuré (rapport du 13 janvier 1999) et fait verser au dossier deux rapports d'expertise établis à l'intention de la Caisse-maladie suisse pour les industries du bois et du bâtiment et branches annexes (CMBB), assureur perte de gain en cas de maladie. Selon les docteurs F._, spécialiste en médecine interne, endocrinologie et diabétologie (rapport du 27 mai 1999), et M._, spécialiste en psychiatrie (rapport du 8 octobre 1999), l'assuré disposait d'une capacité de travail entière et était apte à reprendre une activité lucrative. Dans un projet de décision du 20 janvier 2000, l'office AI a informé l'assuré qu'il entendait rejeter la demande de prestations. S._ a alors produit un rapport d'expertise du docteur O._, spécialiste en neurologie. Selon ce médecin, l'assuré souffrait d'un syndrome douloureux chronique de type fibromyalgique, de troubles de l'adaptation et de troubles fonctionnels à l'examen somatique; la capacité résiduelle de travail s'élevait à 50 % (rapport du 2 août 2000). Par décision du 2 novembre 2000, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait aucune atteinte à la santé qui pouvait justifier une incapacité de travail. Par décision du 2 novembre 2000, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait aucune atteinte à la santé qui pouvait justifier une incapacité de travail. B. Saisi d'un recours de S._ contre cette décision, le Tribunal des assurances du canton de Vaud a chargé la doctoresse D._ d'une expertise psychiatrique. Dans son rapport rendu le 28 novembre 2002, ce médecin a fait état d'un trouble douloureux somatoforme persistant, d'un épisode dépressif moyen et d'un état de stress post-traumatique. Ces affections entraînaient une incapacité de travail de 70 % depuis le 28 avril 1998 et de 100 % depuis août 1999. Par jugement du 29 avril 2004, notifié le 10 novembre suivant, la juridiction cantonale a admis le recours et accordé à l'assuré une rente entière d'invalidité à partir du 1er avril 1999. Par jugement du 29 avril 2004, notifié le 10 novembre suivant, la juridiction cantonale a admis le recours et accordé à l'assuré une rente entière d'invalidité à partir du 1er avril 1999. C. L'office AI interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. S._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales en propose l'admission.