Faits: Faits: A. A._, né le 30 avril 1959, a travaillé en qualité de machiniste-chauffeur de poids lourds au service de l'entreprise X._ SA. Souffrant du dos, il a été à l'arrêt de travail dès le 20 juin 1997. Le 6 mars 1998, il a présenté une demande de prestations de l'assurance-invalidité, en requérant l'allocation d'une rente. Par décision du 26 juin 2001, confirmant un projet de décision du 25 avril 2001, l'Office de l'assurance-invalidité pour le canton de Vaud a rejeté la demande, au motif que A._ présentait une invalidité de 35.46 %, taux ne donnant pas droit à une rente. Par décision du 26 juin 2001, confirmant un projet de décision du 25 avril 2001, l'Office de l'assurance-invalidité pour le canton de Vaud a rejeté la demande, au motif que A._ présentait une invalidité de 35.46 %, taux ne donnant pas droit à une rente. B. Dans un mémoire daté du 27 juillet 2001, A._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci et au renvoi de la cause à l'office AI pour qu'il mette en oeuvre une expertise psychologique et psychiatrique. A titre subsidiaire, il demandait à être mis au bénéfice d'une rente complète d'invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud, dans sa réponse du 24 septembre 2001, a conclu au rejet du recours. A._ a déposé ses observations dans un mémoire complémentaire du 7 mars 2002. De son côté, l'office AI, dans ses déterminations du 7 mai 2002, a proposé de faire examiner l'assuré par les psychiatres de son Service médical régional. Le Tribunal des assurances a confié une expertise médicale au docteur S._, spécialiste FMH en psychiatrie et psychothérapie. Ce médecin a déposé ses conclusions dans un rapport du 19 novembre 2002. Les parties ont eu la possibilité de déposer leurs observations. Sur requête de A._, qui a demandé à bénéficier de mesures professionnelles, celui-ci a effectué entre septembre 2003 et mai 2005 avec l'aide de l'assurance-invalidité une reconversion comme chef d'équipe dans le cadre de l'entreprise X._ SA (décision du 23 juillet 2003). Par lettre du 23 décembre 2005, A._, par son mandataire, a communiqué au Tribunal des assurances une décision de l'office AI du 15 décembre 2005, dont il ressort que sa réadaptation professionnelle était achevée et que le revenu qu'il réalisait en tant que chef de chantier excluait tout droit à la rente. Par jugement du 29 décembre 2005, le Président du Tribunal des assurances a prononcé que la cause était rayée du rôle (ch. I du dispositif), le recours étant devenu sans objet. Sous ch. II du dispositif, il a condamné l'office AI à verser à A._ la somme de 2'000 fr. à titre de dépens. Par jugement du 29 décembre 2005, le Président du Tribunal des assurances a prononcé que la cause était rayée du rôle (ch. I du dispositif), le recours étant devenu sans objet. Sous ch. II du dispositif, il a condamné l'office AI à verser à A._ la somme de 2'000 fr. à titre de dépens. C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours de droit administratif contre ce jugement, en concluant à l'annulation du chiffre II de son dispositif. A._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.