A.- D._, né le 21 juin 1963, a travaillé en Suisse comme ouvrier marbrier depuis 1990. Souffrant de douleurs dorsales, il a cessé cette activité en mai 1995.
Le 20 novembre de la même année, il a déposé une demande de prestations de l'assurance-invalidité, tendant à l'octroi d'une rente et de mesures d'ordre professionnel.
Dans le cadre de l'instruction de cette demande, l'assuré a suivi un stage au Centre d'observation professionnelle de l'AI (COPAI), à G._, du 20 janvier au 7 mars 1997. Il a, par ailleurs, été soumis à une expertise psychiatrique réalisée par les docteurs P._ et C._ de l'Hôpital X._.
Par décision du 29 septembre 1999, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) a rejeté la demande de prestations au motif que le degré d'invalidité de l'assuré (28 %) était insuffisant pour ouvrir le droit à une rente. Cette décision indiquait encore : "toutefois, les collaborateurs de notre division de réadaptation se tiennent à votre disposition, s'agissant d'une démarche d'aide au placement ou du financement d'une mesure de réentraînement au travail orientée sur les professions susmentionnées".
B.- Par jugement du 21 décembre 2000, le Tribunal des assurances du canton de Vaud a admis le recours formé contre cette décision par D._ et ordonné à l'office de procéder à des mesures de réadaptation professionnelle consistant, dans un premier temps, en une prise en charge psychiatrique, puis dans un reclassement professionnel.
C.- L'office recourt contre ce jugement. Il conclut à son annulation et à la confirmation de sa décision du 29 septembre 1999.
L'intimé conclut au rejet du recours. L'office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.- Au regard des conclusions du recourant et des déterminations de l'intimé, le degré de l'invalidité de ce dernier, qui ne lui donne pas droit à une rente, n'est plus litigieux (<ref-ruling> consid. 2a). Seul doit encore être examiné le droit à des mesures de réadaptation.
2.- a) Selon l'<ref-law>, les assurés invalides ou menacés d'une invalidité imminente ont droit aux mesures de réadaptation qui sont nécessaires et de nature à rétablir leur capacité de gain, à l'améliorer, à la sauvegarder ou à en favoriser l'usage. Ce droit est déterminé en fonction de toute la durée d'activité probable.
Les mesures de réadaptation comprennent notamment des mesures médicales et des mesures d'ordre professionnel (orientation professionnelle, formation professionnelle initiale, reclassement professionnel, service de placement) (art. 8 al. 3 let. a et b LAI).
b) A teneur de l'<ref-law>, l'assuré a droit aux mesures médicales qui n'ont pas pour objet le traitement de l'affection comme telle, mais sont directement nécessaires à la réadaptation professionnelle et sont de nature à améliorer de façon durable et importante la capacité de gain ou à la préserver d'une diminution notable.
Il a, par ailleurs, droit au reclassement dans une nouvelle profession conformément à l'<ref-law> si son invalidité rend nécessaire le reclassement et si sa capacité de gain peut ainsi, selon toute vraisemblance, être sauvegardée ou améliorée de manière notable. A ce titre ne peuvent en revanche être prises en charge ni les mesures médicales qui ne remplissent pas les conditions de l'<ref-law> (VSI 2000 229; RCC 1983 480), ni les mesures de réhabilitation socio-professionnelles visant l'accoutumance au travail, l'intensification de la motivation ainsi que la stabilisation de la personnalité, et qui ont pour objectif principal d'acquérir l'aptitude à la réadaptation (RCC 1992 386 consid. 2b).
3.- a) En l'espèce, le recourant soutient, d'une part, que les mesures d'ordre professionnel préconisées par les premiers juges sont de simples mesures socio-professionnelles ayant pour objectif principal d'affermir l'aptitude à la réadaptation de l'assuré et qu'elles ne constituent donc pas des mesures de reclassement professionnel au sens de l'<ref-law>. Il soutient, d'autre part, que la capacité de gain de l'intimé ne peut être améliorée de manière importante par des mesures simples et adéquates.
L'intimé, qui ne peut plus porter de lourdes charges, n'est plus à même de poursuivre l'activité de marbrier qu'il a exercée de 1982 à 1995. En revanche, selon les responsables de la formation professionnelle, des activités plus légères lui sont accessibles, moyennant une mise au courant en entreprise (rapport du COPAI, du 6 mai 1997, p. 1). Or, une telle formation pratique, dans la mesure où elle doit permettre à l'intimé de s'initier concrètement à une nouvelle profession, peut être considérée comme mesure de reclassement professionnel. Elle devrait, par ailleurs, lui permettre, moyennant un soutien médical, de reprendre graduellement une activité professionnelle, ce qui apparaît d'autant plus nécessaire qu'il est inactif depuis le début de la procédure - il y a plus de six ans. Il convient enfin de relever, sous l'angle de la proportionnalité, que l'intimé, né en 1963, peut espérer demeurer actif plus de vingt-cinq ans encore et que le coût d'une telle mesure, qui s'apparente à une aide au placement, n'apparaît pas d'emblée hors de proportion avec l'amélioration de la capacité de gain qu'on peut en attendre.
b) En ce qui concerne les mesures médicales, les psychiatres de l'hôpital X._ ont posé, dans leur rapport du 19 février 1999, le diagnostic de dorso-lombalgies chroniques et ancienne maladie de Scheuermann, ayant entraîné un trouble de l'adaptation avec prédominance de la perturbation d'autres émotions, entretenu et majoré par les difficultés de règlement du cas d'assurance. Afin de surmonter ces difficultés, ils ont préconisé une prise en charge axée sur la notion d'alexithymie par un psychiatre parlant portugais, afin de permettre à l'assuré de mieux différencier ses troubles, de comprendre et d'aborder la notion de surcharge psychogène. Il ne s'agit donc pas, contrairement à ce que soutient le recourant, de soigner l'affection psychique comme telle - que le médecin traitant du recourant décrit, au demeurant, comme réfractaire à tout traitement (rapport du 7 décembre 1995) - mais plutôt de donner à l'intimé les moyens d'assimiler ces troubles, de les comprendre et d'y faire face, ce qui apparaît directement nécessaire au succès de sa réadaptation professionnelle.
On ne saurait ainsi faire grief aux premiers juges d'avoir ordonné les mesures précitées et c'est dès lors à juste titre qu'ils ont renvoyé le dossier au recourant afin qu'il détermine les modalités de ce reclassement professionnel.
4.- L'intimé, qui obtient gain de cause, s'est fait assister par la Fédération suisse pour l'intégration des handicapés. Il peut dès lors prétendre une indemnité de dépens.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le recourant versera à l'intimé la somme de 2500 fr.
(y compris la taxe à la valeur ajoutée) à titre de
dépens.
IV. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale vaudoise de compensation AVS, au Tribunal des assurances du canton de Vaud, ainsi qu'à
l'Office fédéral des assurances sociales.
Lucerne, le 28 août 2001
au nom du
Tribunal fédéral des assurances
p. le Président de la IIIe Chambre :
Le Greffier :