A.- K._ est titulaire d'un CFC de boucher obtenu en 1982. Il a exercé cette profession de 1982 à 1984, puis de 1987 à 1990, après quoi il a travaillé comme chauffeur-livreur, gestionnaire de stock et magasinier auprès de plusieurs employeurs, dont, en dernier lieu, l'entreprise X._. Dans cette activité, il réalisait au moment de l'accident un revenu annuel de 42 900 fr., qui aurait été porté, en 2000, à 49 400 fr.
Le 25 décembre 1998, K._ est tombé sur la tête en chutant d'un trempoline. Les médecins de l'Hôpital Y._ ont posé le diagnostic de spondylolisthésis de L5/S1 sur spondylolyse bilatérale de L5 avec antélisthésis L5 par rapport à S1. Souffrant de lombalgies malgré le port d'un corset et une physiothérapie intensive, K._ a subi le 18 novembre 1999 une spondylodèse et une greffe osseuse.
Le 16 juin 2000, l'intéressé a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures de reclassement professionnel et subsidiairement d'une rente. En cours d'instruction, il a été examiné par le docteur A._, spécialiste FMH en médecine interne et rhumatologie. Dans un rapport du 6 octobre 2000, ce médecin a conclu qu'après une évolution extrêmement favorable l'assuré a retrouvé un bon degré de fonctionnalité de son dos. Une activité de force doit être proscrite et l'assuré exempté du port de charges supérieures à 15-20 kilos.
Il n'existe, en revanche, pas de contre-indication pour une activité légère en position assise, debout ou alternée.
Toujours selon ce médecin, la reprise d'une activité de boucher, à temps complet mais avec les réserves précitées et en évitant le travail en chambre froide, telle la vente au détail dans une grande surface serait exigible, ainsi que toute autre activité non qualifiée répondant aux mêmes exigences.
Par décision du 12 février 2001, l'Office AI du canton de Neuchâtel (ci-après : l'OAI) a nié le droit de K._ à toute prestation au motif que l'exercice d'une activité telle que celle décrite par le docteur A._ lui procurerait un revenu annuel de 55 000 fr. si bien qu'il ne subit aucune perte de gain en relation avec l'affection dont il souffre.
B.- Par jugement du 14 mai 2001, le Tribunal administratif du canton de Neuchâtel a admis le recours interjeté contre cette décision par l'assuré et renvoyé la cause à l'OAI pour instruction complémentaire au sens des considérants.
Les premiers juges ont considéré, en substance, que l'OAI ne pouvait, sur la base du seul rapport du docteur A._, retenir que l'assuré était à même d'assumer à plein temps toute activité adaptée à son état de santé de nature à lui procurer, sans autre précision sur ce point, un gain annuel de 55 000 fr. Cela laissait sous-entendre, à leurs yeux, que l'assuré était à même de reprendre son ancienne activité de boucher, dont le revenu paraissait correspondre à ce montant, alors que cette activité n'était en réalité plus exigible de lui ou avec des limitations telles que l'on pouvait nourrir de sérieux doutes sur les possibilités concrètes d'embauche.
C.- L'OAI interjette recours de droit administratif contre le jugement du 14 mai 2001 en concluant à son annulation et à la confirmation de sa décision du 12 février 2001.
L'assuré a conclu au rejet du recours, avec dépens. A l'appui de ses conclusions, il produit une décision du 30 mars 2001 par laquelle la Caisse nationale suisse d'assurance accidents (ci-après : la CNA) lui a reconnu le droit à une rente d'invalidité fondée sur un taux d'incapacité de gain de 20 %.
L'Office fédéral des assurances sociales ne s'est pas déterminé.
D.- Le juge délégué à l'instruction du recours a requis d'office production en main de la CNA du dossier de l'assuré.
Les parties ont eu l'occasion de déposer des observations.

Considérant en droit :
1.- a) Dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen du Tribunal fédéral des assurances n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
b) Le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art. 104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (<ref-ruling> consid. 1, 124 V 340 consid. 1b et les références).
2.- A l'appui de ses déterminations sur le présent recours, l'intimé a produit, pour la première fois en instance fédérale, une décision du 30 mars 2001, par laquelle la CNA lui reconnaît le droit à une rente d'invalidité fondée sur une incapacité de gain de 20 % résultant des suites de l'accident du 25 décembre 1998. Cette décision est entrée en force faute de recours.
a) Le juge ne doit, en principe, tenir compte que des faits existant au moment où la décision litigieuse a été rendue (<ref-ruling> consid. 1b et les arrêts cités). Les faits survenus postérieurement doivent cependant être pris en considération dans la mesure où ils sont étroitement liés à l'objet du litige et de nature à influencer l'appréciation au moment où la décision attaquée a été rendue (<ref-ruling> et les arrêts cités).
b) La cour de céans a récemment précisé sa jurisprudence concernant la coordination de l'évaluation de l'invalidité dans les différentes branches de l'assurance sociale.
Elle a notamment confirmé le caractère uniforme de la notion d'invalidité dans ces différentes branches (cf.
art. 22 du projet de Loi fédérale sur la partie générale du droit des assurances sociales [LPGA] du 27 septembre 1990), ainsi que son effet de coordination dans l'évaluation de l'invalidité. En revanche, elle a renoncé à la pratique consistant à accorder en principe plus d'importance à l'évaluation effectuée par l'un des assureurs sociaux, indépendamment des instruments dont il dispose pour instruire le cas et de l'usage qu'il en fait dans le cas concret.
Certes, il faut éviter que des assureurs procèdent à des évaluations divergentes dans un même cas. Mais même si un assureur ne peut en aucune manière se contenter de reprendre, sans plus ample examen, le taux d'invalidité fixé par un autre assureur, une évaluation entérinée par une décision entrée en force ne peut pas rester simplement ignorée. Toutefois, il convient de s'écarter d'une telle évaluation lorsqu'elle repose sur une erreur de droit ou sur une appréciation insoutenable (<ref-ruling> consid. 2b) ou encore lorsqu'elle résulte d'une simple transaction conclue avec l'assuré (<ref-ruling> s. consid. 2a). A ces motifs de divergence déjà reconnus antérieurement par la jurisprudence, il faut ajouter des mesures d'instruction extrêmement limitées et superficielles, ainsi qu'une évaluation pas du tout convaincante ou entachée d'inobjectivité (<ref-ruling> s. consid. 2b et 2d; RAMA 2000 p. 402 consid. 3).
3.- a) En l'espèce, l'OAI ne pouvait avoir connaissance, au moment de rendre sa propre décision, de celle rendue postérieurement par la CNA, soit le 30 mars 2001, et dont l'autorité judiciaire précédente n'a pas eu non plus connaissance. Il ne se justifie pas moins d'en tenir compte en instance fédérale, dans la mesure où, conformément à la jurisprudence rappelée ci-dessus (consid. 2b), se rapportant au même complexe de faits, elle est susceptible d'influencer l'appréciation du degré d'invalidité de l'assuré et, partant, son droit aux prestations de l'assurance-invalidité.
b) Il résulte du dossier produit par la CNA à la réquisition de la cour de céans que la décision du 30 mars 2001 procède d'une évaluation objective, convaincante et conforme à la loi de l'invalidité de l'assuré. Afin de déterminer la capacité résiduelle de gain de ce dernier, la CNA, après avoir procédé à une instruction approfondie sur le plan médical (rapports des docteurs B._, des 26 août 1999 et 8 novembre 1999, C._, du 20 octobre 1999 et D._, du 11 décembre 2000) et en toute connaissance du rapport du docteur A._, du 6 octobre 2000, s'est référée à cinq descriptions de postes de travail, soit les DPT nos 2259, 4727, 3333, 3813 et 1587, dont les exigences correspondent aux limites fixées par les médecins à l'activité de l'assuré. Compte tenu de ces données économiques, et du revenu qu'il aurait pu réaliser chez son ancien employeur sans invalidité, l'appréciation du degré de son invalidité, arrêté à 20 %, ne saurait être taxée d'insoutenable. Il n'y a dès lors aucune raison, au sens de la jurisprudence précitée de s'en écarter.
c) Au vu de ce qui précède, le degré d'invalidité de l'assuré doit être arrêté à 20 %, taux suffisant selon la jurisprudence pour ouvrir le droit de l'assuré à des mesures de réadaptation d'ordre professionnel (<ref-ruling> consid. 2b), mais non, selon la loi, à une rente (<ref-law>). Il s'ensuit que le jugement entrepris doit être modifié en ce sens et la cause renvoyée à l'administration pour instruction complémentaire en relation avec les autres conditions du droit à des mesures de réadaptation d'ordre professionnel et nouvelle décision.
4.- L'intimé, qui s'est fait assister d'un avocat, a conclu au rejet du recours en maintenant, notamment, sa demande de mesures de réadaptation d'ordre professionnel.
Obtenant en réalité gain de cause, il peut prétendre l'octroi de dépens (art. 159 al. 1 en corrélation avec l'art. 135 OJ). Il convient toutefois de tenir compte du fait que l'intimé, qui avait connaissance de la décision de la CNA du 30 mars 2001 n'en a pas donné connaissance au Tribunal administratif mais ne l'a produite, pour la première fois, qu'en instance fédérale, comportement propre, selon la jurisprudence, à occasionner des frais inutiles et qui justifie, partant, la réduction des dépens (art. 156 al. 6 et 159 al. 5 OJ; RCC 1989, p. 290 consid. 3b, 1988, p. 424).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I.Le recours est admis. Le jugement du Tribunal administratif
du canton de Neuchâtel, du 14 mai 2001, est
modifié en ce sens que la cause est renvoyée à l'administration
pour instruction complémentaire sur les
conditions du droit de l'assuré à des mesures de réadaptation
d'ordre professionnel.
II.Il n'est pas perçu de frais de justice.
III. L'Office de l'assurance-invalidité du canton de Neuchâtel versera à l'intimé la somme de 1000 fr. à titre de dépens (y compris la taxe à la valeur ajoutée) pour
l'instance fédérale.
IV.Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel, à la Caisse cantonale neuchâteloise de compensation ainsi
qu'à l'Office fédéral des assurances sociales.
Lucerne, le 6 mai 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
Le Greffier :