A.- K._ est titulaire d'un CFC de boucher obtenu en 1982. Il a exercé cette profession de 1982 à 1984, puis de 1987 à 1990, après quoi il a travaillé comme chauffeur-livreur, gestionnaire de stock et magasinier auprès de plusieurs employeurs, dont, en dernier lieu, l'entreprise X._. Dans cette activité, il réalisait au moment de l'accident un revenu annuel de 42 900 fr., qui aurait été porté, en 2000, à 49 400 fr. Le 25 décembre 1998, K._ est tombé sur la tête en chutant d'un trempoline. Les médecins de l'Hôpital Y._ ont posé le diagnostic de spondylolisthésis de L5/S1 sur spondylolyse bilatérale de L5 avec antélisthésis L5 par rapport à S1. Souffrant de lombalgies malgré le port d'un corset et une physiothérapie intensive, K._ a subi le 18 novembre 1999 une spondylodèse et une greffe osseuse. Le 16 juin 2000, l'intéressé a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures de reclassement professionnel et subsidiairement d'une rente. En cours d'instruction, il a été examiné par le docteur A._, spécialiste FMH en médecine interne et rhumatologie. Dans un rapport du 6 octobre 2000, ce médecin a conclu qu'après une évolution extrêmement favorable l'assuré a retrouvé un bon degré de fonctionnalité de son dos. Une activité de force doit être proscrite et l'assuré exempté du port de charges supérieures à 15-20 kilos. Il n'existe, en revanche, pas de contre-indication pour une activité légère en position assise, debout ou alternée. Toujours selon ce médecin, la reprise d'une activité de boucher, à temps complet mais avec les réserves précitées et en évitant le travail en chambre froide, telle la vente au détail dans une grande surface serait exigible, ainsi que toute autre activité non qualifiée répondant aux mêmes exigences. Par décision du 12 février 2001, l'Office AI du canton de Neuchâtel (ci-après : l'OAI) a nié le droit de K._ à toute prestation au motif que l'exercice d'une activité telle que celle décrite par le docteur A._ lui procurerait un revenu annuel de 55 000 fr. si bien qu'il ne subit aucune perte de gain en relation avec l'affection dont il souffre. B.- Par jugement du 14 mai 2001, le Tribunal administratif du canton de Neuchâtel a admis le recours interjeté contre cette décision par l'assuré et renvoyé la cause à l'OAI pour instruction complémentaire au sens des considérants. Les premiers juges ont considéré, en substance, que l'OAI ne pouvait, sur la base du seul rapport du docteur A._, retenir que l'assuré était à même d'assumer à plein temps toute activité adaptée à son état de santé de nature à lui procurer, sans autre précision sur ce point, un gain annuel de 55 000 fr. Cela laissait sous-entendre, à leurs yeux, que l'assuré était à même de reprendre son ancienne activité de boucher, dont le revenu paraissait correspondre à ce montant, alors que cette activité n'était en réalité plus exigible de lui ou avec des limitations telles que l'on pouvait nourrir de sérieux doutes sur les possibilités concrètes d'embauche. C.- L'OAI interjette recours de droit administratif contre le jugement du 14 mai 2001 en concluant à son annulation et à la confirmation de sa décision du 12 février 2001. L'assuré a conclu au rejet du recours, avec dépens. A l'appui de ses conclusions, il produit une décision du 30 mars 2001 par laquelle la Caisse nationale suisse d'assurance accidents (ci-après : la CNA) lui a reconnu le droit à une rente d'invalidité fondée sur un taux d'incapacité de gain de 20 %. L'Office fédéral des assurances sociales ne s'est pas déterminé. D.- Le juge délégué à l'instruction du recours a requis d'office production en main de la CNA du dossier de l'assuré. Les parties ont eu l'occasion de déposer des observations.