A.- A._ a travaillé en qualité de maçon et de machiniste de chantier. Souffrant de dorso-lombalgies, il s'est annoncé à l'assurance-invalidité.
Son médecin traitant, la doctoresse B._, l'a adressé à une spécialiste en maladies rhumatismales, la doctoresse C._. Dans son rapport du 9 novembre 1999, cette dernière a conseillé de reclasser le patient dans une activité exempte de port de charges lourdes et de vibrations.
L'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a mandaté le docteur D._, également spécialiste en maladie rhumatismales. Le 20 mars 2000, il a attesté que l'exercice d'une activité de maçon n'entrait plus en ligne de compte. En revanche, l'assuré conservait une capacité de travail entière comme conducteur de machines, grutier, ou encore en étant assis sur une pelleteuse.
Par décision du 10 juillet 2000, l'office AI a rejeté la demande, au motif que l'assuré pouvait travailler sans restriction en qualité de machiniste.
B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel, en concluant à la prise en charge, par l'AI, d'un reclassement professionnel. Il a mis notamment l'accent sur les contradictions existant entre l'avis du docteur D._ et celui de sa consoeur C._, s'agissant de la conduite de machines de chantier. A cet effet, il a produit un certificat de la doctoresse C._ du 29 août 2000, laquelle s'opposait aux conclusions de son confrère D._.
Par jugement du 14 mars 2001, la juridiction cantonale a admis le recours et renvoyé la cause à l'office AI afin qu'il complète l'instruction par une expertise médicale destinée à déterminer si l'assuré est ou non capable d'exercer l'activité de conducteur de pelle en dépit de ses lombalgies.
C.- L'office AI interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au rétablissement de sa décision.
L'intimé conclut au rejet du recours, avec suite de dépens. L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
Lorsque des spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa et les références).
2.- a) En l'espèce, les docteurs C._ et D._, tous deux spécialistes en rhumatologie, sont parvenus à des conclusions diamétralement opposées en ce qui concerne la possibilité, pour l'intimé, de travailler en qualité de conducteur de machines de chantier.
Nonobstant ces contradictions, le recourant soutient que l'avis du docteur D._, qu'il avait mandaté, doit prévaloir pour statuer sur le droit de l'intimé aux prestations de l'AI, car le rapport de cet expert remplit les conditions posées par la jurisprudence et a pleine valeur probante (cf. <ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références). Par ailleurs, le recourant estime qu'il a satisfait à son obligation d'instruire les faits de la cause, conformément au principe inquisitoire qui régit la procédure dans le domaine des assurances sociales (cf. <ref-ruling> consid. 4a).
b) Pour sa part, la juridiction cantonale de recours a considéré que la cause n'était pas en état d'être jugée.
Selon elle, l'avis de la doctoresse C._ ne devait pas être écarté sans autre forme de procès, dès lors que la prénommée s'était prononcée en qualité de spécialiste en rhumatologie et non de médecin de famille (à cet égard, voir RJJ 1995 p. 44, RCC 1988 p. 504 consid. 2). En conséquence, seule une nouvelle expertise médicale permettrait de faire toute la lumière sur la capacité de l'intimé de conduire une pelle mécanique, opinion à laquelle ce dernier se rallie.
La Cour de céans partage l'avis des premiers juges, car ces derniers ne disposaient pas des éléments leur permettant de statuer en connaissance de cause, compte tenu des opinions contradictoires des experts. Ce point de fait doit donc être préalablement élucidé, avant de poursuivre l'examen du droit de l'intimé à un reclassement.
3.- a) Il reste à décider si l'expertise médicale, destinée à déterminer la capacité de travail de l'intimé dans un emploi de conducteur de machines de chantier, doit être mise en oeuvre par le recourant ou par l'autorité judiciaire cantonale. Les premiers juges ont estimé que cette tâche incombait à l'office AI, ce que celui-ci conteste, estimant avoir suffisamment instruit la cause sur le plan médical.
Selon la jurisprudence, le juge cantonal qui estime que les faits ne sont pas suffisamment élucidés a en principe le choix entre deux solutions : soit renvoyer la cause à l'assureur pour complément d'instruction, soit procéder lui-même à une telle instruction complémentaire. Un renvoi à l'assureur, lorsqu'il a pour but d'établir l'état de fait, ne viole ni le principe de simplicité et de rapidité de la procédure, ni le principe inquisitoire. Il en va cependant autrement quand un tel renvoi constitue en soi un déni de justice; cela peut être le cas notamment lorsque, en raison des circonstances, un simple mandat d'expertise judiciaire ou une mesure d'instruction ponctuelle édictée par le juge suffirait à élucider l'état de fait, ou qu'un renvoi apparaîtrait disproportionné (cf. <ref-ruling> consid. 1d, RAMA 1993 n° U 170 p. 136 et la critique de G. Aubert parue in SJ 1993 p. 560).
b) En l'occurrence, l'office AI a certes mandaté un rhumatologue, conformément aux <ref-law> et 69 RAI, afin de connaître la nature et les conséquences des douleurs lombaires de l'intimé sur sa capacité de travail. A la lecture du rapport du docteur D._ du 20 mars 2000, l'office aurait cependant dû inviter ce médecin à préciser les motifs pour lesquels il ne partageait pas l'avis de sa consoeur C._ quant à l'exercice d'une activité de machiniste. Au lieu de cela, il a préféré statuer en l'état, sans chercher à élucider cette divergence (fondamentale) de vues, malgré les griefs que l'intimé avait soulevés à cet égard dans sa prise de position du 6 juin 2000 sur le projet de décision du 14 avril 2000.
Ce faisant, il devait se douter que cette contradiction serait probablement invoquée dans le cadre d'une procédure de recours et qu'elle nécessiterait un complément d'instruction. Il doit en subir les conséquences et s'acquitter lui-même du complément d'instruction nécessité par son incurie. Le recours est infondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le recourant versera à l'intimé la somme de 2500 fr. à titre de dépens (y compris la taxe à la valeur ajoutée) pour l'instance fédérale.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 5 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :