A.- A._ a travaillé en qualité de maçon et de machiniste de chantier. Souffrant de dorso-lombalgies, il s'est annoncé à l'assurance-invalidité. Son médecin traitant, la doctoresse B._, l'a adressé à une spécialiste en maladies rhumatismales, la doctoresse C._. Dans son rapport du 9 novembre 1999, cette dernière a conseillé de reclasser le patient dans une activité exempte de port de charges lourdes et de vibrations. L'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a mandaté le docteur D._, également spécialiste en maladie rhumatismales. Le 20 mars 2000, il a attesté que l'exercice d'une activité de maçon n'entrait plus en ligne de compte. En revanche, l'assuré conservait une capacité de travail entière comme conducteur de machines, grutier, ou encore en étant assis sur une pelleteuse. Par décision du 10 juillet 2000, l'office AI a rejeté la demande, au motif que l'assuré pouvait travailler sans restriction en qualité de machiniste. B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel, en concluant à la prise en charge, par l'AI, d'un reclassement professionnel. Il a mis notamment l'accent sur les contradictions existant entre l'avis du docteur D._ et celui de sa consoeur C._, s'agissant de la conduite de machines de chantier. A cet effet, il a produit un certificat de la doctoresse C._ du 29 août 2000, laquelle s'opposait aux conclusions de son confrère D._. Par jugement du 14 mars 2001, la juridiction cantonale a admis le recours et renvoyé la cause à l'office AI afin qu'il complète l'instruction par une expertise médicale destinée à déterminer si l'assuré est ou non capable d'exercer l'activité de conducteur de pelle en dépit de ses lombalgies. C.- L'office AI interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au rétablissement de sa décision. L'intimé conclut au rejet du recours, avec suite de dépens. L'Office fédéral des assurances sociales ne s'est pas déterminé.