A.- F._ exerce la profession d'étancheur depuis 1969. Après avoir travaillé de nombreuses années à son propre compte, il a décidé en 1993 de transformer son entreprise individuelle en société anonyme à la suite de problèmes de santé (en particulier du dos). Il a néanmoins continué à déployer la même activité qu'auparavant au sein de la nouvelle société. Ses douleurs dorsales devenant toujours plus importantes, son médecin traitant, le docteur A._, l'a déclaré totalement incapable de travailler du 27 novembre 1995 au 31 mai 1996, puis seulement partiellement (à 50 %) dès le 1er juin 1996 pour une durée indéterminée.
Le 5 décembre 1996, F._ a déposé une demande de prestations de l'assurance-invalidité.
Dans le cadre de l'instruction de cette demande, ont été versés au dossier trois rapports médicaux (respectivement des docteurs B._, A._ et C._).
Ces médecins ont, dans les grandes lignes, posé le diagnostic de syndrome cervical chronique sur troubles statiques et dégénératifs, de lombalgies chroniques mécaniques ainsi que de déséquilibre lombo-pelvien; ils ont unanimement estimé qu'en raison des affections précitées, la capacité de travail de l'assuré comme étancheur ne dépassait pas les 50 % (rapports des 4 mai 1996, 14 avril et 14 novembre 1997). Au mois de décembre 1999, l'Office AI du canton de Vaud (ci-après : l'office) a décidé de soumettre l'assuré à un examen médical approfondi au service de rhumatologie de l'Hôpital de X._. L'expert mandaté, le docteur D._, a, pour sa part, conclu que les troubles présentés par F._ limitaient au plus à 25 % l'aptitude de celui-ci à exercer son métier, tandis qu'ils ne constituaient pas un obstacle à l'exercice d'une activité légère ne nécessitant pas le port de charges supérieures à 15 kg (rapport du 16 mars 2000).
Se fondant sur ces dernières conclusions, l'office a rendu une décision, le 3 juillet 2000, par laquelle il a nié le droit du prénommé à des prestations de l'assurance-invalidité.
B.- L'assuré a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. A ses yeux, l'appréciation du docteur D._ n'était pas crédible dès lors que trois autres médecins avaient admis l'existence, depuis le mois de novembre 1995, d'une incapacité de travail définitive dans sa profession d'étancheur.
Il a également fait valoir qu'un instructeur en charge de son dossier lui aurait laissé croire qu'il avait droit à une demi-rente d'invalidité.
Par jugement du 9 octobre 2001, le tribunal a rejeté le recours.
C.- F._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation.
Sous suite de dépens, il conclut, principalement, à l'octroi d'une demi-rente d'invalidité du 1er novembre 1996 au 31 mars 2000 et, subsidiairement, au renvoi du dossier à la juridiction cantonale pour nouveau jugement au sens des considérants. Il demande en outre l'audition de sieur E._, employé de l'office.
L'office conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels applicables au cas, notamment en ce qui concerne la notion d'invalidité et l'appréciation des preuves, de sorte qu'il suffit d'y renvoyer.
2.- En l'occurrence, la juridiction cantonale a accordé plus de poids à l'opinion du docteur D._ qu'à celui des docteurs B._ et C._, et implicitement retenu que l'assuré ne présentait aucune incapacité de gain susceptible de lui ouvrir un droit à des prestations de l'assurance-invalidité. Elle a également considéré que les conditions du droit à la protection de la bonne foi n'étaient pas remplies dans le cas particulier.
Pour l'essentiel, le recourant reprend les arguments qu'il avait soulevés en instance précédente.
3.- S'agissant du moyen tiré du droit à la protection de la bonne foi, il se révèle manifestement mal fondé.
Le recourant n'apporte en effet aucun élément probant susceptible de démontrer que l'office intimé lui aurait promis l'octroi d'une demi-rente. En tout état de cause, l'existence au dossier d'une note interne dans laquelle un instructeur a émis une appréciation favorable à l'assuré ne saurait constituer une telle promesse; il n'est ainsi pas nécessaire d'instruire ce point plus avant, en procédant à l'audition de sieur E._ comme le demande le recourant.
Quant à la longueur de l'instruction menée par l'office avant la prise de décision définitive - circonstance hautement regrettable au demeurant -, on ne voit pas en quoi elle aurait pu éveiller chez le recourant l'assurance d'obtenir des prestations de l'AI, bien au contraire.
4.- a) F._ souffre indéniablement de troubles dorsaux d'origine dégénérative.
Selon les docteurs B._ et C._ les douleurs dont il se plaint s'expliquent par une surcharge mécanique et une sollicitation constante des muscles dorsaux dans sa profession d'étancheur, activité qui impose régulièrement des positions contraignantes pour le rachis (se pencher en avant, se mettre à genoux, se baisser, porter des charges). A leurs yeux, cette situation engendre un mal chronique peu susceptible d'amélioration justifiant la reconnaissance dès le 1er mai 1996 d'une capacité de travail n'excédant pas 50 % (rapports des 4 mai 1996 et 14 novembre 1997). Ces médecins ont par ailleurs confirmé la légitimité de l'arrêt de travail de 100 % prescrit par le docteur A._ du mois de novembre 1995 au mois juin 1996. En revanche, le docteur D._ estime que les altérations mises en évidence chez l'assuré sont plutôt modestes. Constatant d'autre part plusieurs signes de non-organicité et une résistance exagérée de la part de l'expertisé à toute manipulation du dos, il en déduit une incapacité de travail de tout au plus 25 % comme étancheur; dans une activité légère sans port régulier de charges de plus de 15 kg, aucune (rapport du 16 mars 2000).
b) S'agissant de l'évaluation de la capacité de travail de l'assuré dans sa profession, on ne voit aucun motif sérieux d'écarter les rapports des docteurs B._ et C._ au profit de celui de l'expert commis par l'office.
En effet, les conclusions des médecins prénommés se fondent sur une étude circonstanciée de la situation médicale de l'assuré et sont dûment motivées; par ailleurs, l'expert y substitue sa propre appréciation du cas sans toutefois exposer en quoi l'estimation de ses confrères serait trop généreuse. Sur ce point, on doit convenir avec le recourant que l'expertise du docteur D._ ne convainc pas.
Pour déterminer le degré d'invalidité de F._, on ne saurait toutefois s'en tenir aux seuls avis des docteurs B._ et C._. Mandatés par l'assureur perte de gain de l'employeur, ces derniers se sont limités à apprécier la capacité de travail de l'assuré dans sa profession actuelle. Or, conformément à son obligation de diminuer le dommage, l'assuré est tenu d'atténuer par tous les moyens les effets de son invalidité, en tirant partie de sa capacité de travail résiduelle, au besoin en changeant de profession (<ref-ruling> consid. 4c, 113 V 28 consid. 4a; Meyer-Blaser, Bundesgesetz über die Invalidenversicherung (IVG), 1997, ad. <ref-law> p. 221). A cet égard, les conclusions auxquelles est parvenu l'expert commis par l'AI sont suffisamment crédibles. Les docteurs B._ et C._ ont en effet souligné que c'est avant tout en raison des mouvements exigés par son activité d'étancheur que F._ rencontre des difficultés à assumer un travail à plein temps. On peut dès lors admettre que sa capacité de travail résiduelle reste entière dans une activité adaptée ne nécessitant pas le port de charges de plus de 15 kg, ni de sollicitations importantes et répétées au niveau du dos.
c) Cela étant, tant l'office intimé que les premiers juges ne pouvaient retenir, comme ils l'ont fait - c'est-à-dire sans même procéder à une évaluation chiffrée de l'invalidité de l'assuré -, que celui-ci ne subissait, vu la mesure de sa capacité de travail résiduelle, aucune incapacité de gain et, partant, n'était pas invalide. C'est méconnaître la notion légale de l'invalidité qui est avant tout économique (<ref-law>). Quand bien même un assuré jouit-il d'une capacité de travail totale dans une activité adaptée à son atteinte à la santé, cela ne signifie pas encore qu'il ne subit aucune diminution de sa capacité de gain. Dans tous les cas, les éléments particuliers déterminants pour la fixation du degré d'invalidité (comme les revenus hypothétiques sans invalidité ou d'invalide ainsi que les limitations dans les différents domaines d'activité) doivent être établis très soigneusement (<ref-ruling>). Rien de tel ne figure pourtant au dossier de l'office. En l'absence de toute enquête économique documentée, il n'est ainsi pas possible de déterminer si le degré d'invalidité du recourant atteint en l'espèce le seuil ouvrant droit à des prestations de l'AI (le cas échéant des mesures de réadaptation, voire une rente d'invalidité).
Dans ces conditions, il s'impose d'annuler le jugement entrepris et de renvoyer la cause à l'office pour qu'il complète l'instruction sur le plan économique; après quoi, ledit office statuera à nouveau sur le droit aux prestations de l'assuré. En ce sens, le recours se révèle bien fondé.
5.- Le recourant, qui obtient gain de cause, a droit à une indemnité de dépens à charge de l'office intimé (art. 159 al. 1OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal
administratif du canton de Neuchâtel du 9 octobre
2001, ainsi que la décision de l'Office AI du canton
de Neuchâtel du 3 juillet 2000 sont annulés.
II. La cause est renvoyée audit office pour complément d'instruction et nouvelle décision au sens des motifs.
III. Il n'est pas perçu de frais de justice.
IV. L'intimé versera au recourant une indemnité de dépens (y compris la taxe à la valeur ajoutée) de 1500 fr.
pour l'instance fédérale.
V. Le Tribunal administratif du canton de Neuchâtel
statuera sur les dépens pour la procédure de première
instance, au regard de l'issue du procès de dernière
instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 10 juillet 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :