A.- F._ exerce la profession d'étancheur depuis 1969. Après avoir travaillé de nombreuses années à son propre compte, il a décidé en 1993 de transformer son entreprise individuelle en société anonyme à la suite de problèmes de santé (en particulier du dos). Il a néanmoins continué à déployer la même activité qu'auparavant au sein de la nouvelle société. Ses douleurs dorsales devenant toujours plus importantes, son médecin traitant, le docteur A._, l'a déclaré totalement incapable de travailler du 27 novembre 1995 au 31 mai 1996, puis seulement partiellement (à 50 %) dès le 1er juin 1996 pour une durée indéterminée. Le 5 décembre 1996, F._ a déposé une demande de prestations de l'assurance-invalidité. Dans le cadre de l'instruction de cette demande, ont été versés au dossier trois rapports médicaux (respectivement des docteurs B._, A._ et C._). Ces médecins ont, dans les grandes lignes, posé le diagnostic de syndrome cervical chronique sur troubles statiques et dégénératifs, de lombalgies chroniques mécaniques ainsi que de déséquilibre lombo-pelvien; ils ont unanimement estimé qu'en raison des affections précitées, la capacité de travail de l'assuré comme étancheur ne dépassait pas les 50 % (rapports des 4 mai 1996, 14 avril et 14 novembre 1997). Au mois de décembre 1999, l'Office AI du canton de Vaud (ci-après : l'office) a décidé de soumettre l'assuré à un examen médical approfondi au service de rhumatologie de l'Hôpital de X._. L'expert mandaté, le docteur D._, a, pour sa part, conclu que les troubles présentés par F._ limitaient au plus à 25 % l'aptitude de celui-ci à exercer son métier, tandis qu'ils ne constituaient pas un obstacle à l'exercice d'une activité légère ne nécessitant pas le port de charges supérieures à 15 kg (rapport du 16 mars 2000). Se fondant sur ces dernières conclusions, l'office a rendu une décision, le 3 juillet 2000, par laquelle il a nié le droit du prénommé à des prestations de l'assurance-invalidité. B.- L'assuré a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. A ses yeux, l'appréciation du docteur D._ n'était pas crédible dès lors que trois autres médecins avaient admis l'existence, depuis le mois de novembre 1995, d'une incapacité de travail définitive dans sa profession d'étancheur. Il a également fait valoir qu'un instructeur en charge de son dossier lui aurait laissé croire qu'il avait droit à une demi-rente d'invalidité. Par jugement du 9 octobre 2001, le tribunal a rejeté le recours. C.- F._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Sous suite de dépens, il conclut, principalement, à l'octroi d'une demi-rente d'invalidité du 1er novembre 1996 au 31 mars 2000 et, subsidiairement, au renvoi du dossier à la juridiction cantonale pour nouveau jugement au sens des considérants. Il demande en outre l'audition de sieur E._, employé de l'office. L'office conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.