A.- A._ a une formation de mécanicien-faiseur d'étampes. De 1976 à juillet 1996, il a travaillé comme représentant salarié pour une société de vente d'habits et accessoires pour agriculteurs. Il était également actionnaire de cette société. En août 1996, il s'est établi à son propre compte, en poursuivant la même activité et en reprenant une partie du stock de marchandise de la société qui l'employait.
Souffrant de lombalgies basses, il a présenté une demande de rente de l'assurance-invalidité le 20 octobre 1998. Son médecin traitant, le docteur B._, a attesté une incapacité de travail de 50 pour cent depuis le 24 octobre 1997, tout en préconisant la mise en oeuvre d'une expertise médicale (rapports des 15 octobre et 29 octobre 1998).
Suivant cette proposition, l'Office de l'assurance-invalidité du canton de Neuchâtel a confié une expertise au docteur C._, médecin-chef de l'Association médicale X._. Dans son rapport du 4 juillet 2000, l'expert a posé le diagnostic de discret syndrome lombaire sur sévère discarthrose L5-S1 et de discrète aponévrosite plantaire bilatérale. A la question portant sur le moment à partir duquel l'assuré avait subi une réduction de 20 pour cent au moins de sa capacité de travail, l'expert a mentionné la date du 24 avril 1999. En ce qui concerne l'évolution du degré de l'incapacité de travail depuis cette date, il aindiqué : "Il (le degré) est resté à 50 pour cent". Enfin, à la question lui demandant comment le degré de l'incapacité de travail continuerait à évoluer, il a répondu qu'il n'y avait pas de justification ostéoarticulaire à la poursuite d'une incapacité de travail à mi-temps. Il y avait certes lieu de reconnaître au patient des douleurs imputables à une discarthrose déjà nette, mais compte tenu de son travail, de la surcharge lombaire et de la position assise, une incapacité de travail supérieure à 30 pour cent n'était pas justifiée.
Se fondant sur les conclusions de l'expertise, l'office de l'assurance-invalidité a rendu une décision, le 1er novembre 2000, par laquelle il a rejeté la demande de rente. Il a considéré, en bref, que l'état de santé du requérant, notamment au niveau vertébral, n'impliquait pas d'empêchement ou de limitation susceptible d'entraîner une diminution de la capacité de gain dans une proportion de 40 pour cent au moins.
B.- A._ a recouru contre cette décision en concluant à l'allocation d'une demi-rente à partir du 1er octobre 1998 ou, subsidiairement, au renvoi de la cause à l'office de l'assurance-invalidité pour complément d'instruction.
A titre très subsidiaire, il a conclu au versement d'une demi-rente pour la période du 1er octobre 1998 au 30 septembre 2000.
Statuant le 3 avril 2001, le Tribunal administratif du canton de Neuchâtel a partiellement admis le recours. Il a annulé la décision litigieuse en tant qu'elle concernait la période antérieure au mois de juillet 2000 et il a renvoyé la cause à l'office de l'assurance-invalidité pour instruction complémentaire et nouvelle décision au sens des motifs.
Le tribunal a considéré qu'à la date de l'expertise, le 4 juillet 2000, l'incapacité de travail de l'assuré était de 30 pour cent, conformément aux conclusions de l'expert. Par conséquent, l'assuré n'avait en tout cas pas droit à une rente à partir de cette date. La situation n'était pas claire, en revanche, en ce qui concerne le degré de l'incapacité de travail pour la période antérieure.
Il appartenait donc à l'administration de procéder à une instruction complémentaire, en demandant à l'expert si un taux d'incapacité de travail égal ou supérieur à 40 pour cent pouvait être retenu et, le cas échéant, pour quelle période, avant la date de l'expertise.
C.- A._ interjette un recours de droit administratif.
Il conclut à l'annulation partielle du jugement cantonal, en tant qu'il lui dénie tout droit à une rente d'invalidité à compter du 1er juillet 2000, et au renvoi de la cause au Tribunal administratif pour complément d'instruction.
L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- a) Selon l'<ref-law>, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 pour cent au moins, à une demi-rente s'il est invalide à 50 pour cent au moins, ou à un quart de rente s'il est invalide à 40 pour cent au moins; dans les cas pénibles, l'assuré peut, d'après l'<ref-law>, prétendre une demi-rente s'il est invalide à 40 pour cent au moins.
b) Selon l'<ref-law>, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
2.- a) En l'occurrence, ni l'administration ni la juridiction cantonale n'ont procédé à la comparaison des revenus prescrite par l'<ref-law>, bien qu'ils se soient pourtant tous deux référés à cette disposition légale.
C'est ainsi que pour parvenir à la conclusion que l'assuré n'avait pas droit à une rente d'invalidité pour la période postérieure à la date de l'expertise, les premiers juges considèrent que la diminution de gain qu'il subit est proportionnelle au taux d'incapacité de travail - attesté par l'expert - de 30 pour cent. Cependant, s'il est vrai qu'une certaine diminution de la capacité de rendement fonctionnelle peut, dans le cas d'une personne active, entraîner une perte de gain de la même importance, cela n'a pas nécessairement cette conséquence, surtout en présence d'une personne qui exerce une activité indépendante (cf.
RCC 1971 p. 318 sv. consid. 2). Dans le cas particulier, une exacte corrélation entre le taux de 30 pour cent attesté par l'expert et la perte de gain consécutive à l'invalidité ne repose sur aucun élément concret.
b) Ce point étant précisé, il n'est pas possible de se prononcer sur le droit éventuel du recourant à une rente à compter du mois de juillet 2000, en raison des lacunes que contient le dossier.
aa) Tout d'abord, le recourant affirme que c'est en raison de son état de santé qu'il a dû, en été 1996, abandonner son activité salariée; le statut d'indépendant lui laissait une plus grande liberté pour aménager son horaire de travail en fonction de son handicap. Cette question n'a semble-t-il fait l'objet d'aucune investigation de la part de l'office de l'assurance-invalidité. Elle revêt toutefois une importance déterminante, car, dans l'affirmative, il faudrait considérer que le recourant, s'il n'avait pas été atteint dans sa santé, aurait probablement poursuivi une activité salariée. C'est en partant de cette hypothèse qu'il conviendrait alors de fixer le revenu réalisable sans invalidité.
bb) En second lieu, le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de l'intéressé, pour autant que l'on puisse admettre que celui-ci utilise sa capacité de travail dans la mesure que l'on est en droit d'exiger de lui (<ref-ruling> consid. 3b/aa). Or, en l'espèce, les éléments font défaut pour procéder à une telle évaluation. Le jugement cantonal ne contient aucune constatation au sujet du revenu actuel du recourant et il n'est pas possible, sur la base des pièces, de l'évaluer avec un minimum de précision. En outre, dans son expertise, le docteur C._ relève que l'assuré travaille "actuellement" dix heures par jour, trois à quatre jours par semaine. Prenant position sur cette expertise, le recourant a produit un relevé détaillé de ses journées de travail entre 1995 et 1999. Il en ressort que son taux d'activité s'est situé, durant ces années, aux environs de 50 pour cent en moyenne, soit un pourcentage sensiblement inférieur au taux d'activité retenu par l'expert. L'office de l'assurance-invalidité a alors soumis ce relevé à l'expert, qui a déclaré que le taux d'occupation allégué lui suggérait "beaucoup plus une inactivité pour raisons professionnelles que pour raisons médicales". Il n'y a donc pas de motif, selon lui, de revenir sur l'appréciation relative au taux d'incapacité de travail attesté précédemment (lettre du 25 octobre 2000).
Le caractère vague et sommaire de ces indications complémentaires de l'expert paraît refléter davantage une impression personnelle qu'une appréciation fondée sur des données médicales ou économiques objectives. Au demeurant, même si l'on suivait l'expert dans ses affirmations et que l'on admît que le recourant pourrait travailler dans une proportion de 70 pour cent, il faudrait examiner quelles en seraient les incidences réelles sur le niveau de ses revenus.
Si, comme le suggère l'expert, une augmentation du temps de travail n'aurait pas d'influence sensible sur le volume des affaires du recourant (et donc sur ses gains), il s'agirait alors de déterminer si l'assuré pourrait réaliser un gain supérieur à ses revenus actuels dans une activité salariée qui soit adaptée à son handicap (cf. <ref-ruling> consid. 3b/bb).
c) En conclusion, il appartiendra à l'office de l'assurance-invalidité - à qui la cause a été renvoyée par les premiers juges - de reprendre l'instruction du cas, sans être lié par la limite temporelle fixée à cet égard par le Tribunal administratif. Il s'agira principalement de clarifier la situation sous l'angle économique. Au besoin, des données médicales complémentaires pourront être requises.
Si l'office de l'assurance-invalidité ne peut déterminer ou évaluer sûrement les revenus en cause, il y aura lieu, en s'inspirant de la méthode spécifique pour non-actifs (<ref-law>), de procéder à une comparaison des activités et évaluer le degré d'invalidité d'après l'incidence de la capacité de rendement amoindrie sur la situation économique concrète (procédure extraordinaire d'évaluation; <ref-ruling> consid. 2; VSI 1998 p. 122 consid. 1a et p. 257 consid. 2b).
3.- Il suit de là que le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis. Le jugement du Tribunal administratif
du canton de Neuchâtel du 3 avril 2001 est
réformé en ce sens que la décision de l'Office de
l'assurance-invalidité du canton de Neuchâtel du 1er novembre 2000 est annulée dans sa totalité.
II. L'office de l'assurance-invalidité du canton de Neuchâtel est invité à compléter l'instruction et à rendre une nouvelle décision au sens des motifs.
III. Il n'est pas perçu de frais de justice.
IV. L'Office de l'assurance-invalidité du canton de Neuchâtel versera au recourant une indemnité de 2500 fr. (y compris la taxe à la valeur ajoutée) au
titre de dépens pour la procédure fédérale.
V. Le Tribunal administratif statuera à nouveau sur les
dépens pour la procédure de première instance, au
regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 16 juillet 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
Le Greffier :