A.- A._ a une formation de mécanicien-faiseur d'étampes. De 1976 à juillet 1996, il a travaillé comme représentant salarié pour une société de vente d'habits et accessoires pour agriculteurs. Il était également actionnaire de cette société. En août 1996, il s'est établi à son propre compte, en poursuivant la même activité et en reprenant une partie du stock de marchandise de la société qui l'employait. Souffrant de lombalgies basses, il a présenté une demande de rente de l'assurance-invalidité le 20 octobre 1998. Son médecin traitant, le docteur B._, a attesté une incapacité de travail de 50 pour cent depuis le 24 octobre 1997, tout en préconisant la mise en oeuvre d'une expertise médicale (rapports des 15 octobre et 29 octobre 1998). Suivant cette proposition, l'Office de l'assurance-invalidité du canton de Neuchâtel a confié une expertise au docteur C._, médecin-chef de l'Association médicale X._. Dans son rapport du 4 juillet 2000, l'expert a posé le diagnostic de discret syndrome lombaire sur sévère discarthrose L5-S1 et de discrète aponévrosite plantaire bilatérale. A la question portant sur le moment à partir duquel l'assuré avait subi une réduction de 20 pour cent au moins de sa capacité de travail, l'expert a mentionné la date du 24 avril 1999. En ce qui concerne l'évolution du degré de l'incapacité de travail depuis cette date, il aindiqué : "Il (le degré) est resté à 50 pour cent". Enfin, à la question lui demandant comment le degré de l'incapacité de travail continuerait à évoluer, il a répondu qu'il n'y avait pas de justification ostéoarticulaire à la poursuite d'une incapacité de travail à mi-temps. Il y avait certes lieu de reconnaître au patient des douleurs imputables à une discarthrose déjà nette, mais compte tenu de son travail, de la surcharge lombaire et de la position assise, une incapacité de travail supérieure à 30 pour cent n'était pas justifiée. Se fondant sur les conclusions de l'expertise, l'office de l'assurance-invalidité a rendu une décision, le 1er novembre 2000, par laquelle il a rejeté la demande de rente. Il a considéré, en bref, que l'état de santé du requérant, notamment au niveau vertébral, n'impliquait pas d'empêchement ou de limitation susceptible d'entraîner une diminution de la capacité de gain dans une proportion de 40 pour cent au moins. B.- A._ a recouru contre cette décision en concluant à l'allocation d'une demi-rente à partir du 1er octobre 1998 ou, subsidiairement, au renvoi de la cause à l'office de l'assurance-invalidité pour complément d'instruction. A titre très subsidiaire, il a conclu au versement d'une demi-rente pour la période du 1er octobre 1998 au 30 septembre 2000. Statuant le 3 avril 2001, le Tribunal administratif du canton de Neuchâtel a partiellement admis le recours. Il a annulé la décision litigieuse en tant qu'elle concernait la période antérieure au mois de juillet 2000 et il a renvoyé la cause à l'office de l'assurance-invalidité pour instruction complémentaire et nouvelle décision au sens des motifs. Le tribunal a considéré qu'à la date de l'expertise, le 4 juillet 2000, l'incapacité de travail de l'assuré était de 30 pour cent, conformément aux conclusions de l'expert. Par conséquent, l'assuré n'avait en tout cas pas droit à une rente à partir de cette date. La situation n'était pas claire, en revanche, en ce qui concerne le degré de l'incapacité de travail pour la période antérieure. Il appartenait donc à l'administration de procéder à une instruction complémentaire, en demandant à l'expert si un taux d'incapacité de travail égal ou supérieur à 40 pour cent pouvait être retenu et, le cas échéant, pour quelle période, avant la date de l'expertise. C.- A._ interjette un recours de droit administratif. Il conclut à l'annulation partielle du jugement cantonal, en tant qu'il lui dénie tout droit à une rente d'invalidité à compter du 1er juillet 2000, et au renvoi de la cause au Tribunal administratif pour complément d'instruction. L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.