A.- F._ travaillait depuis 1985 comme chauffeur-livreur.
Il exerçait en outre, à titre accessoire, une activité d'agriculteur au sein de l'exploitation familiale.
Souffrant du dos et de la nuque, il a cessé son activité principale au mois de janvier 1998 et présenté, en septembre de la même année, une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures d'ordre professionnel et d'une rente. Depuis lors, il a progressivement repris, en l'augmentant, son activité d'agriculteur, désirant ainsi mettre en valeur sa capacité résiduelle de travail en exploitant le domaine à titre indépendant avec l'aide de ses proches. Il a, par ailleurs, assumé durant quelques temps ad interim une charge de conseiller communal.
Toutes activités confondues, son revenu annuel avant la survenance de l'invalidité a été estimé à 68 881 fr. 75.
Par décision du 23 octobre 2000, l'Office cantonal AI du Valais (ci-après : l'office) a nié le droit de l'assuré à une rente au motif que son invalidité, évaluée selon la méthode extraordinaire n'était que de 29 %. En substance, l'office a retenu, en procédant à une comparaison des champs d'activité avec pondération économique, que F._ était encore en mesure, malgré ses atteintes à la santé, de réaliser un gain annuel de 48 798 fr. 55. Ce revenu hypothétique aurait pu être acquis, selon l'office, par l'exercice à temps plein d'une activité légère et adaptée, sans port de charges et permettant l'alternance des positions (gain annuel : 40 495 fr.), de l'activité accessoire d'agriculteur, compte tenu d'une limitation de 25 % de sa capacité de travail (2303 fr. 55 par année) et des indemnités de conseiller communal (6000 fr. l'an).
B.- Par jugement du 25 juin 2001, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé contre cette décision par l'assuré.
C.- F._ interjette recours de droit administratif contre ce jugement. Il conclut à son annulation et à l'octroi d'une demi-rente d'invalidité, sous suite de frais et dépens. L'office et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit :
1.- Le jugement entrepris expose correctement les dispositions légales et la jurisprudence relatives à l'évaluation de l'invalidité, en particulier lorsqu'il s'agit d'appliquer la méthode extraordinaire d'évaluation, ainsi qu'au droit à une rente. Il suffit d'y renvoyer sur ces points.
2.- a) Quant au choix de la méthode d'évaluation de l'invalidité, les premiers juges ont exposé que l'office avait appliqué à juste titre la méthode extraordinaire, eu égard à la difficulté d'établir le revenu que le recourant serait à même de réaliser malgré son invalidité dans son activité agricole, notamment en considération de l'aide de son épouse et de son père, du fait qu'aucune donnée fiscale n'était encore disponible et des grandes variations de tels revenus d'une année à l'autre.
Pour sa part, le recourant soutient qu'il n'y avait pas lieu d'appliquer la méthode d'évaluation extraordinaire dès lors que l'office aurait été en mesure, dans le cadre de l'enquête économique, de déterminer avec suffisamment d'exactitude ses gains.
b) En réalité, un examen attentif de la décision du 23 octobre 2000 révèle que l'office a appliqué de manière combinée la méthode générale de comparaison des revenus - en relation avec l'activité principale - et la méthode extraordinaire - en relation avec l'activité accessoire agricole. Le point de savoir si un tel procédé est admissible peut toutefois demeurer indécis en l'espèce. Comme on le verra, en effet, la prise en compte ou non de l'activité agricole dans la comparaison de la capacité de gain de l'assuré avec et sans invalidité demeure sans incidence sur son droit à une rente (consid. 4d).
Pour la même raison, il n'est pas nécessaire d'examiner en l'espèce s'il y a lieu de prendre en compte dans la comparaison les revenus d'une activité accessoire en tant que cette dernière s'ajoute à une activité principale elle-même déjà exercée à plein temps (cf. Ulrich Meyer-Blaser, Bundesgestz über die Invalidenversicherung [IVG], ad <ref-law>, p. 207 et la référence citée; question également laissée indécise dans l'arrêt non publié L. du 28 août 2000 [I 486/99]).
3.- En ce qui concerne le revenu sans invalidité, les premiers juges ont retenu un montant annuel de 62 881 fr.
provenant à raison de 59 810 fr. de l'activité de chauffeur et de 3071 fr. de l'activité agricole. Le recourant ne conteste pas ces chiffres qui ressortent au demeurant des pièces du dossier en ce qui concerne le premier et, en particulier, des renseignements fournis pas l'Ecole X._ en ce qui concerne le second. Ils ont par ailleurs considéré qu'il n'y avait pas lieu de prendre en compte dans le calcul le revenu annuel de conseiller communal de 6000 fr., le recourant n'ayant pas été reconduit dans cette fonction qu'il n'avait exercée que durant une brève période.
4.- a) Quant au revenu d'invalide, les premiers juges ont retenu un montant annuel de 42 798 fr. correspondant à celui admis par l'office après déduction du revenu de conseiller communal de 6000 fr., pour la raison exposée ci-dessus.
Pour sa part, le recourant estime que seul un revenu hypothétique de 25 969 fr. 90 (revenu d'agriculteur, compte tenu d'une capacité de travail attestée médicalement de 75 % dans cette activité) voire de 30 371 fr. (moyenne des revenus des activités proposées par l'office sous déduction d'une fraction de 25 % tenant compte de son handicap) peut être retenu dans la comparaison.
b) En cours d'instruction de sa demande de prestations, l'assuré a été soumis à l'expertise des docteurs A._ (spécialiste FMH en psychiatrie et psychothérapie) et B._ (médecin-chef du service de réadaptation de la Clinique Y._). A l'issue d'un examen détaillé, ce dernier ne relève aucune limitation de la mobilité du rachis et aucune évidence de souffrance médullaire ou radiculaire malgré les anomalies radiologiques. Il existe une nette discordance entre les anomalies cliniques fortement mineures et les plaintes majeures et chroniques rapportées par le patient. Le docteur B._ retient le diagnostic de syndrome somatoforme douloureux persistant, nosologiquement superposable à celui de fibromyalgie. Il relève encore que les troubles dégénératifs mis en évidence radiologiquement participent de manière évidente aux douleurs du patient mais peuvent tout au plus justifier une incapacité de travail de 25 % en tant que chauffeur-livreur ou agriculteur.
Toutefois, dans une activité bien adaptée, sans port de charge, lui permettant de changer de position régulièrement, l'assuré ne devrait ressentir aucune limitation fonctionnelle et être en mesure d'assumer une activité à plein temps.
c) En règle générale, lorsque l'assuré exerce une activité, il faut admettre que le gain effectivement réalisé équivaut à une prestation de travail correspondante. La jurisprudence admet cependant que des circonstances, dont la preuve de l'existence est soumise à des exigences sévères, justifient de s'écarter du revenu effectif en faveur ou en défaveur de l'assuré, qu'il s'agisse de l'évaluation du revenu avec ou sans invalidité (arrêts non publiés M. du 10 décembre 2001 [I 320/01], W. du 23 juillet 1999 [I 200/98]; cf. en relation avec l'évaluation du revenu d'invalide, <ref-ruling>; <ref-ruling> consid. 4c). Par ailleurs, la seule circonstance qu'un assuré disposerait de meilleures possibilités de gain que celles qu'il met en valeur et qui lui permettent d'obtenir un revenu modeste ne justifie pas encore que l'on s'écarte du gain qu'il perçoit effectivement; on peut toutefois renoncer à se référer à ce dernier lorsqu'il ressort de l'ensemble des circonstances du cas que l'assuré, sans invalidité, ne se contenterait pas d'une telle rémunération de manière durable (RCC 1992 p. 96 consid. 4a).
En l'espèce, initialement chauffeur-livreur, le recourant n'a envisagé de reprendre l'exploitation du domaine familial qu'après le dépôt de sa demande de prestations d'invalidité. Selon ses propres déclarations, il s'agissait là de la meilleure solution lui permettant de travailler à son rythme et de se faire aider par les membres de sa famille pour les travaux les plus pénibles. Il faut ainsi admettre que, sans invalidité, le recourant n'aurait pas exercé à titre principal cette activité qui ne lui assure qu'un revenu modeste, de l'ordre de 12 fr. 70 de l'heure, ce qui justifie déjà, au sens de la jurisprudence citée ci-dessus, que l'on ne retienne pas ce seul revenu à titre de revenu d'invalide. Par ailleurs, contrairement à ce que soutient le recourant, le seul fait que le docteur B._ indique que dans l'hypothèse où il ne serait pas à même d'assurer une activité à 75 % dans l'agriculture, les activités proposées par l'office seraient exigibles de lui, ne justifie pas une autre solution. Si le docteur B._ paraît certes privilégier l'activité agricole aux autres activités de substitution proposées par l'office, qu'il ne présente que comme subsidiaires, ce médecin n'invoque aucun motif médical à l'appui de cette conclusion, mais bien plutôt le fait que l'assuré a déjà organisé son activité agricole, physiquement plus exigeante, de manière à pouvoir néanmoins l'exercer malgré une capacité de travail réduite. Force est, dès lors, de constater que cette activité, qui ne lui permet pas d'exploiter pleinement sa capacité résiduelle de travail et n'offre qu'une faible rémunération, ne lui permet pas de mettre en valeur, de manière optimale, sa capacité résiduelle de gain. Il convient, en conséquence, de déterminer sa capacité résiduelle de gain sur la base des données statistiques (<ref-ruling> consid. 3).
Pour le surplus, les critiques formulées par le recourant à l'égard des activités suggérées par l'office sont sans pertinence. Au regard du large éventail d'activités simples et répétitives offertes par les secteurs de la production et des services, on doit convenir qu'un nombre significatif d'entre elles sont légères, permettent l'alternance des positions, et sont donc adaptées à ses problèmes physiques.
d) Selon les données de l'enquête suisse sur la structure des salaires (ESS) 1998, le revenu mensuel standardisé d'un homme exerçant une activité simple et répétitive s'élevait, tous domaines confondus, à 4268 fr. par mois (valeur médiane). Ce montant correspond, compte tenu d'un horaire de travail moyen de 41,8 heures et après adaptation à l'évolution des salaires nominaux de 1998 à 2000 (base 1993 = 100, 1998 = 105, 3, 2000 = 106, 9 [Annuaire statistique de la Suisse 2001, T 3.4.3.2, p. 204; La Vie économique 12/2001, B 10,4, p. 82]), à un salaire annuel de 54 333 fr. 95. Il s'ensuit que même en procédant à l'abattement maximal de ce salaire statistique admis par la jurisprudence (25 %), alors qu'une déduction de l'ordre de 10 % tout au plus apparaît indiquée en l'espèce, et même en faisant abstraction d'un revenu accessoire dans l'agriculture (cf. consid. 2b supra) - pourtant pris en compte dans le revenu sans invalidité retenu par les premiers juges (cf. consid. 3 supra) -, le taux d'invalidité du recourant (62 881 - 40 750, 45 / 62 881 = 35,19 %) n'atteint pas le seuil de 40 % lui ouvrant le droit à une rente d'invalidité (<ref-law>).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale valaisanne de compensation, au Tribunal cantonal des assurances du canton du Valais
ainsi qu'à l'Office fédéral des assurances sociales.
Lucerne, le 20 mars 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
p. le Greffier :