A.- A._ travaillait comme machiniste au service de l'entreprise X._ SA. Dès 1996, il a connu plusieurs périodes d'incapacité de travail liées à des problèmes de santé. En 1998, il a subi une lombocruralgie bilatérale sur hernie discale L4-L5 et une cure d'éventration sus-ombilicale, ce qui l'a contraint à mettre un terme à son activité professionnelle. Le 11 novembre de la même année, il a présenté une demande de rente à l'assurance-invalidité.
Après avoir recueilli les avis des divers médecins qui ont traité l'assuré et celui de son médecin-conseil, l'Office AI du canton du Valais (ci-après : l'office) a organisé un stage d'observation professionnelle aux Ateliers Y._ du 25 avril au 23 juillet 2000. Au terme de ce stage, les responsables de la réadaptation ont exprimé l'opinion que l'assuré ne serait que difficilement intégrable dans une entreprise en raison avant tout de son manque de motivation; ils ont par ailleurs dressé une liste de quatre postes de travail susceptibles de convenir aux limitations fonctionnelles qu'ils avaient observées chez lui (rapport du 10 août 2000). Invité à se prononcer sur le caractère exigible de ces emplois ainsi que sur le taux d'activité envisageable, le docteur B._, médecin traitant, a répondu que les postes retenus étaient à la portée de son patient à 100 %. A la suite d'un nouvel examen, ce médecin est toutefois revenu sur son appréciation initiale et a conclu qu'une activité adaptée à mi-temps était nettement plus appropriée à l'état de santé de l'assuré (rapport du 15 novembre 2000).
Après avoir soumis cette nouvelle pièce à son médecin-conseil, l'office a, par deux décisions du 30 novembre 2000, accordé à A._ une rente d'invalidité entière du 1er décembre 1998 au 30 juin 2000 (décision no 1) et un quart de rente d'invalidité à partir du 1er juillet 2000 (décision no 2).
B.- Par jugement du 21 août 2001, le Tribunal cantonal valaisan des assurances a admis le recours formé par l'assuré contre la décision no 2 de l'office, annulé cette dernière et renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision dans le sens des considérants.
C.- L'office interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision.
A._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le jugement attaqué annule la décision no 2 du 30 novembre 2000 et renvoie le dossier à l'office recourant pour qu'il complète l'instruction, le cas échéant par la mise en oeuvre d'une expertise médicale, et rende une nouvelle décision sur le droit de l'intimé à une rente d'invalidité dès le 1er juillet 2000.
Même si elle ne met pas fin à la procédure, une décision de renvoi, qui invite l'administration à statuer à nouveau selon des instructions impératives, est une décision autonome, susceptible en tant que telle d'être attaquée par la voie du recours de droit administratif, et non une simple décision incidente (<ref-ruling> consid. 1, 113 V 159). Il y a donc lieu d'entrer en matière sur le recours.
2.- Les premiers juges ont estimé que l'office ne pouvait écarter le second avis du docteur B._ sans instruction médicale complémentaire. De prime abord, ce médecin avait certes évalué la capacité résiduelle de l'assuré dans une activité adaptée à 100 %, mais il avait modifié son appréciation après avoir procédé à un nouvel examen médical de son patient. Du moment qu'aucun autre médecin hormis le médecin-conseil de l'office n'avait conclu à une aptitude de travail totale, il se justifiait dès lors d'éclaircir plus avant cette question.
Pour sa part, l'office recourant reproche aux juges cantonaux d'avoir totalement occulté les résultats du stage d'observation professionnelle lesquels démontrent que l'intimé est à même de travailler la journée entière dans des activités légères essentiellement en position assise et permettant l'alternance des positions. Il fait en outre valoir que le second rapport du docteur B._ n'apporte aucun élément nouveau au plan médical et semble plutôt motivé par des considérations étrangères à l'invalidité.
3.- a) Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge s'il y a eu recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler, le cas échéant quels travaux on peut encore raisonnablement exiger de lui (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
Quand la situation médicale est élucidée, l'assuré peut être admis dans un centre d'observation professionnelle aux fins de déterminer si et, le cas échéant, dans quelle mesure il est à même, concrètement, de mettre en valeur sa capacité de travail et de gain. Les informations recueillies au cours d'un tel stage peuvent se révéler utiles, en complément des données médicales, pour fixer le degré d'invalidité (voir à ce sujet, L'instruction des possibilités de gain des personnes prétendant une rente, compte-rendu d'une séance du 10 novembre 1989 consacrée aux problèmes de l'expertise médicale et professionnelle, RCC 1990 p. 59 ss; Karl Abegg, Coup d'oeil sur l'activité des centres d'observation professionnelle de l'AI, RCC 1985 p. 246 ss).
b) Il est vrai, comme le fait remarquer l'office recourant, que l'assuré a été capable de suivre durant trois mois le stage organisé à son intention avec un taux de présence de 100 %, ce qui constitue un indice non négligeable donnant à penser qu'une activité à plein temps est à sa portée. Cet office omet cependant de mentionner que le rendement quantitatif de A._ par rapport aux normes industrielles s'est révélé plutôt modeste (entre 29 % et 69 % selon les activités testées) et que le prénommé s'est régulièrement plaint de "journées de travail trop longues", de même que de douleurs diffuses au niveau des deux jambes, des hanches, du dos et du bas-ventre (cf. chapitres I et V du rapport de réadaptation). Ce ne sont certes que des indications purement subjectives auxquelles on ne saurait accorder une importance décisive lorsqu'il s'agit de déterminer ce qui peut encore être raisonnablement exigé d'un assuré. Mais c'est au médecin en premier lieu qu'il revient d'en juger. Que les conclusions des responsables des Ateliers Y._ constituent un élément utile à l'évaluation globale de la capacité de travail de l'intimé ne prête pas à discussion; on ne voit pas en revanche qu'elles puissent suppléer à l'absence d'une appréciation médicale sérieuse du cas. Or, en l'espèce, seuls le docteur B._ et le médecin-conseil de l'office se sont prononcés sur les répercussions économiques des atteintes à la santé de l'intimé, et leurs avis respectifs, au demeurant extrêmement sommaires, sont divergents.
Dans ces conditions, et contrairement à ce que voudrait l'office recourant, on ne peut faire grief à la juridiction cantonale d'avoir estimé nécessaire un complément d'instruction. Le recours est donc mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'Office cantonal AI du Valais versera à l'intimé la somme de 2500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal valaisan des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 20 mars 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :