A.- J._ a été victime, en 1987, d'une chute sur un chantier dont il a gardé des séquelles à l'épaule droite, demeurées à l'époque sans incidence sur sa capacité de travail comme manoeuvre. Au printemps 1994, ses douleurs se sont toutefois accentuées. Les médecins ont diagnostiqué une tendinopathie sous-acromiale de l'épaule droite. Le 28 février 1995, une résection latérale de la clavicule droite a été pratiquée à la Clinique universitaire d'orthopédie X._ suivie, au mois de juin, d'une arthroscopie pour capsulite adhésive. Ces interventions, ainsi que l'incapacité de travail en résultant, ont été prises en charge par la Caisse nationale suisse en cas d'accidents (CNA). Entre-temps, J._ a été licencié par son employeur.
Le 22 décembre 1995, il a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures de réadaptation professionnelles. L'Office AI du canton du Jura (ci-après : l'office) a alors requis des renseignements médicaux auprès des docteurs A._ et B._, respectivement médecin traitant de l'assuré et médecin assistant à la Clinique universitaire d'orthopédie X._ (rapports des 17 janvier, 6 mai et 25 septembre 1996). Ces deux praticiens ayant conclu qu'un réadaptation dans une profession plus légère s'imposait, l'office a mis J._ au bénéfice d'indemnités journalières dès le 20 mai 1996, dans l'attente de mesures d'ordre professionnel.
Le 20 janvier 1997, le prénommé a commencé un stage d'observation professionnelle chez Y._ SA afin de déterminer ses capacités de réinsertion dans le circuit économique. Au terme de ce stage qui a duré une année, l'assuré a été reconnu apte à exercer une activité adaptée avec un rendement d'au moins 60% (rapport du 8 janvier 1998).
Se fondant sur ces diverses pièces, l'office a alloué à J._, du 1er février au 31 mai 1996, une rente entière simple d'invalidité et, dès le 1er mars 1998, un quart de rente fondée sur un degré d'invalidité de 40 % (décisions du 8 juillet 1999).
B.- L'assuré a déféré ces décisions à la Chambre des assurances du Tribunal cantonal jurassien, en concluant à la reconnaissance d'un degré d'invalidité supérieur à 66 2/3 % au-delà du 31 mai 1996. Dans sa réponse, l'office a proposé de reconsidérer sa prise de position et de reconnaître à l'intéressé le droit à une rente d'invalidité fondée sur un taux de 53 %. Prenant acte de cette proposition, le tribunal a déclaré la procédure sans objet et rayé la cause du rôle (ordonnance du 26 octobre 1999).
L'office a alors rendu, le 12 mai 2000, deux nouvelles décisions (remplaçant celles du 8 juillet 1999), par lesquelles il a derechef octroyé à l'assuré une rente entière simple d'invalidité du 1er février au 31 mai 1996, tout en augmentant le montant des prestations allouées pour tenir compte de périodes de cotisations supplémentaires, ainsi qu'une demi-rente d'invalidité du 1er mars 1998 au 31 janvier 1999.
L'assuré a recouru contre ces décisions, en concluant à la reconnaissance d'un taux d'invalidité supérieur à 66 2/3 % au-delà du 31 mai 1996. Par jugement du 8 mars 2001, le tribunal a rejeté le recours formé contre la décision d'octroi d'une rente entière d'invalidité du 1er février au 31 mai 1996; il a en revanche admis celui visant la décision d'octroi de la demi-rente d'invalidité, annulé cette dernière et renvoyé la cause à l'office pour instruction complémentaire au sens des considérants.
C.- L'office interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision initiale.
J._ conclut au rejet du recours et demande l'assistance judiciaire gratuite pour la procédure fédérale.
De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit :
1.- a) La juridiction cantonale a débouté l'intimé de ses conclusions tendant à l'allocation d'une rente entière au-delà du 31 mai 1996, motif pris que durant la période allant du 31 mai 1996 au 5 mars 1998, celui-ci avait été mis au bénéfice d'indemnités journalières en vertu de l'art. 22 LAI et que ce type de prestations ne pouvait se cumuler avec le droit à une rente d'invalidité. En revanche, pour la période postérieure, le tribunal a considéré que l'évaluation de l'invalidité de l'intimé n'avait pas fait l'objet d'investigations suffisamment étayées de la part de l'office, ni au plan médical ni sous l'angle économique, si bien qu'il se justifiait de lui renvoyer la cause pour instruction complémentaire sur ces deux points.
b) Même si elle ne met pas fin à la procédure, une décision de renvoi, qui invite l'administration à statuer à nouveau selon des instructions impératives, est une décision autonome, susceptible en tant que telle d'être attaquée par la voie du recours de droit administratif, et non une simple décision incidente (ATF 117 V 241 consid. 1, 113 V 159). Il y a dès lors lieu d'entrer en matière sur le recours.
2.- Dans la mesure où le tribunal cantonal a statué sur l'ensemble des rapports juridiques à propos desquels l'office s'est prononcé dans ses deux décisions du 12 mai 2000 et que l'intimé n'a pas interjeté recours de droit administratif contre ce jugement qui confirme notamment la décision de l'office lui allouant une rente entière du 1er février au 31 mars 1996, on peut, en l'espèce, se limiter à examiner le bien-fondé du renvoi prononcé par les juges cantonaux (ATF 125 V 413 consid. 3, 110 V 48 consid. 4a in fine; Meyer-Blaser, Der Streitgegenstand im Streit, in :
Aktuelle Rechtsfragen der Sozialversicherungspraxis, St Gall 2001, p. 33).
3.- Les dispositions légales et les principes jurisprudentiels régissant l'évaluation de l'invalidité (art. 4 et 28 LAI) ont été correctement exposés dans le jugement attaqué, de sorte qu'il suffit d'y renvoyer.
On ajoutera que selon la jurisprudence, une décision par laquelle l'assurance-invalidité accorde une rente d'invalidité avec effet rétroactif et, en même temps, prévoit la réduction de cette rente, correspond à une décision de révision au sens de l'art. 41 LAI (ATF 125 V 417 sv. consid. 2d et les références). Aux termes de cette disposition, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci.
4.- a) Pour sa part, l'office estime qu'il a recueilli suffisamment de renseignements pour évaluer correctement l'invalidité de l'intimé. Il se réfère aux rapports médicaux des docteurs A._ et B._ selon lesquels l'assuré dispose, malgré les limitations liées à son handicap, d'une importante capacité de travail résiduelle, ainsi qu'aux conclusions auxquelles sont parvenus les responsables de la réadaptation à l'issue du stage d'observation.
Toujours selon l'office, ces données sont convaincantes et il n'existe pas de motif sérieux de les compléter par une expertise médicale supplémentaire. Quant au calcul de l'invalidité, il a été effectué dans le respect des dispositions légales applicables (méthode de comparaison des revenus).
b) En l'occurrence, il existe certes des indices donnant à penser que l'état de santé de J._ a subi une évolution favorable depuis 1995 et que le prénommé présente, malgré des douleurs résiduelles, une capacité de travail importante. Le docteur B._ a en effet pu constater dès le mois de mai 1996 une lente mais nette amélioration fonctionnelle de l'épaule droite (rapport du 6 mai 1996); quant au docteur A._, il a fait état, une année plus tard, d'une échographie normale sans signes de calcification tendineuse ou de lésions du tendon, ainsi que d'une bonne mobilité de l'épaule (rapport du 9 juin 1997). Tous deux ont exprimé l'opinion que si l'assuré n'était plus apte à reprendre son ancienne profession de manoeuvre, une activité adaptée lui restait encore accessible.
Mais comme l'ont fait remarquer à juste titre les premiers juges, les rapports de ces médecins portent sur une période bien antérieure au 1er mars 1998 ainsi qu'à la date de la décision litigieuse, et aucun d'entre eux ne précise ni le type de travaux, ni le taux d'activité que l'on peut encore raisonnablement exiger de l'intimé, alors que ces données médicales sont essentielles pour calculer le degré d'invalidité (ATF 125 V 261 consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1). Le rapport du stage d'observation professionnelle ne saurait y suppléer contrairement à ce que voudrait l'office recourant.
Il est en effet extrêmement succinct et les seuls éléments qu'il contient renseignent mal dans quelle activité l'intimé serait à même, concrètement, de mettre en valeur sa capacité de travail et de gain. Enfin, l'estimation du revenu d'invalide à laquelle a abouti l'office (à savoir un salaire horaire de 10 fr.) ne repose sur aucune donnée économique vérifiable, de sorte que sur ce plan également, un complément d'instruction s'avère nécessaire.
Compte tenu du manque de précision des indications médicales versées au dossier et de l'absence d'une enquête économique documentée, il n'est ainsi pas possible de déterminer si le degré d'invalidité de l'intimé s'est modifié au point de réduire notablement son droit aux prestations dès le 1er mars 1998. Partant, le renvoi de la cause à l'office se révèle en tous points justifié.
5.- L'intimé, qui obtient gain de cause, a droit à une indemnité de dépens à charge de l'office recourant (art. 159 al. 1 OJ). Dans cette mesure, sa requête d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'Office AI pour le canton du Jura versera à l'intimé une indemnité de dépens de 1200 fr. (y compris la taxe à la valeur ajoutée) pour l'instance fédérale.
IV. Le présent arrêt sera communiqué aux parties, à la Chambre des assurances du Tribunal cantonal de la République et canton du Jura, ainsi qu'à l'Office
fédéral des assurances sociales.
Lucerne, le 4 avril 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :