Faits : Faits : A. V._ a exercé la profession de maçon jusqu'en 1992, puis celle d'aide-paysagiste. Souffrant d'un syndrome vertébral lombaire sur troubles statiques et surcharge L5-S1 avec sciatalgie droite type S1 atypique (cf. rapport du docteur W._, du 10 mai 1995), il a cessé de travailler à partir du 6 juin 1994. Le 15 novembre 1994, V._ a sollicité une orientation professionnelle de la part de l'AI. L'assuré a été suivi durant quatre semaines par le Centre d'observation professionnel de l'AI à B._ (COPAI). Dans son rapport final du 11 novembre 1997, le directeur de ce centre a indiqué qu'un stage de réentraînement au travail devrait permettre à l'assuré de reprendre progressivement une activité. Un tel stage, effectué auprès de l'entreprise X._ SA, a toutefois échoué (cf. rapport du 10 février 1999). Parmi d'autres mesures, l'AI a confié un mandat d'expertise pluridisciplinaire à la Policlinique médicale Z._, fonctionnant comme centre d'observation médicale de l'AI (COMAI). A l'issue de leurs examens, les médecins du COMAI ont estimé que la capacité de travail de l'assuré s'élevait à 50 % dans une activité adaptée à partir de novembre 1997, après avoir été de 75 % dès juin 1994 (rapport du 14 juillet 2000), en raison d'un trouble somatoforme à expression somatique multiple. L'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a estimé que le trouble somatoforme douloureux ne présentait, chez l'assuré, pas de caractère invalidant, si bien que sa capacité de travail devait être considérée comme étant entière dans un travail adapté à son état de santé, à l'instar d'une activité industrielle légère. Par décision du 27 mars 2001, l'office AI a arrêté le taux d'invalidité de l'assuré à 6,3 %, niant en conséquence son droit à des mesures d'ordre professionnel ainsi qu'à une rente. L'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a estimé que le trouble somatoforme douloureux ne présentait, chez l'assuré, pas de caractère invalidant, si bien que sa capacité de travail devait être considérée comme étant entière dans un travail adapté à son état de santé, à l'instar d'une activité industrielle légère. Par décision du 27 mars 2001, l'office AI a arrêté le taux d'invalidité de l'assuré à 6,3 %, niant en conséquence son droit à des mesures d'ordre professionnel ainsi qu'à une rente. B. Alléguant que l'office AI s'était écarté à tort de l'évaluation des experts du COMAI, V._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en demandant que son taux d'invalidité soit calculé sur la base d'un rendement de 50 % dans une activité adaptée exercée à temps partiel. Par jugement du 8 novembre 2001, la juridiction cantonale a réformé la décision attaquée en ce sens qu'elle a reconnu à l'assuré un droit à un quart de rente d'invalidité à partir du 1er juin 1998, puis à une demi-rente d'invalidité dès le 1er septembre 1998. Par jugement du 8 novembre 2001, la juridiction cantonale a réformé la décision attaquée en ce sens qu'elle a reconnu à l'assuré un droit à un quart de rente d'invalidité à partir du 1er juin 1998, puis à une demi-rente d'invalidité dès le 1er septembre 1998. C. L'office AI interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision du 27 mars 2001. L'intimé conclut au rejet du recours, sous suite de dépens. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. L'Office fédéral des assurances sociales (OFAS) propose l'admission du recours.