A.- R._, marié, exerçant l'activité d'artisan-ferronnier à titre indépendant, a été victime d'une attaque cérébrale à la fin du mois d'avril 1995, puis d'un infarctus au mois d'octobre 1995.
L'Office de l'assurance-invalidité du canton de Fribourg a mis le prénommé, alors domicilié dans le canton de Fribourg, au bénéfice d'une rente entière d'invalidité, assortie d'une rente complémentaire en faveur de son épouse dès le 1er octobre 1996.
Après le divorce de R._, son établissement dans le canton de Vaud et son remariage le 24 avril 1998, l'Office cantonal de l'assurance-invalidité du canton de Vaud (ci-après : OAI) lui a, par décision du 24 février 1999, alloué une rente entière d'invalidité dès le 1er avril 1998.
B.- Le prénommé a recouru contre cette cette décision au motif que l'OAI lui a refusé l'octroi d'une rente complémentaire en faveur de son épouse; il a été débouté par jugement du 22 février 2001 du Président du Tribunal cantonal des assurances du canton de Vaud.
C.- R._ interjette recours de droit administratif contre ce jugement dont il requiert implicitement l'annulation, en concluant à l'octroi d'une rente complémentaire pour son épouse.
L'OAI conclut au rejet du recours. L'Office fédéral des assurances sociales conclut au renvoi de la cause à l'administration pour complément d'enquête ou du moins à ce que le dossier AI complet soit produit devant la Cour de céans.

Considérant en droit :
1.- a) Seul est litigieux le point de savoir si le recourant, reconnu invalide à partir du 1er octobre 1996, a droit à une rente complémentaire pour son épouse avec laquelle il s'est marié le 24 avril 1998. Cette prétention ayant, le cas échéant, pris naissance après le 31 décembre 1996, elle doit être examinée sous l'angle des dispositions de la LAI dans leur teneur en vigueur depuis le 1er janvier 1996 (cf. ch. 2 al. 1er des dispositions transitoires relatives à la modification de la LAI dans le cadre de la 10ème révision de la LAVS en relation avec les let. c, al. 1 à 9, f al. 2 et g al. 1er des dispositions transitoires relatives à la LAVS).
Aux termes de l'art. 34 al. 1, 1ère phrase LAI, les personnes mariées qui peuvent prétendre une rente ont droit, si elles exerçaient une activité lucrative immédiatement avant la survenance de l'incapacité de travail, à une rente complémentaire pour leur conjoint, pour autant que ce dernier n'ait pas droit à une rente de vieillesse ou d'invalidité.
b) Dans son message concernant la dixième révision de l'AVS du 5 mars 1990, le Conseil fédéral a précisé à propos de l'art. 34 al. 1 LAI que le terme "incapacité de travail" doit être interprété dans le sens de l'art. 29 al. 1 let. b LAI. En ce qui concerne la computation, on se base donc sur le début du délai d'attente (recte : période de carence) d'une année, dès lors que l'impossibilité d'exercer une activité lucrative durant ladite période devrait être la règle, en tous les cas lorsqu'il y a invalidité grave (FF 1990 II 114).
Se fondant sur le texte clair de la loi et sur ledit message du Conseil fédéral, le Tribunal fédéral des assurances a jugé que le droit à une rente complémentaire pour le conjoint doit être nié s'il s'écoule un laps de temps entre la fin de la période d'activité lucrative (ou d'une autre période assimilée au sens de l'art. 30 RAI) et le moment de la survenance de l'incapacité de travail invalidante constaté par les organes d'application de la LAI (arrêt non publié K. du 7 mai 2001 [I 584/00]).
Il y a donc lieu d'examiner si le recourant exerçait une activité lucrative immédiatement avant la survenance de son incapacité de travail au sens de l'art. 34 al. 1 LAI, soit avant le 1er octobre 1995.
2.- Le premier juge est d'avis que le recourant n'a pas exercé d'activité lucrative jusqu'au 30 septembre 1995, "étant demeuré vraisemblablement inactif à partir du 30 avril précédent".
Il est vrai que dans sa demande de prestations de l'AI du 12 février 1996, le recourant a indiqué qu'il n'a pas pu travailler depuis le 31 avril (sic) 1995, en raison d'attaques cérébrales qu'il a subies à ce moment. Toutefois, l'Office de l'assurance-invalidité du canton de Fribourg a indiqué, au cours de l'instruction cantonale, que l'assuré a présenté des troubles de santé dès 1993, "sans toutefois que ceux-ci n'occasionnent d'incapacité de travail continue", celle-ci ne pouvant être attestée qu'à partir d'octobre 1995. Le docteur A._ a du reste confirmé, dans un certificat médical du 29 août 1995, qu'une reprise de l'activité professionnelle du recourant était prévisible, sans qu'il ne connaisse cependant les dates d'arrêt ou de reprise du travail.
Par ailleurs, le recourant allègue qu'après une période d'incapacité de travail due à plusieurs attaques cérébrales au mois d'avril 1995, il a cherché à reprendre son activité lucrative au mois de septembre 1995. Il ressort de l'ordonnance du 21 septembre 1995 du Président du Tribunal des baux à loyer de l'arrondissement de la Sarine, que l'assuré a voulu, les 14 et 19 septembre 1995, livrer des pièces terminées à un client, mais n'a pu accéder à son atelier à cause d'un verrou apposé par le propriétaire en raison de loyers impayés depuis le mois de juin 1995. C'est pourquoi le recourant a entrepris des démarches concrètes auprès de ce Tribunal pour disposer à nouveau de son atelier.
A la suite de l'ordonnance d'urgence du 21 septembre 1995 rendue par le Président dudit Tribunal, il a été en mesure de récupérer lesdites pièces pour les remettre à son client le 28 du même mois. Le 4 octobre 1995, le recourant expliquait avoir des commandes en cours pour divers travaux de ferronnerie et pouvoir travailler, malgré l'absence d'électricité, pour exécuter un échantillon en vue d'une commande future, son activité lucrative constituant sa seule source de revenus (procès-verbal d'audience du 4 octobre 1995 devant l'instance susmentionnée). On peut noter à cet égard que l'une des caractéristiques essentielles d'une activité lucrative est l'intention d'obtenir un gain en effectuant un travail (RCC 1987 447 consid. 3c) et qu'une telle activité à titre indépendant existe déjà avant qu'un revenu effectif ne soit réalisé (<ref-ruling> consid. 9c). Il n'y a pas de raison de mettre en doute les déclarations du recourant des 21 septembre et 4 octobre 1995, dans la mesure où il les a faites juste avant la survenance de son incapacité de gain définitive, dans un contexte étranger à la demande de prestations de l'assurance-invalidité déposée le 12 février 1996.
Dès lors, on peut retenir, au degré de la vraisemblance prépondérante requise par la jurisprudence (<ref-ruling> consid. 2 et les arrêts cités), que s'il a été empêché de travailler en raison de ses problèmes de santé pendant plusieurs mois, le recourant a néanmoins repris, du moins en partie, son activité lucrative à la fin du mois de septembre 1995 et envisageait de poursuivre celle-ci. Contrairement à l'avis du premier juge, le recourant doit donc être considéré comme exerçant une activité lucrative immédiatement avant la survenance de son incapacité de travail, au début du mois d'octobre 1995. Par conséquent, les autres conditions de l'art. 34 al. 1 LAI étant remplies, le recourant a droit à une rente complémentaire pour son épouse. Le recours se révèle ainsi bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 22 février 2001
du Président du Tribunal des assurances du canton de
Vaud, ainsi que la décision du 24 février 1999 de
l'Office de l'assurance-invalidité du canton de Vaud
sont annulés.
II. La cause est renvoyée à l'office intimé pour qu'il alloue une rente complémentaire au recourant.
III. Il n'est pas perçu de frais de justice.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 26 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :