A.- B._, ressortissant français, a bénéficié d'autorisations successives de séjour (permis B) puis d'établissement (permis C). Il a été domicilié en Suisse du 4 avril 1990 au 30 septembre 1999, date à laquelle il est retourné en France afin de s'occuper de sa mère qui étaitgravement malade. Le prénommé s'est à nouveau installé en Suisse, le 1er juin 2000, où il a introduit une demande de réintégration de son permis C (attestation du Service de la population de Lausanne, du 17 octobre 2000).
Rentier de l'AI, B._ a sollicité le versement d'une prestation complémentaire à l'AI, le 29 août 2000.
Par décision du 3 novembre 2000, la Caisse cantonale vaudoise de compensation (la caisse) a rejeté la demande, au motif que le requérant n'avait pas habité la Suisse de manière ininterrompue durant les dix années précédant la demande.
B.- B._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant implicitement au versement d'une prestation complémentaire.
La juridiction de recours l'a débouté, par jugement du 26 février 2001.
C.- Dans le délai de recours, B._ s'est adressé au Conseil fédéral. Son écriture a été transmise au Tribunal fédéral des assurances.
La caisse intimée conclut au rejet du recours de droit administratif. L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- a) D'après l'<ref-law>, les ressortissants suisses qui ont leur domicile et leur résidence habituelle en Suisse et qui remplissent une des conditions prévues aux articles 2a à 2d doivent bénéficier de prestations complémentaires si les dépenses reconnues par la présente loi sont supérieures aux revenus déterminants.
L'<ref-law> dispose que les étrangers qui ont leur domicile et leur résidence habituelle en Suisse doivent bénéficier de prestations complémentaires au même titre que les ressortissants suisses s'ils ont habité en Suisse pendant les dix ans précédant immédiatement la date à partir de laquelle ils demandent la prestation complémentaire et s'ils ont droit à une rente, à une allocation pour impotent ou à une indemnité journalière de l'AI ou remplissent les conditions d'octroi prévues àl'ar- ticle 2b, lettre b.
b) La jurisprudence a réglé le droit des ressortissants étrangers à une prestation complémentaire, lorsqu'ils ont interrompu leur séjour en Suisse durant le délai de carence instauré par l'<ref-law>. C'est ainsi qu'une absence à l'étranger ne dépassant pas trois mois n'interrompt pas ledit délai de dix ans; en revanche, si l'absence dure plus de trois mois, un nouveau délai de carence recommence à courir dès le retour en Suisse. Demeure toutefois réservée l'éventualité où l'assuré n'a pas pu revenir en Suisse à temps, en raison d'une atteinte à la santé ou d'un cas de force majeure (<ref-ruling> consid. 2c, 110 V 172-174 consid. 3; voir aussi le ch. 2015 des Directives de l'OFAS concernant les prestations complémentaires à l'AVS et à l'AI).
2.- Dans le cas d'espèce, il est établi que le recourant n'avait plus de domicile en Suisse, au sens du droit civil (<ref-law>), durant la période qui s'est étendue d'octobre 1999 à mai 2000, soit pendant huit mois. Par ailleurs, l'assistance - aussi louable qu'elle ait été - que le recourant a prodiguée à sa mère malade en France, ne constituait pas un cas d'atteinte à la santé (de l'assuré) ou de force majeure, qui aurait empêché l'intéressé de revenir en Suisse (<ref-ruling> consid. 2c in fine). En conséquence, le délai de carence de dix ans prévu par l'<ref-law> a recommencé à courir dès le retour du recourant en Suisse, le 1er juin 2000.
Il s'ensuit que ce dernier ne remplissait pas les conditions légales mises au versement d'une prestation complémentaire à l'AI, au moment où il en a requis le versement (le 29 août 2000). Dès lors, la décision litigieuse et le jugement attaqué sont en tous points conformes au droit fédéral, nonobstant les rigueurs que cela entraîne pour le recourant (à ce sujet, voir <ref-ruling>-467 consid. 3).
Par ailleurs, on peut se passer d'examiner la solution qu'il conviendrait de donner au présent litige à la lumière des accords sectoriels conclus entre la Communauté européenne et la Confédération suisse (FF 1999 p. 5646; Carigiet/Koch, Ergänzungsleistungen zur AHV/IV, supplé- ment 2000, p. 76), car ceux-ci ne sont à l'heure actuelle pas en vigueur.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 janvier 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
Le Greffier :