A.- H._, est entré en Suisse le 12 février 1993. Divorcé, il a deux enfants, nés en 1993 et 1996.
Le 9 janvier 1997, H._ a présenté une demande de reclassement dans une nouvelle profession ou de rééducation dans la même profession. Il indique qu'il est traité pour un état dépressif depuis 1996.
Dans un rapport du 18 août 1997, le docteur A._, médecin traitant, spécialiste en médecine générale, pose le diagnostic de troubles de l'adaptation, perturbation des émotions, traits paranoïdes et antisociaux.
Il fixe le degré d'incapacité de travail de l'assuré à 100%, à partir du 1er mai 1997. Il ajoute que le début de l'atteinte à la santé remonte probablement à l'adolescence.
H._ a fait sept brefs séjours, de juillet 1996 à janvier 1999, à la Fondation X._ de l'Hôpital psychiatrique Y._ (rapports médicaux des 7 août et 6 septembre 1996, du 31 juillet 1997, des 14 août, 18 et 28 décembre 1998, ainsi que du 12 février 1999).
Par décision du 7 février 2000, fondée sur un rapport du 29 juillet 1999 de son médecin-conseil, le docteur B._, l'Office de l'assurance-invalidité du canton de Vaud (ci-après: OAI) a rejeté la demande de prestations de l'assuré, au motif qu'il ne présentait pas une atteinte à la santé invalidante entraînant une incapacité de travail et de gain.
B.- Par jugement du 9 novembre 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré.
C.- H._ interjette recours de droit administratif contre ce jugement, en concluant implicitement au versement d'une rente entière d'invalidité. A l'appui de son recours, il invoque, notamment, un rapport du docteur A._ (du 20 avril 2000). Par la suite, il a demandé à être mis au bénéfice de l'assistance judiciaire.
L'OAI conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Le litige porte sur le point de savoir si le recourant souffre de troubles psychiques limitant sa capacité de gain dans une mesure suffisante pour fonder un droit à des prestations de l'assurance-invalidité.
2.- a) Le jugement entrepris expose de manière correcte les règles et les principes jurisprudentiels applicables au présent cas, de sorte qu'il suffit d'y renvoyer.
b) On rappellera, cependant, que parmi les atteintes à la santé psychique, qui peuvent, comme les atteintes physiques, provoquer une invalidité au sens de l'<ref-law>, on doit mentionner - à part les maladies mentales proprement dites - les anomalies psychiques qui équivalent à des maladies. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible.
Il faut donc établir si et dans quelle mesure un assuré peut, malgré son infirmité mentale, exercer une activité que le marché du travail lui offre, compte tenu de ses aptitudes. Le point déterminant est ici de savoir quelle activité peut raisonnablement être exigée dans son cas.
Pour admettre l'existence d'une incapacité de gain causée par une atteinte à la santé mentale, il n'est donc pas décisif que l'assuré exerce une activité lucrative insuffisante; il faut bien plutôt se demander s'il y a lieu d'admettre que la mise à profit de sa capacité de travail ne peut, pratiquement, plus être raisonnablement exigée de lui, ou qu'elle serait même insupportable pour la société (<ref-ruling>; VSI 2000 p. 153 consid. 2a et les références).
3.- a) Les premiers juges ont considéré, en se fondant sur les sept rapports des spécialistes en psychiatrie de la Fondation X._ que, même si les traits de caractère relevés par ces médecins se sont accentués, il n'y a aucune contre-indication formelle à l'exercice d'une quelconque profession, sinon les limites propres du caractère de l'assuré, soit une grande fragilité narcissique à l'échec et à la critique (traits paranoïdes), ainsi que les problèmes psychosociaux, qui remontent à son arrivée en Suisse, en 1992, à la non-reconnaissance de son diplôme d'électricien, au divorce, à la solitude, à la perte de permis de séjour et à la consommation d'alcool. La juridiction cantonale en a conclu que le recourant ne présente pas une pathologie psychiatrique grave, mais des troubles de l'adaptation avec réaction mixte anxio-dépressive sur personnalité paranoïaque.
Elle a retenu que l'absence d'un diagnostic psychiatrique clairement posé ne permet pas d'établir une atteinte à la santé invalidante au sens de l'assurance-invalidité.
b) Cette conclusion n'est pas critiquable. En effet, selon les premiers diagnostics posés par les psychiatres de la Fondation X._, en août 1996 et juillet 1997, le recourant présente des troubles de l'adaptation avec prédominance de la perturbation d'autres émotions (F43. 23), chez une personnalité dissociale, d'abord (F60. 2), puis chez un patient présentant des troubles mixtes de la personnalité (traits paranoïaques et antisociaux F61. 0). En 1998 et 1999, ces praticiens ont complété ce tableau en diagnostiquant des troubles de l'adaptation avec réaction mixte anxieuse et dépressive (F43. 22), une personnalité paranoïaque (F60. 0), des troubles mentaux et du comportement liés à la consommation d'alcool (F10. 26), une intoxication aiguë sans complication (F10. 00) et des lésions auto-infligées par utilisation d'objets tranchants (X.78). En outre ces médecins ont aussi mentionné une consommation épisodique de dérivés de cannabis (F12. 26), ainsi que de sédatifs et d'hypnotiques (F13. 26).
Dans leur rapport du 14 août 1998, les médecins de la Fondation X._ ont précisé que le malaise provient essentiellement de la perte par le recourant de son permis de travail, de l'avis d'expulsion du canton de Vaud et de la résiliation de son contrat de travail (pour abandon de poste) par son employeur.
De surcroît, à plusieurs reprises, les psychiatres de la Fondation X._ ont fait état de comportements mensongers et manipulateurs de la part du recourant, ainsi que de l'absence de collaboration et de demande d'aide. A cet égard, leur dernier rapport (du 12 février 1999) fait ressortir que la relation d'aide se trouve rapidement pervertie par toute une série de comportements manipulateurs et de mensonges enlevant tout sens à une véritable approche thérapeutique.
Basées sur une observation clinique attentive du recourant au cours de sept séjours hospitaliers, ainsi que sur les plaintes exprimées par celui-ci et, établies en pleine connaissance de l'anamnèse, les conclusions des psychiatres de la Fondation X._ remplissent toutes les exigences requises pour se voir reconnaître pleine valeur probante (<ref-ruling> consid. 3a et 353 sv. consid. 3b/ee et les références).
Ces conclusions rejoignent d'ailleurs pour l'essentiel celles du médecin-conseil de l'OAI, pour lequel le recourant ne souffre pas de maladie, mais de troubles réactifs à des facteurs extérieurs (rapport du 27 septembre 1999).
Le point de vue du médecin traitant, le docteur A._ - selon lequel les troubles de l'adaptation majeurs chez une personne paranoïaque grave qu'il a diagnostiqués chez son patient justifient l'octroi d'une rente d'invalidité fondée sur un taux d'invalidité de 100% - n'est pas de nature à faire douter du bien-fondé des conclusions des médecins de la Fondation X._. En effet, contrairement à ces derniers praticiens, le docteur A._ n'est pas un spécialiste en psychiatrie. Par ailleurs, le juge doit tenir compte du fait que le médecin traitant est généralement enclin, en cas de doute, à prendre parti pour son patient en raison de la relation de confiance qui l'unit à ce dernier (<ref-ruling> consid. 3b/cc et les références).
Dans ces circonstances, force est d'admettre que le recourant ne présente pas une atteinte à la santé invalidante au sens de la jurisprudence citée au consid. 2b ci-dessus, de sorte que c'est à juste titre que les premiers juges ont nié son droit à des prestations de l'assurance-invalidité. Le recours est dès lors mal fondé.
4.- Le recourant a demandé à bénéficier de l'assistance judiciaire gratuite. Cette requête est toutefois sans objet, du moment que la procédure est gratuite (art. 134 OJ) et que le recourant n'est pas représenté par un avocat.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I.Le recours est rejeté.
II.Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 9 août 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :