A.- Le 9 octobre 2000, le Secrétariat du bureau de l'assistance judiciaire du canton de Vaud a refusé d'accorder l'assistance judiciaire à A._, ressortissant du Kosovo, dans une procédure en matière d'AI introduite devant le Tribunal des assurances du canton de Vaud, au motif que la nécessité d'une assistance par un avocat d'office n'était pas démontrée.
B.- Par décision du 23 novembre 2000, le Bureau de l'assistance judiciaire du canton de Vaud (ci-après : le Bureau) a rejeté la réclamation formée par l'intéressé contre ce refus.
C.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, avec suite de frais et dépens, l'annulation de cette décision et conclut, implicitement, à l'octroi de l'assistance judiciaire gratuite devant la cour cantonale. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Considérant que le litige au fond ressortit au droit fédéral des assurances sociales, le Tribunal fédéral a transmis ce recours au Tribunal fédéral des assurances, comme objet de sa compétence.
Le Bureau renonce à répondre au recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé sur le recours.

Considérant en droit :
1.- a) La décision du 23 novembre 2000 par laquelle l'autorité intimée a rejeté la demande d'assistance judiciaire du recourant est une décision incidente propre à causer un préjudice irréparable et donc susceptible d'être attaquée séparément d'avec le fond (art. 5 al. 2 en corrélation avec l'art. 45 al. 1 et 2 let. h PA et les art. 97 al. 1 et 128 OJ; RAMA 2000 no K 119 p. 154 consid. 1a et les arrêts cités).
b) Selon une nouvelle jurisprudence, les jugements incidents et finaux rendus par des tribunaux cantonaux dans des litiges ressortissant au droit fédéral des assurances sociales et qui tranchent une question de droit de procédure cantonal peuvent être déférés au Tribunal fédéral des assurances, par la voie du recours de droit administratif, indépendamment du point de savoir si un recours est interjeté sur le fond (<ref-ruling> consid. 2b; SVR 2001 BVG no 3 p. 7 ss).
c) Les principes exposés dans cette jurisprudence sont également applicables lorsque l'autorité cantonale compétente pour se prononcer sur une demande d'assistance judiciaire en matière d'assurances sociales n'est pas le tribunal saisi du litige au fond, comme c'est le cas dans le canton de Vaud, où cette compétence est attribuée au Bureau de l'assistance judiciaire (art. 5 de la loi cantonale vaudoise sur l'assistance judiciaire en matière civile du 24 novembre 1981 [LAJ-RSV 2.8], en corrélation avec l'art. 26ter al. 2 de la loi sur le Tribunal des assurances du 2 décembre 1959 [RSV 2.2]).
Il en résulte que le recours est recevable.
2.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- Selon l'art. 85 al. 2 let. f LAVS, deuxième phrase, applicable en liaison avec l'<ref-law>, lorsque les circonstances le justifient, une avance des frais ou l'assistance judiciaire gratuite est accordée au recourant.
La jurisprudence relative à cette disposition subordonne l'octroi de l'assistance judiciaire à trois conditions (dénuement, existence de chances de succès et nécessité d'un avocat d'office : <ref-ruling>, 98 V 117).
4.- a) Il est incontesté - et non contestable - que le recourant remplit les conditions des chances de succès et de l'état de besoin. Est dès lors seule litigieuse la condition de la nécessité d'une assistance par un avocat d'office.
b) L'autorité intimée a nié l'existence de cette condition, dès lors que la cause ne présente pas de difficultés particulières sur le plan juridique, qu'un défaut d'instruction serait constaté même s'il n'était pas signalé par le recourant et que ce dernier ne se serait pas adjoint les services d'un mandataire s'il avait dû plaider à ses propres frais.
Le recourant invoque une violation de l'art. 29 al. 3 Cst. Selon lui, l'autorité intimée a refusé l'octroi de l'assistance judiciaire, sans examiner la question de la nécessité subjective de l'assistance d'un conseil.
c) Le point de savoir si l'assistance d'un avocat est nécessaire ou du moins indiquée doit être tranché d'après les circonstances concrètes objectives et subjectives.
Pratiquement, il faut se demander pour chaque cas particulier si, dans des circonstances semblables et dans l'hypothèse où le requérant ne serait pas dans le besoin, l'assistance d'un avocat serait judicieuse, compte tenu du fait que l'intéressé n'a pas lui-même des connaissances juridiques suffisantes et que l'intérêt au prononcé d'un jugement justifierait la charge des frais qui en découle (<ref-ruling>, 98 V 118; cf. aussi par analogie <ref-ruling> consid. 3b et les références).
d) En l'espèce, on doit admettre que l'enjeu ultime de la procédure cantonale est important pour le recourant, dès lors qu'il consiste en l'octroi d'une rente d'invalidité entière destinée à remplacer l'aide sociale dont vit actuellement une famille de cinq personnes. Il est également constant que le recourant, garçon de café et ressortissant du Kosovo, ne dispose d'aucune connaissance juridique et que même sur le plan linguistique, il est douteux qu'il possède suffisamment le français pour comprendre les subtilités de la procédure cantonale et pouvoir défendre sa cause d'une manière satisfaisante. Par ailleurs, contrairement à ce qu'a retenu l'autorité intimée, la maxime d'office ne fait pas obstacle à la nécessité d'une assistance par un avocat d'office (arrêt K. non publié du 25 juillet 1986, H 107/85). Et cela d'autant plus que, dans le contentieux des assurances sociales, l'administration bénéficie, par définition, d'une position plus forte que celle de l'assuré, ce qui relativise le principe de l'égalité des armes (<ref-ruling> consid. 5a/aa in fine).
Force est ainsi d'admettre que la condition de la nécessité d'une assistance par un avocat d'office au sens de l'art. 85 al. 2 let. f LAVS est remplie en l'espèce. Le recours doit être admis.
5.- Par surabondance, on relèvera que l'autorité intimée invoque à tort, dans ce cadre, la jurisprudence, plus sévère, de la Cour de céans résultant de l'arrêt <ref-ruling>. En effet, cette jurisprudence n'est applicable qu'en ce qui concerne les procédures non contentieuses d'opposition dans l'assurance-accidents et d'instruction dans l'assurance-invalidité.
6.- L'intimé, qui succombe, a agi en qualité d'autorité sans que ses intérêts pécuniaires soient en cause, de sorte que l'on doit renoncer à percevoir des frais (art. 156 al. 2 OJ). En revanche, dans la mesure où il obtient gain de cause, le recourant a droit à des dépens (art. 159 al. 1 OJ). Sa demande d'assistance judiciaire pour la procédure fédérale est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et la décision du 23 novembre
2000 du Bureau de l'assistance judiciaire du canton de
Vaud est annulée, la cause étant renvoyée à cette
autorité pour qu'elle statue à nouveau, au sens des
considérants, sur le droit du recourant à l'assistance
judiciaire gratuite pour la procédure qu'il a introduite
devant le Tribunal cantonal vaudois des
assurances.
II. Il n'est pas perçu de frais de justice.
III. L'Etat de Vaud versera au recourant une indemnité de 1000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal vaudois des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 11 mai 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :