A.- Le 9 octobre 2000, le Secrétariat du bureau de l'assistance judiciaire du canton de Vaud a refusé d'accorder l'assistance judiciaire à A._, ressortissant du Kosovo, dans une procédure en matière d'AI introduite devant le Tribunal des assurances du canton de Vaud, au motif que la nécessité d'une assistance par un avocat d'office n'était pas démontrée. B.- Par décision du 23 novembre 2000, le Bureau de l'assistance judiciaire du canton de Vaud (ci-après : le Bureau) a rejeté la réclamation formée par l'intéressé contre ce refus. C.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, avec suite de frais et dépens, l'annulation de cette décision et conclut, implicitement, à l'octroi de l'assistance judiciaire gratuite devant la cour cantonale. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. Considérant que le litige au fond ressortit au droit fédéral des assurances sociales, le Tribunal fédéral a transmis ce recours au Tribunal fédéral des assurances, comme objet de sa compétence. Le Bureau renonce à répondre au recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé sur le recours.