A.- K._, né le 8 octobre 1953, a présenté le 27 février 1995 une demande de prestations de l'assuranceinvalidité. Dans un projet de décision du 26 juillet 1999, l'Office de l'assurance-invalidité du canton de Fribourg a avisé K._ qu'il avait droit, à partir du 1er mars 1995 et jusqu'au 31 mai 1996, à une rente entière d'invalidité pour une incapacité de gain de 100 %. Le 11 août 1999, K._ a contesté ce projet de décision, en demandant que la rente entière d'invalidité lui soit allouée au-delà du 31 mai 1996, au motif qu'il présentait une incapacité de gain de 84 % dès le 1er juin 1996. Représenté par un avocat, il formulait également une requête d'assistance judiciaire gratuite, dont il entendait bénéficier depuis le 28 juillet 1999. Le 8 septembre 1999, l'office a communiqué à K._ un projet de décision, selon lequel il ne subissait plus de perte de gain depuis juin 1996. En ce qui concernait la requête d'assistance judiciaire gratuite, il l'invitait à justifier la nécessité de l'aide d'un avocat dans son cas. L'assuré a déposé un mémoire complémentaire, du 22 septembre 1999. Invoquant la difficulté de la cause, tenant à sa durée et à la complexité des problèmes de droit et de fait qui se posaient, il indiquait qu'il s'était adressé au conseiller juridique de C._, qui lui avait répondu qu'il ne s'occupait pas des questions d'assurance-invalidité. Dans un projet de décision du 7 juin 2000, l'office a confirmé que K._ ne subissait plus de perte de gain depuis juin 1996. S'agissant de la requête d'assistance judiciaire gratuite, il niait que l'intervention d'un avocat fût nécessaire dans son cas, puisque l'assuré pouvait fort bien être défendu dans les questions de fait et de droit par une institution sociale, spécialisée dans les questions d'assurance. Par décision du 27 octobre 2000, l'office a rejeté la requête d'assistance judiciaire gratuite. B.- K._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal administratif du canton de Fribourg, en concluant à l'annulation de celle-ci et à l'admission de sa requête d'assistance judiciaire du 11 août 1999 avec effet au 28 juillet 1999. Il sollicitait l'allocation d'une indemnité de dépens, sous réserve de l'assistance judiciaire gratuite dont il demandait à bénéficier en procédure cantonale. Par jugement du 5 avril 2001, la Cour des assurances sociales du Tribunal administratif a rejeté le recours et la requête d'assistance judiciaire. C.- K._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais, à l'annulation de celui-ci. Il demande à être mis au bénéfice de l'assistance judiciaire gratuite en procédure administrative du 28 juillet 1999 au 30 novembre 2000 et en procédure cantonale du 1er décembre 2000 au 12 avril 2001. Sollicitant l'allocation d'une indemnité de dépens pour l'instance fédérale, il requiert à titre subsidiaire l'assistance judiciaire gratuite. L'Office AI du canton de Fribourg n'a pas de remarques particulières à formuler autres que celles déjà exprimées en procédure cantonale et se rallie au jugement attaqué.