A.- B._, née en 1967, a exercé diverses activités en qualité de sommelière et d'ouvrière avant de s'inscrire au chômage. Depuis le mois d'avril 1998, elle est à la charge du Service social de X._. Après avoir subi deux crises comitiales à la suite desquelles une épilepsie a été diagnostiquée (rapport du 16 janvier 1998 du docteur P._), elle s'est plainte, depuis le mois de décembre 1997, de céphalées temporopariétales droites.
Le 4 novembre 1998, la prénommée a déposé une demande de prestations de l'assurance-invalidité. Elle a été opérée d'un anévrisme de l'artère choroïdienne antérieure droite le 18 février 1999. Selon la doctoresse L._, médecin généraliste, elle était incapable de travailler du 12 décembre 1997 au 1er juin 1999 (rapport du 30 septembre 1999). Elle a commencé une activité à temps partiel dès le 31 juillet 1999 auprès de la Fondation Q._ (rapport d'enquête économique du 30 août 1999).
Le 4 novembre 1999, B._ a été victime d'un accident de la circulation qui a entraîné notamment des brûlures sévères et diverses fractures. La Caisse nationale suisse d'assurance en cas d'accidents a pris en charge le cas et retenu une incapacité de travail totale depuis l'accident (courrier du 18 mai 2000 à l'Office cantonal AI du Valais, ci-après: l'office).
Par décision du 26 avril 2000, l'office a alloué à l'assurée une rente entière d'invalidité pour la période du 1er décembre 1998 au 31 août 1999.
B.- B._ a recouru contre cette décision devant le Tribunal cantonal des assurances du canton du Valais.
Après avoir complété l'instruction en demandant un rapport aux institutions psychiatriques du Valais romand, le tribunal a rejeté le recours par jugement du 28 septembre 2001.
C.- B._ interjette recours de droit administratif contre ce jugement, dont elle demande implicitement l'annulation, en concluant, sous suite de frais et dépens, au renvoi du dossier à l'office intimé pour instruction complémentaire. Elle produit deux certificats médicaux à l'appui de ses conclusions et sollicite par ailleurs le bénéfice de l'assistance judiciaire gratuite.
L'office intimé ainsi que l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit:
1.- Le jugement entrepris expose correctement les dispositions légales applicables en ce qui concerne la notion d'invalidité (<ref-law>), l'échelonnement des rentes selon le taux d'invalidité de l'assuré (<ref-law>), le moment où le droit à la rente prend naissance (<ref-law>) et la modification du droit (<ref-law>), de sorte qu'on peut y renvoyer.
On ajoutera qu'une décision par laquelle l'assuranceinvalidité accorde une rente d'invalidité avec effet rétroactif et, en même temps, prévoit la réduction, l'augmentation ou la suppression de cette rente, correspond à une décision de révision au sens de l'<ref-law> (<ref-ruling> sv. consid. 2d et les références). Aux termes de cette disposition, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée ou supprimée. Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci (<ref-ruling> consid. 2 et l'arrêt cité).
2.- Seul est litigieux en l'espèce le point de savoir si l'office intimé était fondé à supprimer la rente d'invalidité à partir du 1er septembre 1999 en raison d'une amélioration de la santé de la recourante ayant mis fin à son incapacité de gain.
3.- a) B._ soutient que sa cause n'a pas été suffisamment instruite sur le plan médical. Elle reproche ainsi à l'office et aux premiers juges d'avoir statué sur ses droits à la seule lumière du rapport médical du 30 septembre 1999 de la doctoresse L._, dont elle conteste les conclusions. Selon ce rapport, l'assurée a subi avec succès la cure neurochirurgicale de l'anévrisme de l'artère choroïdienne et a retrouvé un bon état de santé avec une disparition des céphalées. En outre, malgré la persistance de la maladie épileptique, l'état de santé de la patiente n'est pas incompatible avec une reprise de l'activité professionnelle, son incapacité de travail ayant pris fin dès juin 1999.
Pour les premiers juges, dès lors que ledit rapport atteste d'un rétablissement de la recourante quant à ses problèmes cérébraux mettant fin à son incapacité de travail dès le mois de juin 1999, c'est à juste titre que la rente d'invalidité a été limitée au 31 août 1999.
b) En l'espèce, il ressort du dossier que la recourante a cessé d'être suivie par la doctoresse L._ dès le 17 septembre 1999. Elle s'est adressée au docteur E._, spécialiste FMH en médecine interne, qui l'a vue régulièrement à partir du 12 juillet 1999. Or, ce médecin atteste, dans un certificat médical du 29 octobre 2001, produit en instance fédérale, que les céphalées, évoluant depuis septembre 1997 n'ont jamais cessé, malgré les affirmations de la Dresse L._ et malgré l'opération neurochirurgicale du 18.2.99. Selon lui, la symptomatologie va s'aggravant et devient de plus en plus invalidante.
Il explique également que la patiente a consulté le docteur G._, neurologue FMH, et a subi de nouvelles investigations neurologiques qui sont restées négatives.
Par ailleurs, le docteur W._, spécialiste FMH en psychiatrie et psychothérapie, qui avait suivi la recourante du 28 octobre 1998 au 30 juin 1999 et l'a revue à plusieurs reprises dès le 26 janvier 2001, certifie aussi que la recourante souffre toujours de céphalées qui n'ont pas d'origine psychique et persistent malgré un traitement antalgique relativement important. Selon lui, il n'y a pas lieu de mettre en doute les affirmations de la patiente, selon lesquelles ses maux de tête l'empêchent d'avoir une activité professionnelle. Il confirme de plus les constatations faites par le docteur E._ dans son rapport du 29 octobre 2001. Au vu de leur contenu, ces deux nouvelles attestations médicales - qui ne se prononcent toutefois pas de manière concluante sur la capacité de travail effective de la recourante - sont de nature à remettre en cause les conclusions du rapport médical du 30 septembre 1999 de la doctoresse L._.
Par ailleurs, l'office intimé a relevé, dans un rapport d'enquête économique daté du 10 août 1999, que la recourante allait, dans le cadre d'une allocation initiale de travail pour chômeurs en fin de droit, reprendre une activité limitée à 40 % dès le 31 juillet 1999 en raison de ses problèmes de santé. Si ces constatations se fondaient certes sur les indications subjectives de l'assurée, auxquelles on ne saurait accorder une importance décisive lorsqu'il s'agit de déterminer ce qui peut encore être raisonnablement exigé d'elle, elles étaient susceptibles de soulever des doutes quant à l'existence d'une capacité de travail entière, de sorte qu'une évaluation médicale de celle-ci eût paru appropriée à l'époque.
c) Dans ces circonstances, il n'est pas possible de statuer en pleine connaissance de tous les faits pertinents sur la situation de la recourante et d'admettre, sans autre examen, une amélioration de son état de santé sur le plan neurologique à partir du mois de juin 1999 justifiant une capacité de travail entière. Il convient donc de renvoyer la cause à l'office intimé pour instruction complémentaire sur le point de savoir si l'état de santé de la recourante a effectivement subi une modification en été 1999 et, le cas échéant, quelle conséquence celle-ci a entraînée sur sa capacité de travail.
Le recours est ainsi bien fondé.
4.- Vu la nature du litige, la procédure est gratuite (art. 134 OJ). En outre, la partie qui obtient gain de cause a droit à des dépens (art. 135 en corrélation avec l'art. 159 OJ). La demande d'assistance judiciaire est ainsi sans objet.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 28 septembre
2001 du Tribunal cantonal des assurances du canton du
Valais, ainsi que la décision du 26 avril 2000 de
l'Office cantonal AI du canton du Valais sont annulés.
II. La cause est renvoyée à l'office intimé pour complément d'instruction au sens des considérants et nouvelle décision.
III. Il n'est pas perçu de frais de justice.
IV. L'office intimé versera à la recourante une indemnité de dépens de 2500 fr. (y compris la taxe à la valeur ajoutée) pour la procédure fédérale.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
cantonal des assurances du canton du Valais et à
l'Office fédéral des assurances sociales.
Lucerne, le 13 août 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :