A.- A._ a épousé B._ le 30 juillet 1986.
De leur union est issu un fils, C._, le 29 avril 1987. Le 18 mars 1993, le Tribunal de première instance du canton de Genève a prononcé le divorce des époux B._. A._ s'est remariée le 25 août 1997 avec D._, dont elle a divorcé le 11 février 1999.
A la suite du décès de B._, survenu le 9 août 1997, la Caisse de compensation du canton de Genève (ci-après : la caisse de compensation) a, par décision du 11 août 1998, accordé à C._ une rente ordinaire d'orphelin simple à partir du 1er septembre 1997.
A._ a requis, le 5 juillet 1999, une rente de veuve.
Par décision du 13 octobre 1999, la caisse de compensation a refusé le versement d'une rente de veuve, au motif qu'aucune des conditions prévues par la loi pour permettre d'assimiler une femme divorcée à une veuve n'était remplie.
B.- Par jugement du 23 avril 2001, la commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission) a rejeté le recours formé par A._ contre cette décision. Elle a considéré que la femme divorcée après un remariage ne pouvait prétendre une rente de veuve à la suite du décès de son premier mari que si, entre autres conditions, le droit à une telle rente avait pris naissance avant la célébration du deuxième mariage.
C.- A._ interjette recours de droit administratif contre ce jugement, en concluant à son annulation et à l'octroi d'une rente de veuve.
La caisse de compensation et l'Office fédéral des assurances sociales concluent au rejet du recours.

Considérant en droit :
1.- Le litige porte sur le droit de la recourante à une rente de veuve ensuite du décès de son premier mari, B._, survenu le 9 août 1997.
2.- a) Aux termes de l'art. 23 al. 1 LAVS, les veuves et les veufs ont droit à une rente si, au décès de leur conjoint, ils ont un ou plusieurs enfants. Le droit à la rente de veuve ou de veuf prend naissance le premier jour du mois qui suit le décès du conjoint (art. 23 al. 3 LAVS) et s'éteint par le remariage ou par le décès de la veuve ou du veuf (art. 23 al. 4 LAVS). Il renaît en cas d'annulation du mariage ou de divorce (art. 23 al. 5 LAVS) au premier jour du mois qui suit la dissolution du nouveau mariage si cette dissolution est survenue moins de dix ans après la conclusion du mariage (art. 46 al. 3 RAVS).
Selon l'art. 24a al. 1 LAVS, la personne divorcée est assimilée à une veuve ou un veuf si elle a un ou plusieurs enfants et que le mariage a duré au moins dix ans (let. a), si le mariage a duré au moins dix ans et si le divorce a eu lieu après que la personne divorcée a atteint 45 ans révolus (let. b), si le cadet a eu 18 ans révolus après que la personne divorcée a atteint 45 ans révolus (let. c). Aux termes de l'art. 24a al. 2 LAVS, si la personne divorcée ne remplit pas au moins une des conditions du 1er alinéa, le droit à une rente de veuve ou de veuf ne subsiste que si et aussi longtemps qu'elle a des enfants de moins de 18 ans.
b) Selon la jurisprudence du Tribunal fédéral rendue sous l'empire des art. 23 al. 3 aLAVS et 46 al. 3 aLAVS, en vigueur jusqu'au 31 décembre 1996, la reconnaissance du droit à une rente de veuve après le second divorce et en raison du décès du premier conjoint présuppose qu'un tel droit ait pris naissance avant la célébration du deuxième mariage (<ref-ruling> consid. 2b). Dans un arrêt récent (<ref-ruling> consid. 3c), le Tribunal fédéral des assurances a confirmé que sa jurisprudence publiée à l'<ref-ruling> conservait toute sa valeur après l'entrée en vigueur de la 10ème révision de l'AVS. En effet, les dispositions introduites le 1er janvier 1997 par cette révision n'ont pas apporté de changements autres que d'ordre systématique et rédactionnel, si l'on excepte la teneur du nouvel art. 24a LAVS (<ref-ruling> consid. 3c) en ce qui concerne le droit à la rente de veuve de la femme qui divorce après un remariage.
Il s'en suit qu'une femme remariée et divorcée à nouveau ne peut prétendre une rente de veuve de son premier mari que si ce droit était déjà né avant son remariage, conformément à ce que prévoit l'art. 23 al. 5 LAVS, précisé à l'art. 46 al. 3 RAVS.
3.- a) Comme l'ont constaté les premiers juges, la recourante ne remplit aucune des conditions de l'art. 24a al. 1 LAVS. En revanche, mère d'un fils qui n'a pas encore 18 ans, elle peut se prévaloir de l'art. 24a al. 2 LAVS et être assimilée à une veuve, à condition qu'un droit à la rente soit né au sens de l'art. 23 al. 3 LAVS.
b) En l'espèce, la recourante s'est remariée le 25 août 1997, alors que son premier époux est décédé le 9 août 1997. Son droit à la rente de veuve aurait pu naître le 1er septembre 1997 (art. 23 al. 3 LAVS), date à laquelle elle était toutefois déjà remariée. Dès lors, on constate qu'au moment de la célébration de son second mariage, son droit à la rente de veuve n'était pas né, de sorte qu'il ne pouvait pas "renaître" au sens de l'art. 23 al. 5 LAVS le mois suivant la dissolution de son second divorce, en avril 1999.
A cet égard, c'est en vain que la recourante critique le fait que sa situation de veuve avant son second mariage a été assimilée par les premiers juges à celle d'une femme devenue veuve de son premier époux après la dissolution de son second mariage, cas jugé par l'<ref-ruling> ss. En effet, ce qui est déterminant au regard de l'art. 23 al. 5 LAVS, c'est que le droit à la rente de veuve découlant du premier mariage soit né, au sens de l'art. 23 al. 3 LAVS, avant le remariage, pour qu'il puisse "renaître" après la dissolution du second mariage (<ref-ruling> consid. 2b), que l'ayant droit soit devenu veuve de son premier conjoint avant son remariage ou seulement après la dissolution de son second mariage.
Par conséquent, du moment que le droit à une rente découlant de son premier mariage n'est jamais né, la recourante ne peut prétendre une rente de veuve en raison du décès de son premier mari, à titre de "personne divorcée assimiliée à une veuve".
Il suit de là que le recours est mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité et à
l'Office fédéral des assurances sociales.
Lucerne, le 6 décembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
La Greffière :