Sachverhalt:
A.
A.a. Nachdem die erste Ehe der 1971 geborenen A._ durch den Tod ihres Ehegatten am 2. August 1994 aufgelöst worden war, sprach ihr die Ausgleichskasse des Kantons Aargau mit Wirkung ab 1. September 1994 eine Witwenrente der Alters- und Hinterlassenenversicherung zu (Verfügung vom 24. November 1994). Der Anspruch darauf erlosch, als A._ am 22. Januar 2003 erneut heiratete. Nachdem diese zweite Ehe am 11. September 2008 geschieden worden war, ging A._ am 11. Dezember 2009 ihre dritte Ehe ein. Diese wurde am 17. August 2019 rechtskräftig geschieden.
A.b. Im September 2019 meldete sich A._ erneut zum Bezug einer Witwenrente an. Die Ausgleichskasse des Kantons Aargau verneinte einen Anspruch (Verfügung vom 11. Oktober 2019, bestätigt mit Einspracheentscheid vom 1. Mai 2020).
B.
Beschwerdeweise liess A._ beantragen, es sei ihr mit Wirkung ab 1. September 2019 eine Witwenrente der Alters- und Hinterlassenenversicherung zuzusprechen. Mit Urteil vom 3. November 2020 hiess das Versicherungsgericht des Kantons Aargau die Beschwerde gut, hob den Einspracheentscheid vom 1. Mai 2020 auf und stellte fest, dass A._ ab 1. September 2019 Anspruch auf eine Witwenrente der Alters- und Hinterlassenenversicherung hat.
C.
Das Bundesamt für Sozialversicherungen (BSV) erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, das kantonale Urteil sei aufzuheben und der Einspracheentscheid vom 1. Mai 2020 zu bestätigen.
A._ lässt Abweisung der Beschwerde beantragen. Die Ausgleichskasse schliesst auf deren Gutheissung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, als sie der Beschwerdegegnerin nach der rechtskräftigen Scheidung ihrer dritten Ehe am 17. August 2019 erneut eine Witwenrente zusprach. Dabei stellt sich die Frage, ob der Witwenrentenanspruch, welcher der Versicherten infolge des Todes ihres ersten Ehemannes (am 2. August 1994) ab 1. September 1994 zustand und mit der zweiten Eheschliessung am 22. Januar 2003 erlosch, nach der Scheidung ihrer dritten Ehe wieder auflebt.
3.
3.1. Gemäss <ref-law> haben Witwen oder Witwer, sofern sie im Zeitpunkt der Verwitwung Kinder haben, Anspruch auf eine Witwen- oder Witwerrente (<ref-law>). Überdies haben Witwen nach <ref-law> Anspruch auf eine Witwenrente, wenn sie im Zeitpunkt der Verwitwung keine Kinder oder Pflegekinder im Sinne von <ref-law>, jedoch das 45. Altersjahr vollendet haben und mindestens fünf Jahre verheiratet gewesen sind (Satz 1). War die Witwe mehrmals verheiratet, so wird auf die Gesamtdauer der Ehen abgestellt (Satz 2).
3.2. Der Anspruch auf die Witwen- oder Witwerrente entsteht am ersten Tag des dem Tod des Ehegatten folgenden Monats (<ref-law>) und erlischt (unter anderem) mit der Wiederverheiratung (<ref-law>). Er lebt wieder auf, wenn die neue Ehe geschieden oder als ungültig erklärt wird; der Bundesrat regelt die Einzelheiten (<ref-law>).
Gestützt auf diese Kompetenzdelegation wurde die Bestimmung des <ref-law> erlassen, wonach der Anspruch auf eine Witwen- oder Witwerrente, der mit der Wiederverheiratung der Witwe oder des Witwers erloschen ist, am ersten Tag des der Auflösung der Ehe folgenden Monats wieder auflebt, wenn die Ehe nach weniger als zehnjähriger Dauer geschieden oder als ungültig erklärt wird.
3.3. Die Wegleitung des BSV über die Renten (RWL) in der Eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung (gültig ab 1. Januar 2003; Stand am 1. Januar 2020; vgl. zur Bedeutung von Verwaltungsweisungen <ref-ruling> E. 7.1 mit Hinweisen) hält dazu in Rz. 4329 fest, dass bei einer wiederauflebenden Witwen- oder Witwerrente zu prüfen ist, ob die geschiedene oder als ungültig erklärte Ehe von der Trauung bis zur Rechtskraft des Urteils weniger als zehn Jahre gedauert hat (Gerichtsurteil oder Bestätigung des Gerichts).
4.
4.1. Die Vorinstanz gelangte zum Ergebnis, es sprächen alle Auslegungselemente dafür, dass das Wiederaufleben einer zufolge Wiederverheiratung erloschenen Witwen- oder Witwerrente nicht auf die Auflösung der ersten nach der Verwitwung geschlossenen Ehe durch Scheidung oder Ungültigerklärung beschränkt sei, sondern auch im Falle weiterer danach eingegangener und später geschiedener oder als ungültig erklärter Ehen Geltung beanspruche. Damit könne der Anspruch der Versicherten aus der ersten, durch Verwitwung aufgelösten Ehe nach der Scheidung der dritten Ehe grundsätzlich wieder aufleben.
Hinsichtlich der Voraussetzung der weniger als zehn Jahre betragenden Ehedauer gemäss <ref-law> sei nur die ein mögliches Wiederaufleben begründende geschiedene (letzte) Ehe massgebend. Da die dritte Ehe der Versicherten von der Schliessung am 11. Dezember 2009 bis zur rechtskräftigen Scheidung am 17. August 2019 weniger als zehn volle Jahre gedauert habe, stehe der Versicherten ab 1. September 2019 wieder eine Witwenrente zu.
4.2. Das BSV geht über weite Strecken seiner Beschwerde in Übereinstimmung mit dem kantonalen Entscheid davon aus, dass eine Witwen- oder Witwerrente gestützt auf <ref-law> nicht nur nach der Scheidung (oder Ungültigerklärung) der zweiten, sondern auch nach der Scheidung (oder Ungültigerklärung) der dritten, vierten etc. Ehe wieder aufleben kann. Es stellt sich aber gegen die vorinstanzliche Interpretation, die in <ref-law> vorgesehene Zehnjahresfrist sei bei einer Frau, die nach der Verwitwung mehrmals wieder heiratete, für jede Ehe isoliert zu betrachten. Zur Begründung bringt es insbesondere vor, das Wiederaufleben der Rente bezwecke, einen durch den Tod des ehemaligen Ehegatten bestehenden Versorgerschaden auszugleichen. Ein solcher liege auch dann nicht (mehr) vor, wenn die weiteren Ehen zusammengerechnet länger als zehn Jahre gedauert hätten. Bei der Beurteilung, ob die Witwen- oder Witwerrente wieder auflebe, sei deshalb auf die Gesamtdauer aller weiteren Ehen abzustellen. Gestützt darauf gelangt das BSV im Falle der Beschwerdegegnerin zum Ergebnis, dass ihr Anspruch auf eine Witwenrente nicht wieder auflebe, weil sie in zweiter und dritter Ehe insgesamt mehr als zehn Jahre verheiratet gewesen sei.
4.3. Die Versicherte lässt geltend machen, die 8. AHV-Revision habe bezweckt, den Status der geschiedenen Frau zu verbessern und Härten, welche sich allenfalls aus einer kurzen Dauer der neuen Ehe ergeben könnten, zu beseitigen. Wenn eine Frau mehrfach nur kurze Zeit verheiratet gewesen sei, schuldeten ihr die geschiedenen Ehemänner keine Unterhaltsbeiträge und sei ihr Lebensunterhalt nicht gesichert. Werde für das Wiederaufleben der Witwen- oder Witwerrente mit dem BSV die gesamte Ehedauer als massgebend betrachtet, stelle dies eine Anspruchsbeschränkung dar, welche dem sozialpolitisch motivierten Schutzgedanken der AHV-Revision zuwiderlaufe. Hinsichtlich der Voraussetzung der Ehedauer von weniger als zehn Jahren gemäss <ref-law> könne nur die ein mögliches Wiederaufleben begründende geschiedene Ehe ausschlaggebend sein. Da diese dritte und letzte Ehe bei ihr weniger als zehn Jahre gedauert habe, lebe ihr Witwenrentenanspruch wieder auf.
4.4. Die Ausgleichskasse verweist auf ihren Einspracheentscheid, in welchem sie einen erneuten Witwenrentenanspruch der Versicherten abgelehnt hat mit der Begründung, dass ein Wiederaufleben der Witwenrente auf die Auflösung der zweiten Ehe beschränkt und mithin ab der dritten Ehe ausgeschlossen sei.
5.
5.1. In der vorliegenden Streitigkeit stellt sich vorab die Rechtsfrage, ob eine zufolge Wiederverheiratung erloschene Witwen- oder Witwerrente gestützt auf <ref-law> nicht nur nach Auflösung der zweiten Ehe durch Scheidung oder Ungültigerklärung wieder aufleben kann, sondern auch im Falle weiterer danach eingegangener und später geschiedener oder als ungültig erklärter Ehen (d.h. dritter, vierter etc. Ehen). Ist sie zu bejahen, bedarf mit Blick auf die in <ref-law> statuierte Zehnjahresfrist als weitere Rechtsfrage der Klärung, ob es für das Wiederaufleben der Witwen- oder Witwerrente nach einer Scheidung oder Ungültigerklärung der Ehe ausreicht, dass die letzte Ehe vor der Scheidung oder Ungültigerklärung weniger als zehn Jahre gedauert hat, oder ob die Gesamtdauer aller weiteren nach der Verwitwung eingegangener Ehen weniger als zehn Jahre betragen muss.
5.2. Die Vorinstanz und die Versicherte beantworten die beiden Rechtsfragen dahingehend, dass ein Wiederaufleben nicht auf die zweite Ehe beschränkt und für die Zehnjahresfrist jede Ehe separat zu betrachten sei. Das BSV äussert sich in seiner Beschwerde nur am Rande zur ersten Rechtsfrage und hält es hinsichtlich der zweiten für richtig, auf die Gesamtdauer der Ehen abzustellen. Die Ausgleichskasse verweist auf ihren Einspracheentscheid, wonach die Witwen- oder Witwerrente lediglich nach der zweiten Ehe wieder aufleben kann, d.h. sie verneint die erste Rechtsfrage (womit sich die zweite erübrigt).
6.
Nach dem in E. 5.1 Gesagten ist in einem ersten Schritt durch Auslegung zu ermitteln, ob eine zufolge Wiederverheiratung erloschene Witwen- oder Witwerrente gestützt auf <ref-law> nicht nur nach Auflösung der zweiten Ehe (durch Scheidung oder Ungültigerklärung) wieder aufleben kann, sondern auch im Falle weiterer danach eingegangener (d.h. dritter, vierter etc.) und später geschiedener oder als ungültig erklärter Ehen.
6.1. Ausgangspunkt jeder Auslegung bildet der Wortlaut der massgeblichen Norm. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss der Richter unter Berücksichtigung aller Auslegungselemente nach der wahren Tragweite der Norm suchen. Dabei hat er insbesondere den Willen des Gesetzgebers zu berücksichtigen, wie er sich namentlich aus den Gesetzesmaterialien ergibt (historische Auslegung). Weiter hat der Richter nach dem Zweck, dem Sinn und den dem Text zugrunde liegenden Wertungen zu forschen, namentlich nach dem durch die Norm geschützten Interesse (teleologische Auslegung). Wichtig ist auch der Sinn, der einer Norm im Kontext zukommt, und das Verhältnis, in welchem sie zu anderen Gesetzesvorschriften steht (systematische Auslegung). Das Bundesgericht befolgt bei der Auslegung von Gesetzesnormen einen pragmatischen Methodenpluralismus und lehnt es ab, die einzelnen Auslegungselemente einer Prioritätsordnung zu unterstellen (<ref-ruling> E. 4.5.1, 95 E. 4.3.1 und 51 E. 8.1; je mit Hinweisen).
6.2. Der Wortlaut der Bestimmung des <ref-law> (in der heute geltenden, seit 1. Januar 1997 in Kraft stehenden Fassung) sieht vor, dass der Anspruch auf die Witwen- oder Witwerrente wieder auflebt, wenn die neue Ehe geschieden oder als ungültig erklärt wird. Die italienische Fassung des <ref-law> ("Il diritto rinasce se il nuovo matrimonio è dichiarato nullo o è sciolto.") stimmt damit überein. Im Unterschied dazu fehlt in der französischen Version der Gesetzesbestimmung das Adjektiv "neu" ("Le droit renaît en cas d'annulation du mariage ou de divorce."), welches indessen in <ref-law> als Ausführungsbestimmung Eingang fand ("[...] renaît au premier jour du mois qui suit la dissolution de son nouveau mariage par divorce ou annulation [...]"). Inhaltlich bestehen keine Unterschiede zwischen den drei Sprachfassungen: Es wird übereinstimmend nur die (eine) Ehe erwähnt. Die Beifügung des Adjektives "neu" bzw. "nuovo" im deutschen und im italienischen Gesetzestext verdeutlicht lediglich, dass das Wiederaufleben die Auflösung nicht der vor, sondern der nach der Verwitwung eingegangenen (und in diesem Sinne neuen) Ehe bedingt. Der Wortlaut lässt in allen drei Sprachen offen, ob die Witwen- oder Witwerrente nur wieder aufleben kann, wenn die zweite Ehe aufgelöst wird, oder ob diese Möglichkeit auch nach der dritten, vierten etc. Ehe besteht, welche ebenfalls nach der Verwitwung eingegangene Ehen darstellen. Nicht gefolgt werden kann damit der Vorinstanz, welche bereits aus der Formulierung der Bestimmung auf ein Wiederaufleben auch nach weiteren Ehen schliesst mit der Begründung, wäre eine Beschränkung auf die zweite Ehe gewollt gewesen, hätte der Gesetzgeber dies explizit festgehalten. Denn auch die gegenteilige Lösung ist denkbar, insbesondere mit Blick auf die unmittelbar folgende Bestimmung des <ref-law>, wo der Fall, dass sich die Witwe mehrmals wieder verheiratet, ausdrücklich erwähnt wird (vgl. dazu auch E. 6.4.2).
6.3. Zur Entstehungsgeschichte der Witwen- bzw. Witwerrente, insbesondere auch ihres Wiederauflebens, lässt sich den Materialien das Folgende entnehmen.
6.3.1. Seit seinem Inkrafttreten im Jahr 1948 kennt das AHVG eine Witwenrente, welche allerdings mit der Wiederverheiratung der Witwe definitiv erlosch (Botschaft vom 24. Mai 1946 zum Entwurf eines Bundesgesetzes über die Alters- und Hinterlassenenversicherung, BBl 1946 II 365 ff., 530). Nach dem damaligen AHVG setzte der Anspruch der kinderlosen Witwe eine fünfjährige Mindestdauer der Ehe voraus. War die Witwe mehrmals verheiratet, wurde auf die Gesamtdauer der Ehen abgestellt. Bei Witwen mit Kindern wurde von einer Mindestehedauer abgesehen, weil man davon ausging, dass auch kurze Zeit verheiratet gewesene Witwen wirtschaftlichen Schutz benötigten, sofern sie Kinder hätten (BBl 1946 II 411).
6.3.2. Im Rahmen der 6. AHV-Revision wurde aus Billigkeitsgründen das Wiederaufleben des Witwenrentenanspruchs nach Ungültigerklärung der neuen Ehe eingeführt. Mit der 8. AHV-Revision erfolgte die Ausdehnung auf den Fall der Scheidung.
6.3.2.1. Während die deutsche und die italienische Sprachfassung, wie sie seit der 8. AHV-Revision ab 1. Januar 1973 in Kraft standen (damaliger <ref-law>), von der Scheidung oder Ungültigerklärung der "neuen" Ehe ("le nuove nozze") sprachen (dies in Übereinstimmung mit dem deutschen und italienischen Wortlaut des heutigen Abs. 5 [vgl. dazu E. 6.2]), war in der französischen Fassung damals von der Scheidung oder Ungültigerklärung der "zweiten" Ehe die Rede ("En cas d'annulation ou de dissolution du second mariage [...]").
Bereits in den Materialien zur 6. AHV-Revision wurde die "neue" Ehe als "zweite" Ehe bezeichnet. So wurde unter anderem festgehalten, dass die vom Bundesrat näher zu regelnden Voraussetzungen sich hautpsächlich auf die Dauer der "zweiten" Ehe und die Höhe allfälliger Alimente beziehen dürften (Botschaft vom 16. September 1963 zum Entwurf eines Bundesgesetzes betreffend die Änderung des Bundesgesetzes über die Alters- und Hinterlassenenversicherung, BBl 1963 II 517 ff., 570). Auch in den Materialien zur 8. AHV-Revision war vom Wiederaufleben nach Auflösung der "zweiten" Ehe die Rede (Botschaft vom 11. Oktober 1971 betreffend die achte Revision der Alters- und Hinterlassenenversicherung, BBl 1971 II 1057 ff., 1097). Die Botschaften zu den beiden AHV-Revisionen befassen sich denn auch nicht mit der Rechtslage im Fall, dass sich eine Frau nach der Verwitwung nicht nur ein, sondern mehrere Male verheiratete und wieder scheiden liess oder die Ehe als ungültig erklärt wurde.
6.3.2.2. In der Botschaft zur 8. AHV-Revision legte der Gesetzgeber überdies dar, bei der Ausdehnung des Wiederauflebens des Witwenrentenanspruchs auf den Fall der Scheidung gehe es ihm um eine weitere Verbesserung des Status der geschiedenen Frau, indem Härten beseitigt werden sollten, "die sich insbesondere dann zeigten, wenn eine aus Vereinsamung oder in höherem Alter geschlossene Ehe, die nach den Erfahrungen ein erhöhtes Risiko des Scheiterns in sich birgt, nach kurzer Zeit wieder geschieden wird" (BBl 1971 II 1097).
6.3.2.3. Der Bundesrat, welcher die näheren Voraussetzungen festzulegen hatte, sah sowohl für das Wiederaufleben nach Ungültigerklärung der Ehe als auch nach Scheidung eine Schranke von zehn Jahren vor (und für den ersten Fall in der bis 31. Dezember 1972 gültig gewesenen Fassung des damaligen <ref-law> zusätzlich, dass der Mann der Frau keine Unterhaltsbeiträge schuldete oder nachweisbar nicht imstande war, die geschuldeten Beiträge zu leisten).
6.3.3. Im Rahmen der 10. AHV-Revision wurde unter anderem die Witwerrente eingeführt und die Stellung der geschiedenen Frau erneut verbessert (Botschaft vom 5. März 1990 über die zehnte Revision der Alters- und Hinterlassenenversicherung, BBl 1990 II 1 ff., 37 und 41). Gesetzestechnisch wurde die Regelung, die sich bisher in Abs. 3 von <ref-law> befand, in Abs. 5 verschoben. Weiter wurde sie in der Formulierung angepasst. So entfiel insbesondere die Bezeichnung der "neuen" Ehe als "zweite" Ehe in der französischen Fassung ("Le droit renaît en cas d'annulation du mariage ou de divorce" trat an die Stelle von: "En cas d'annulation ou de dissolution du second mariage, le droit à la rente de veuve naît à nouveau [...]."). Nach der Botschaft waren die bei dieser Bestimmung vorgenommenen Änderungen rein redaktioneller Natur (BBl 1990 II 88). Dass in deren Rahmen in der französischen Fassung das Adjektiv "second" wegfiel, ohne dass dies über eine redaktionelle Änderung hinausgegangen wäre, spricht mithin - entgegen dem angefochtenen Entscheid, welcher diesem Umstand keine Bedeutung beimisst - dafür, dass der Gesetzgeber ein Wiederaufleben der Witwen- oder Witwerrente (weiterhin) lediglich nach Auflösung der zweiten Ehe vorsehen wollte (auch wenn sich die Materialien dazu wiederum nicht explizit äussern).
6.3.4. Damit ergibt sich, dass die historische Interpretation, insbesondere die soeben in E. 6.3.3 dargelegte Entwicklung des französischen Gesetzeswortlautes, eine Beschränkung des Wiederauflebens der Witwen- oder Witwerrente auf die Auflösung der zweiten Ehe nahelegt.
6.4. Zu prüfen ist sodann der Sinn, welcher der Bestimmung des <ref-law> im Kontext zukommt, und das Verhältnis, in welchem sie zu anderen Gesetzesvorschriften steht (systematische Auslegung).
6.4.1. Nach der zu <ref-law> erlassenen Ausführungsbestimmung des <ref-law> erfordert das Wiederaufleben des Anspruchs auf eine Witwen- oder Witwerrente, dass die Ehe nach weniger als zehnjähriger Dauer geschieden oder als ungültig erklärt wird. Wie in der Gesetzesnorm ist von der (einen) Ehe die Rede und findet der Fall mehrmaliger Wiederverheiratung keine Erwähnung.
6.4.2. Ein Witwenrentenanspruch ist in <ref-law> für Witwen und Witwer mit Kindern vorgesehen und in <ref-law> zusätzlich unter besonderen Voraussetzungen für Witwen ohne Kinder. Bei kinderlosen Witwen erfordert er neben der Vollendung des 45. Altersjahres eine Ehedauer von mindestens fünf Jahren (<ref-law>), wobei ausdrücklich festgehalten wird, dass auf die Gesamtdauer der Ehen abzustellen ist, wenn die Witwe mehrmals verheiratet war (Satz 2). Dass der Gesetzgeber im Unterschied dazu in <ref-law> nicht ausdrücklich geregelt hat, was gilt, wenn der Verwitwung mehrere Ehen folgen, lässt keine eindeutige Schlussfolgerung zu. Es bleibt offen, ob ein Wiederaufleben nach der dritten, vierten etc. Ehe damit ausgeschlossen sein sollte.
6.4.3. Als Vorbild für die Regelung des Wiederauflebens der Witwenrente (und später auch der Witwerrente) nach Ungültigerklärung oder Scheidung der neuen Ehe dienten die damaligen Bestimmungen des <ref-law> und des Art. 29 Abs. 4 der Statuten der Eidgenössischen Versicherungskasse (vgl. dazu BBl 1971 II 1097). Auch diese Normen gaben indessen keine klare Antwort darauf, wie es sich in den von ihnen geregelten Bereichen mit dem Wiederaufleben nach der Scheidung der dritten, vierten etc. Ehe verhielt.
6.4.4. Eine <ref-law> in Verbindung mit <ref-law> nachempfundene Regelung findet sich sodann in <ref-law> (vgl. dazu Botschaft vom 18. August 1976 zum Bundesgesetz über die Unfallversicherung, BBl 1976 III 141 ff., 196), wo ebenfalls vorgesehen ist, dass der wegen Wiederverheiratung erloschene Anspruch auf Witwenrente wieder auflebt, wenn die neue Ehe nach weniger als zehn Jahren geschieden oder als ungültig erklärt wird. Allerdings fehlen auch hier Anhaltspunkte dafür, was gilt, wenn der Verwitwung mehrere Ehen folgen.
6.4.5. Damit kann festgehalten werden, dass das systematische Auslegungselement nicht weiterführt.
6.5. Schliesslich ist zu prüfen, ob sich aus dem Sinn und Zweck der Bestimmung etwas ableiten lässt.
6.5.1. Der Witwen- bzw. Witwerrente nach <ref-law> liegt als Hinterlassenenleistung die sozialpolitische Zielsetzung zugrunde, die Witwe oder den Witwer gegen den mit dem Eintritt des Todes des Ehegatten erlittenen Verlust abzusichern (Ueli Kieser, Alters- und Hinterlassenenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 3. Aufl. 2016, S. 1367 Rz. 617; Marc Hürzeler, System und Dogmatik der Hinterlassenenversicherung im Sozialversicherungs- und Haftpflichtrecht, Bern 2014, S. 58 f.; vgl. auch BBl 1946 II 411). Die Witwen- bzw. Witwerrente soll den Versorgerschaden ausgleichen, den eine verheiratete Person durch den Tod des Ehepartners erleidet (<ref-ruling> E. 5.5). Als Hinterlassenenleistung substituiert sie die ehelichen Fortwirkungen, indem sie den durch die Ehe vermittelten gesetzlichen Unterhalt ersetzt; sie schützt den überlebenden Ehegatten in seinem Vertrauen, die während der Ehe genossene Versorgungslage fortführen zu können (Hürzeler, a.a.O., S. 82 f. und 399 f.).
6.5.2. Der Grund, weshalb die Witwen- oder Witwerrente mit der Wiederverheiratung untergeht (<ref-law>), liegt darin, dass ihr Zweck, den sich aus der vorangehenden Ehe ergebenden nachehelichen Unterhalt zu ersetzen (E. 6.5.1), mit diesem Ereignis dahinfällt. Da der Lebensunterhalt der Witwe oder des Witwers fortan durch die neue Ehegemeinschaft getragen wird, muss er nicht mehr über Rentenleistungen abgedeckt werden.
6.5.3. Das Schutzbedürfnis ändert sich allerdings wieder, wenn die von der Witwe oder dem Witwer eingegangene neue Ehe wegen Scheidung oder Ungültigerklärung keinen (längeren) Bestand hat. Aus diesem Grund sah der Gesetzgeber für diesen Fall ein Wiederaufleben des Anspruchs auf die mit der Wiederverheiratung untergegangene (vgl. E. 6.5.2) Witwen- oder Witwerrente vor (wobei dies gemäss <ref-ruling> bedingt, dass der Anspruch vor der zweiten Eheschliessung entstanden ist; vgl. auch Baumann/Lauterburg, Scheidung, Getrenntleben und AHV/IV - Tipps für PraktikerInnen, FamPra.ch 3/2006 S. 611 ff., 624). Der Vorinstanz ist zwar beizupflichten, dass (auch) dieser Regelung des Wiederauflebens ein sozialpolitischer Gedanke zugrunde liegt, sollten doch die verwitweten Partner dadurch zusätzlich finanziell abgesichert werden. Soweit sie daraus aber ableitet, die Möglichkeit des Wiederauflebens müsse unbegrenzt - d.h. im Falle sämtlicher nach der Verwitwung eingegangener und später wieder geschiedener oder als ungültig erklärter Ehen - gegeben sein, kann ihr nicht gefolgt werden, denn dieser Schluss ist keineswegs zwingend.
6.5.4. Vielmehr stellt sich die Frage, ob es überhaupt folgerichtig ist, die frühere Witwen- oder Witwerrente nach Auflösung der Zweitehe wieder aufleben zu lassen, dies mit Blick auf das eheliche Unterhaltsrecht, nach welchem der zweite Ehegatte den Verlust des bisherigen (d.h. früheren nachehelichen) Unterhaltsanspruchs jedenfalls nicht auszugleichen hat (vgl. dazu Hürzeler, a.a.O., S. 399, mit Hinweis auf das Urteil 5C.49/2005 vom 23. Juni 2005 E. 2.5). Wenn der Gesetzgeber dessen ungeachtet ein Wiederaufleben des Witwen- oder Witwerrentenanspruchs vorsah, entfernte er sich (um die verwitweten Partner zu schützen, deren neue Ehe seiner Auffassung nach möglicherweise mit einem höheren Risiko des Scheiterns behaftet war; vgl. dazu E. 6.3.2.2) mithin erheblich vom System des Unterhaltsrechts. Lässt sich in diesem Sinne bereits nach der zweiten, durch Scheidung oder Ungültigerklärung aufgelösten Ehe ein Wiederaufleben des Hinterlassenenrentenanspruches aus erster Ehe dogmatisch (insbesondere aufgrund der fehlenden Parallelen zum Unterhaltsrecht) kaum rechtfertigen, erlauben Sinn und Zweck der Norm erst recht keine ausdehnende Auslegung im Sinne eines Wiederauflebens des Witwen- oder Witwerrentenanspruchs auch nach Auflösung der dritten, vierten etc. Ehe (vgl. auch Hürzeler, a.a.O., S. 400). Dass ein Wiederaufleben in jedem Fall ausgeschlossen ist, wenn die neue Ehe mehr als zehn Jahre gedauert hat (<ref-law> in Verbindung mit <ref-law>), lässt sich ohne weiteres damit begründen, dass das Vertrauen des überlebenden Ehegatten, die während bzw. nach der ersten Ehe genossene Versorgungslage nach Auflösung der zweiten Ehe (durch Scheidung oder Ungültigerklärung) weiterhin fortführen zu können, nach einer derart langen Zeitspanne keinen Schutz mehr verdient. Umso mehr fehlt eine Rechtfertigung, die Versorgungssituation der ersten Ehe durch eine wiederauflebende Witwen- oder Witwerrente abzusichern, wenn die Witwe oder der Witwer inzwischen nicht nur ein zweites, sondern ein drittes oder viertes etc. Mal verheiratet war und sich erneut scheiden liess oder die Ehe als ungültig erklärt wurde. Denn auch diesfalls ist die Verbindung zur während der ersten Ehe genossenen Versorgungslage so lose, dass ein Wiederaufleben des von dieser ersten Ehe herrührenden Witwen- oder Witwerrentenanspruchs nicht mehr dem Sinn und Zweck der Norm entsprechen würde.
6.5.5. Eine Auslegung nach Sinn und Zweck legt damit den Schluss nahe, dass die Möglichkeit des Wiederauflebens des Witwen- oder Witwerrentenanspruchs auf die Scheidung oder Ungültigerklärung der zweiten Ehe beschränkt ist.
6.6. Zusammenfassend lässt sich festhalten, dass das grammatikalische und das systematische Auslegungselement nichts ergeben, während das historische und das teleologische Element zum Ergebnis führen, dass der Anspruch auf eine Witwen- oder Witwerrente, der zufolge Wiederverheiratung erloschen ist (<ref-law>), gestützt auf <ref-law> nur nach Auflösung der zweiten Ehe durch Scheidung oder Ungültigerklärung wieder aufleben kann. Werden danach weitere Ehen eingegangen (d.h. eine dritte, vierte etc. Ehe) und später geschieden oder als ungültig erklärt, ist ein Wiederaufleben ausgeschlossen. In diesem Sinne ist die erste der sich gemäss E. 5.1 stellenden Rechtsfragen zu bejahen. Die zweite wird damit obsolet.
7.
Die Beschwerdegegnerin verwitwete am 2. August 1994 und war danach ein zweites (vom 22. Januar 2003 bis zur Scheidung am 11. September 2008) und ein drittes Mal (vom 11. Dezember 2009 bis zur Scheidung am 17. August 2019) verheiratet. Ab 1. September 1994 hatte sie Anspruch auf eine Witwenrente der Alters- und Hinterlassenenversicherung, welcher mit der Wiederverheiratung erlosch (<ref-law>). Gemäss dem in E. 6.6 Gesagten lebte der Anspruch auf die Witwenrente nach der Scheidung ihrer dritten Ehe nicht wieder auf (vgl. <ref-law>). Bei dieser Sachlage hat die Vorinstanz die Ausgleichskasse zu Unrecht verpflichtet, der Beschwerdegegnerin rückwirkend ab 1. September 2019 erneut eine Witwenrente auszurichten. Das angefochtene Urteil ist deshalb aufzuheben und die Beschwerde gutzuheissen.
8.
Entsprechend dem Ausgang des Verfahrens hat die Beschwerdegegnerin grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Ihrem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Das Urteil des Versicherungsgerichts des Kantons Aargau vom 3. November 2020 wird aufgehoben und der Einspracheentscheid der Ausgleichskasse des Kantons Aargau vom 1. Mai 2020 bestätigt.
2.
Der Beschwerdegegnerin wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dr. Volker Pribnow wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter der Beschwerdegegnerin wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Die Sache wird zur Beurteilung des Gesuches um unentgeltliche Verbeiständung im vorinstanzlichen Verfahren an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
6.
Dieses Urteil wird den Parteien, der Ausgleichskasse des Kantons Aargau und dem Versicherungsgericht des Kantons Aargau, 1. Kammer, schriftlich mitgeteilt.
Luzern, 2. Juli 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Keel Baumann