Faits :
A.
A._, né en 1975, originaire de U._, est arrivé en Suisse en 1995. Le 17 septembre 2008, il a déposé une demande de naturalisation ordinaire auprès de la commune de Lausanne. Dans le cadre de cette procédure, il a signé une déclaration selon laquelle aucune procédure pénale n'était en cours contre lui en Suisse ou dans d'autres pays, il avait respecté l'ordre juridique suisse et dans les pays dans lesquels il avait résidé au cours des dix dernières années, même au-delà de ces dix années il n'avait pas commis d'infraction pour lesquelles il devait s'attendre à être poursuivi ou condamné et il s'engageait à informer les autorités compétentes en matière de naturalisation de toutes les enquêtes pénales ouvertes à son encontre et de condamnation durant la procédure de naturalisation. Ce formulaire comportait aussi l'information que si le requérant ne respectait pas l'ordre juridique suisse au moment de la décision, la naturalisation pouvait être annulée lorsqu'elle avait été obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels (art. 41 de l'ancienne loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse [aLN]).
La Municipalité de Lausanne (pour la bourgeoisie communale), le Conseil d'État du canton de Vaud (pour le droit de cité vaudois), puis l'Office fédéral des migrations ont donné leur assentiment à la naturalisation du prénommé. Le 24 août 2011, le Conseil d'État a ainsi octroyé à l'intéressé la nationalité suisse.
B.
Le 8 mai 2012, une plainte pénale a été déposée à l'encontre de A._. Par jugement du 21 janvier 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a déclaré l'intéressé coupable notamment d'actes d'ordre sexuel avec des enfants et de contraintes sexuelles pour des faits ayant eu lieu entre le 21 juin 2003 et le 20 septembre 2003 et entre le 1 er octobre 2003 et le 30 septembre 2005. Il l'a encore condamné pour viol (pour des faits s'étant déroulés entre le 1 er octobre 2003 et le 30 septembre 2005). A._ a été condamné à une peine privative de liberté de quatre ans, sous déduction de deux jours de détention avant jugement. La Cour d'appel pénale du Tribunal cantonal du canton de Vaud et le Tribunal fédéral ont confirmé ce jugement, respectivement par jugement du 8 juin 2015 et par arrêt du 18 septembre 2015 (<ref-law>). A._ a fait l'objet d'une arrestation immédiate lors du jugement cantonal et il est resté incarcéré depuis lors jusqu'à la fin de l'exécution de sa peine.
Le 30 juin 2017, le Secrétariat d'État aux migrations (ci-après: le SEM) a informé le Secteur des naturalisations du Service de la population du canton de Vaud que l'intéressé avait fait l'objet de la condamnation pénale précitée et l'a invité à examiner la possibilité d'une annulation de la naturalisation. Le 17 novembre 2017, le Secteur des naturalisations vaudois a ouvert une procédure en annulation de la naturalisation ordinaire et a demandé à l'intéressé de produire le jugement pénal et un extrait de son casier judiciaire. Le 15 décembre 2017, il a invité A._ à faire valoir son droit d'être entendu au sujet de l'annulation de sa naturalisation. Le prénommé a soutenu qu'il ne faisait l'objet d'aucune enquête pénale pendant la durée de la procédure de naturalisation, la plainte pénale n'ayant été déposée qu'en 2012.
Par décision du 15 août 2019, le Conseil d'État a prononcé l'annulation de la nationalité suisse accordée à A._. Par arrêt du 28 mai 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par l'intéressé contre la décision du 15 août 2019.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral l'annulation de l'arrêt attaqué et le maintien de sa nationalité suisse. Il requiert aussi l'assistance judiciaire.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de l'arrêt attaqué. La Municipalité de Lausanne, le Service de la population et le SEM concluent au rejet du recours.
Par ordonnance du 10 juillet 2020, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par le recourant.

Considérant en droit :
1.
Dirigé contre la décision du Tribunal cantonal (art. 86 al. 1 let. d LTF) qui confirme l'annulation de la naturalisation ordinaire accordée au recourant, le recours est recevable comme recours en matière de droit public (<ref-law>). Le motif d'exclusion de l'<ref-law> n'entre pas en ligne de compte, dès lors qu'il s'agit en l'espèce d'annulation de la naturalisation ordinaire (arrêt 1C_156/2015 du 15 juin 2015 consid. 1.1 et l'arrêt cité; THOMAS HÄBERLI, in: Basler Kommentar BGG, 3 ème éd. 2018, <ref-law> N 52). Pour le surplus, le recourant a la qualité pour recourir au sens de l'<ref-law> et les conditions formelles de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2.
L'entrée en vigueur, au 1 er janvier 2018, de la nouvelle loi sur la nationalité suisse du 20 juin 2014 (LN; RS 141.0) a entraîné l'abrogation de la loi fédérale du 29 septembre 1952 sur l'acquisition et la perte de la nationalité suisse (aLN), conformément à l'art. 49 LN (en relation avec le chiffre I de son annexe). En vertu de la réglementation transitoire prévue par l'art. 50 LN, l'acquisition et la perte de la nationalité suisse sont régies par le droit en vigueur au moment où le fait déterminant s'est produit.
Dans la présente cause, le Service de la population a rendu sa décision en application de l'art. 36 LN. Le Tribunal cantonal a considéré que l'art. 41 al. 1 et 2 aLN contenait une réglementation similaire à la LN, de sorte que l'application de l'ancien ou du nouveau droit pouvait demeurer indécise. Le recourant ne conteste pas ce raisonnement, de sorte que la présente cause sera examinée sous l'angle de la LN.
3.
Le recourant soutient que le délai de deux ans dans lequel la naturalisation peut être annulée n'a pas été respecté. Il se plaint d'une violation de l'art. 36 al. 2 LN.
3.1. L'art. 36 al. 2 LN prévoit que la naturalisation peut être annulée dans un délai de deux ans après que le SEM (ou l'autorité cantonale de la naturalisation: art. 36 al. 3 LN) a eu connaissance de l'état de fait juridiquement pertinent, mais au plus tard huit ans après l'octroi de la nationalité suisse; un nouveau délai de prescription de deux ans commence à courir après tout acte d'instruction signalé à la personne naturalisée; les délais de prescription sont suspendus pendant la procédure de recours.
3.2. En l'espèce, il ressort de l'état de fait de l'arrêt attaqué, par lequel le Tribunal fédéral est lié (<ref-law>), que le Secteur des naturalisations du Service de la population du canton de Vaud a pris connaissance de l'existence d'un jugement pénal concernant le recourant le 30 juin 2017 et qu'il a ordonné des mesures d'instruction à fin 2017.
Le recourant ne se plaint pas d'arbitraire dans cette constatation de fait. Il fait uniquement valoir que le jugement de la Cour d'appel pénale a été communiqué au Service de la population le 17 juin 2015 et que ce n'est que le 15 décembre 2017 que le Secteur des naturalisations du Service de la population du canton de Vaud a formellement indiqué qu'une annulation de la naturalisation était envisagée. Ces éléments n'ont toutefois aucune incidence sur la résolution du litige. En effet, eût-il été communiqué le 17 juin 2015 au Service de la population, le jugement de la Cour d'appel pénale ne saurait constituer le dies a quo du délai au sens de l'art. 36 al. 2 LN puisqu'il faisait l'objet d'un recours au Tribunal fédéral, de sorte qu'il n'était ni définitif et ni exécutoire.
Par ailleurs, le recourant ne conteste pas que, le 17 novembre 2017, le Secteur des naturalisations vaudois l'a invité à produire le jugement pénal et un extrait de son casier judiciaire. Cet acte d'instruction a ainsi fait partir un nouveau délai de prescription de deux ans (conformément à l'art. 36 al. 2 2 ème phrase LN), lequel n'était pas échu le 15 août 2019.
La cour cantonale n'a par conséquent pas violé l'art. 36 al. 2 LN en prenant pour point de départ du délai la fin 2017. Mal fondé, le grief doit donc être écarté.
4.
Sur le fond, le recourant conteste avoir obtenu la naturalisation par des déclarations mensongères. Il se plaint d'une violation du principe de la proportionnalité dans l'application de l'art. 36 al. 1 LN.
4.1. A teneur de l'art. 36 al. 1 LN, le SEM peut annuler la naturalisation obtenue par des déclarations mensongères ou par la dissimulation de faits essentiels; cependant, l'autorité cantonale est également habilitée à statuer sur ce point (art. 36 al. 3 LN).
La nature potestative de l'art. 36 LN confère une certaine liberté d'appréciation à l'autorité compétente, qui doit toutefois s'abstenir de tout abus dans l'exercice de celle-ci. Commet un abus de son pouvoir d'appréciation l'autorité qui se fonde sur des critères inappropriés, ne tient pas compte de circonstances pertinentes ou rend une décision arbitraire, contraire au but de la loi ou au principe de la proportionnalité (<ref-ruling> consid. 3.1 p. 403).
4.2. En l'occurrence, le Tribunal cantonal a retenu que le recourant avait gravement violé la loi peu avant l'ouverture de la procédure de naturalisation, soit entre 2003 et 2005 et cela de manière répétée; pour ces faits, il avait été condamné à quatre ans de peine privative de liberté. La cour cantonale a relevé que l'intéressé niait être l'auteur de ces faits. Elle n'a cependant vu aucun motif de s'écarter des faits établis par le juge pénal de première et deuxième instance.
Les juges cantonaux ont ensuite considéré que les faits ayant conduit au jugement pénal évoqués plus haut étaient d'une extrême gravité, de sorte que le retrait de la nationalité suisse de l'intéressé ne pouvait apparaître disproportionné: cela était d'autant plus vrai que l'annulation de la naturalisation du recourant n'entraînait aucune conséquence pour les membres de sa famille (spécialement ses enfants).
Ce raisonnement ne prête pas le flanc à la critique, ce d'autant moins que la condamnation du recourant a été confirmée par le Tribunal fédéral. Le recourant ne développe d'ailleurs aucune argumentation propre à le remettre en cause. Il se contente en effet de rappeler qu'il n'a caché à l'autorité compétente ni ses condamnations pénales, ni l'existence d'une procédure pénale en cours avant la décision d'octroi de la naturalisation. Or le Tribunal cantonal lui a donné raison sur ce point.
Le recourant fait aussi valoir, en vain, qu'il a toujours nié les faits retenus à son encontre et se prétend encore aujourd'hui innocent. En effet, le jugement pénal reconnaissant sa culpabilité est revêtu de l'autorité matérielle de la chose jugée et ne peut être remis en cause. L'intéressé souligne enfin que les faits qui lui sont reprochés datent de plus de quinze ans. Cette simple affirmation est toutefois insuffisante à faire admettre une violation du principe de la proportionnalité dans l'examen de l'art. 36 al. 1 LN, compte tenu de la gravité des infractions pour lesquelles il a été condamné.
5.
Il s'ensuit que le recours doit être rejeté, aux frais du recourant qui succombe.
Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à la Municipalité de Lausanne, au Conseil d'Etat du canton de Vaud, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, et au Secrétariat d'Etat aux migrations.
Lausanne, le 23 septembre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller