Faits :
A.
A._, ressortissant français né en 1959, est entré en Suisse en 1972 pour y rejoindre ses parents. Il a été mis au bénéfice d'une autorisation d'établissement et, après avoir fini sa formation, a travaillé comme boucher. L'intéressé, qui s'est marié en 1983, a eu une fille, ressortissante suisse née en 1984. Il a divorcé en 1988. Il s'est marié une deuxième fois en 1996 avec une femme qui était déjà mère d'une fille, née en 1983.
Après une première condamnation pénale à 45 jours d'emprisonnement le 13 décembre 1995, confirmée sur recours le 29 janvier 1996, pour actes d'ordre sexuel avec des enfants et faux dans les certificats, A._ a été condamné une deuxième fois le 5 octobre 1998 pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, exhibitionnisme, pornographie et violation du devoir d'assistance ou d'éducation au détriment de sa fille, de la fille de sa femme et de sa filleule (née en 1981) à une peine de réclusion de quatre ans et demi. A._ a divorcé de sa deuxième femme le 15 décembre 1998.
Le 5 août 2002, A._ s'est marié pour la troisième fois. La demande de regroupement familial en faveur de la fille de son épouse, ressortissante mauricienne née en 1999, a été refusée par le Service de la population du canton de Vaud (ci-après: le Service de la population), par décision du 9 septembre 2004, en raison des antécédents pénaux de l'intéressé, décision confirmée sur recours le 23 mai 2005. La fille de l'épouse de A._ est arrivée illégalement en Suisse auprès de sa mère et de l'intéressé en novembre 2004. Le 29 août 2005, A._ est devenu père d'un garçon. Le 12 juin 2008, l'intéressé a été condamné à une peine privative de liberté de dix mois pour pornographie, peine finalement réduite à 300 jours-amende (cf. arrêts du Tribunal fédéral 6B_289/2009 du 16 septembre 2009; 6B_85/2010 du 16 mars 2010). A._ a divorcé de sa troisième femme le 30 novembre 2009.
Par décision du 29 juillet 2009, le chef de l'ancien Département de l'intérieur du canton de Vaud a révoqué l'autorisation d'établissement de A._. Celui-ci a recouru le 10 août 2009 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) qui, par arrêt du 4 mai 2011, a admis le recours. Sur recours de l'ancien Office fédéral des migrations (actuellement le Secrétariat d'Etat au migrations; ci-après: le Secrétariat d'Etat), cet arrêt a été annulé par le Tribunal fédéral, qui a confirmé la révocation de l'autorisation d'établissement de l'intéressé (arrêt 2C_473/2011 du 17 octobre 2011). A._ a quitté la Suisse le 15 février 2012. Par décision du 20 avril 2012, le Secrétariat d'Etat a prononcé une interdiction d'entrée en Suisse de quinze ans contre l'intéressé. La durée de cette interdiction d'entrée a été réduite à sept ans par le Tribunal administratif fédéral, le 2 octobre 2014.
Le 25 février 2014, A._ a été condamné à une peine pécuniaire de 22 jours-amende pour violation grave des règles de la circulation routière commise le 25 août 2013. Le 6 juillet 2018, il a été condamné à une peine pécuniaire de 180 jours-amende pour violation d'une obligation d'entretien et, le 13 août 2018, à une peine complémentaire de 20 jours-amende pour entrée illégale.
B.
Le 19 mars 2020, une entreprise a déposé une demande d'autorisation pour travailleur frontalier salarié UE/AELE en faveur de A._, celui-ci ayant déjà été engagé en tant que boucher-charcutier, à plein temps et pour une durée indéterminée, depuis le 1er février 2020. Par décision du 27 octobre 2020, le Service de la population a refusé l'octroi de l'autorisation demandée.
A._ a contesté cette décision le 4 novembre 2020 auprès du Tribunal cantonal qui, par arrêt du 12 février 2021, a rejeté son recours.
C.
Dans un acte intitulé "Recours", A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et l'assistance judiciaire, d'annuler l'arrêt du Tribunal cantonal du 12 février 2021 et de lui octroyer une autorisation pour travailleur frontalier UE/AELE; subsidiairement, d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Le 22 mars 2021, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif. La requête d'assistance judiciaire a pour sa part été rejetée, par ordonnance du 19 avril 2021.
Le Tribunal cantonal conclut au rejet du recours. Le Service de la population et le Secrétariat d'Etat ont renoncé à se déterminer.

Considérant en droit :
1.
1.1. La fausse dénomination du recours ne saurait nuire au recourant si son acte répond aux exigences de la voie de droit à disposition (cf. quant à la désignation erronée de la voie de droit: <ref-ruling> consid. 1.1).
1.2. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, le recourant est un ressortissant français et est en principe habilité à invoquer les art. 4 ALCP (RS 0.142.112.681), ainsi que 7 et 28 annexe I ALCP pour en déduire un droit à une autorisation de travailleur frontalier salarié UE/AELE (cf. arrêt 2C_447/2008 du 17 mars 2009 consid. 2.2), étant rappelé que le point de savoir si les conditions posées par la loi sont effectivement réunies relève de l'examen au fond (cf. <ref-ruling> consid. 1.1).
1.3. Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF dans une matière relevant du droit public (art. 82 let. a LTF), le recours en matière de droit public est par conséquent recevable.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
3.
3.1. Dans l'arrêt entrepris, le Tribunal cantonal a jugé que c'était à tort que le recourant considérait que les jugements effacés ( recte: éliminés) du casier judiciaire de celui-ci n'avaient plus aucune portée dans la présente cause. Il a ajouté que le fait que l'interdiction d'entrée en Suisse était échue ne permettait pas non plus de faire abstraction, dans l'appréciation globale du cas, des infractions qui avaient donné lieu à cette mesure. Prenant ainsi en compte le comportement du recourant depuis 1996, mais également les infractions commises en Suisse postérieurement à 2012, ainsi que le fait que le recourant était revenu illégalement en Suisse et y avait travaillé durant près d'un an avant de s'annoncer au Service de la population, le Tribunal cantonal a jugé que l'intéressé n'avait jamais cessé d'adopter un comportement frauduleux, certes moins grave que par le passé, mais ne permettant malgré tout pas d'exclure un risque de récidive. L'autorité précédente a également jugé que la mesure de refus d'octroi d'autorisation pour salarié frontalier était proportionnée, puisque le recourant, qui ne soutenait pas entretenir des liens avec son fils, ne poursuivait qu'un but d'intérêt économique, n'était pas intégré en Suisse et qu'il ne lui était pas préjudiciable de travailler en France.
3.2. Pour sa part, le recourant rappelle qu'il est un ressortissant français et qu'il peut se prévaloir de l'ALCP pour venir travailler en Suisse comme frontalier. Il est d'avis que c'est à tort que les juges précédents se réfèrent à des condamnations éliminées de son casier judiciaire pour lui refuser une autorisation, mentionnant ne plus jamais avoir récidivé en matière d'actes d'ordre sexuel avec des enfants. Le recourant ajoute que son interdiction d'entrée en Suisse est définitivement terminée et que les seules condamnations figurant actuellement dans son casier judiciaire ne sont que de peu d'importance. Il conteste qu'il soit possible de faire renaître ses anciennes condamnations éliminées de son casier judiciaire dans le cadre de l'examen de la proportionnalité de la mesure en cause. Le recourant mentionne encore voir régulièrement son fils, même si, durant une période, il n'a pas pu payer les pensions alimentaires en raison de son bas salaire perçu dans son pays d'origine.
3.3. Le litige porte ainsi sur le point de savoir si le recourant peut prétendre à une autorisation pour travailleur frontalier salarié fondée sur l'ALCP et, en particulier, si son comportement délictueux respectivement les condamnations éliminées du casier judiciaire peut s'opposer à l'octroi d'une telle autorisation.
4.
4.1. La LEI (RS 142.20) ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEI). Comme l'ALCP ne réglemente pas les conditions d'octroi de l'autorisation frontalière UE/AELE, ce sont les art. 10 à 15 LEI, en particulier l'art. 11 LEI, qui sont applicables (cf. art. 9 al. 1 de l'ordonnance fédérale du 22 mai 2002 sur la libre circulation des personnes entre la Suisse et l'Union européenne et ses Etats membres, entre la Suisse et le Royaume-Uni, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [Ordonnance sur la libre circulation des personnes, OLCP; RS 142.203]; cf. <ref-ruling> consid. 2.4.1). Pour pouvoir obtenir une autorisation, il est par ailleurs nécessaire que l'étranger ne réunisse ni les conditions de révocation de l'art. 62 LEI (cf. arrêts 2C_532/2020 du 7 octobre 2020 consid. 5; 2C_183/2020 du 21 avril 2020 consid. 4.4), ni celles de l'art. 5 annexe I ALCP.
4.2. En effet, comme l'ensemble des droits octroyés par l'ALCP, le droit d'exercer une activité de travailleur frontalier en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 par. 1 annexe I ALCP (cf. <ref-ruling> consid. 5.3; arrêt 2C_447/2008 du 17 mars 2009 consid. 4.2).
Conformément à la jurisprudence rendue en rapport avec l'art. 5 annexe I ALCP, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 et les références). Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 et les références). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 et les références). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux, en lien avec l'art. 5 annexe I ALCP, en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle, étant précisé que la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peut, selon les circonstances, atténuer cette position de principe (<ref-ruling> consid. 5.3 et les références).
4.3. Quant à la prise en considération des condamnations pénales, nécessaire aussi bien en vue d'appliquer l'art. 62 LEI que l'art. 5 par. 1 annexe I ALCP, l'art. 369 al. 1 let. b CP dispose que les jugements qui prononcent une peine privative de liberté d'un an ou plus, mais de moins de cinq ans sont éliminés d'office lorsqu'il s'est écoulé quinze ans dès la fin de la durée de la peine fixée par le jugement. Ce délai peut par ailleurs être augmenté dans certaines situations (cf. art. 369 al. 2 CP). A teneur de l'art. 369 al. 7 CP, l'inscription ne doit pas pouvoir être reconstituée après son élimination. Le jugement éliminé ne peut plus être opposé à la personne concernée. Aux termes de l'art. 369 al. 8 CP, les inscriptions portées au casier judiciaire ne sont pas archivées.
Le Tribunal fédéral, s'agissant de l'application de l'art. 369 al. 7 CP en lien avec le droit des étrangers, a déjà eu l'occasion de relever que des jugements éliminés du casier judiciaire ne peuvent constituer un motif de révocation ou de refus de prolongation d'une autorisation du droit des étrangers (cf. arrêts 2C_69/2019 du 4 novembre 2019 consid. 3.2; 2C_477/2008 du 24 février 2009 consid. 3.2.1). Le Tribunal fédéral a également jugé qu'il fallait différencier les jugements pénaux figurant dans le casier judiciaire (cf. art. 369 CP), de ceux ne figurant que dans l'extrait du casier judiciaire destiné à des particuliers (cf. art. 371 CP). Seule l'absence d'inscription au casier judiciaire est pertinente (cf. arrêt 2C_766/2019 du 14 septembre 2020 consid. 5.1), puisque dans ce cas un éventuel jugement éliminé n'est plus visible, même pour les autorités (LUDOVIC TIRELLI, in Commentaire romand, Code pénal II, Macaluso/Moreillon/Queloz [éd.], 2017, n° 2 ad art. 369 CP). C'est pour cette raison que la mention au casier judiciaire est à différencier de la mention figurant sur l'extrait destiné à des particuliers, qui est supprimée lorsque deux tiers de la durée déterminante pour l'élimination de l'inscription sont écoulés (cf. art. 371 al. 3 CP; ARNOLD/GRUBER, in Basler Kommentar, Strafrecht II, Niggli/Wiprächtiger [éd.], 4e éd. 2019, n° 8 ad art. 369 CP).
Néanmoins, les jugements pénaux qui seraient éliminés du casier judiciaire, mais qui se trouveraient malgré tout dans le dossier de l'autorité de police des étrangers ou dont celle-ci aurait eu connaissance, peuvent être pris en considération dans la pesée des intérêts à effectuer en application de l'art. 96 al. 1 LEI (cf. arrêts 2C_861/2018 du 21 octobre 2019 consid. 3.2; 2C_1015/2017 du 7 août 2018 consid. 4.2.2; 2C_136/2013 du 30 octobre 2013 consid. 4.2 et les références; cf. également arrêt 2C_847/2019 du 18 décembre 2019 consid. 5.2.2).
4.4. En l'occurrence, pour refuser au recourant l'octroi de l'autorisation demandée, le Tribunal cantonal a tenu compte des condamnations pour actes d'ordre sexuel avec des enfants prononcées à la fin des années nonante, à tout le moins dans une appréciation globale de la cause.
En premier lieu, force est de constater que l'autorité précédente n'a pas clairement établi quelles condamnations figuraient encore au casier judiciaire du recourant au jour de l'arrêt entrepris. Il ressort toutefois de l'extrait du casier judiciaire suisse destiné à des particuliers figurant au dossier (cf. art. 105 al. 2 LTF), qu'en date du 18 août 2020 deux inscriptions étaient encore mentionnées dans le casier du recourant, en l'occurrence la peine pécuniaire de 180 jours-amende prononcée le 6 juillet 2018 pour violation d'une obligation d'entretien et la peine pécuniaire de 20 jours-amende prononcée le 13 août 2018 pour entrée illégale (peine complémentaire au jugement du 6 juillet 2018).
Le Tribunal cantonal n'a pas traité du point de savoir si les deux seules condamnations précitées suffisaient pour admettre l'existence d'une condition de révocation prévue à l'art. 62 LEI et d'un cas de récidive au sens de l'art. 5 par. 1 annexe I ALCP, mais a procédé à un parallèle avec la situation de fait ayant prévalu dans l'arrêt 2C_532/2020 du 7 octobre 2020. Or, dans ce dernier cas, l'étranger remplissait manifestement les conditions de révocation de son autorisation, puisqu'il avait dissimulé l'existence d'antécédents pénaux en Suisse et à l'étranger durant la procédure d'autorisation (cf. art. 62 al. 1 let. a LEI; arrêt 2C_532/2020 du 7 octobre 2020 consid. 5). En outre, cette personne avait été condamnée à quatre ans de peine privative de liberté, mais également, dans une période de huit ans, à cinq autres peines (cf. arrêt 2C_532/2020 du 7 octobre 2020 consid. 6.3). Ainsi, si l'on peut certes déceler certaines similitudes, force est néanmoins de constater que toutes les peines de l'étranger dans l'arrêt 2C_532/2020 du 7 octobre 2020 figuraient dans le casier judiciaire de celui-ci et qu'aucune n'avait été éliminée, ce qui n'est pas le cas du recourant dans la présente cause. C'est donc à tort que l'autorité précédente s'est fondée sur l'arrêt 2C_532/2020 du 7 octobre 2020 pour motiver son arrêt.
Sur la seule base des condamnations figurant dans l'extrait au dossier de la cause (une fois 180 jours-amende et une fois 20 jours-amende), il convient d'emblée d'admettre que le recourant ne réunit pas les conditions de l'art. 62 LEI, ni celles de l'art. 5 par. 1 annexe I ALCP. S'il est certes possible de tenir compte des antécédents pénaux éliminés du casier judiciaire dans l'examen de la proportionnalité, ceux-ci ne peuvent constituer un motif de refus d'autorisation au sens des art. 62 LEI et 5 ALCP. Toutefois, comme on l'a vu précédemment, puisque les peines ne figurent plus sur l'extrait du casier judiciaire destiné à des particuliers lorsque deux tiers de la durée déterminante pour l'élimination de l'inscription en vertu de l'art. 369 al. 1 à 5 et 6 CP sont écoulés (cf. art. 371 al. 3 CP), un tel extrait n'est pas suffisant pour déterminer si des peines n'y figurant pas, mais dont l'autorité a connaissance, peuvent être prises en considération en vue de prononcer une décision négative en matière d'autorisation relevant du droit des étrangers. L'autorité précédente, et le Service de la population avant elle, auraient dû consulter le casier judiciaire du recourant (cf. art. 367 al. 2 let. g CP qui permet aux autorités cantonales de police des étrangers de consulter en ligne les données personnelles relatives aux jugements visés à l'art. 366 al. 1, 2 et 3 let. a et b CP, c'est-à-dire en particulier les jugements pour crime) et déterminer si les peines prononcées contre celui-ci à la fin des années nonante y étaient encore inscrites. En outre, le recourant ayant quitté la Suisse pour la France en 2012, l'autorité précédente, afin d'examiner le risque de récidive (cf. art. 5 par. 1 annexe I ALCP) et l'éventuelle atteinte grave ou répétée à la sécurité et l'ordre public en Suisse ou à l'étranger (cf. art. 62 al. 1 let. c LEI), voire l'existence d'une peine privative de liberté de longue durée (cf. art. 62 al. 1 let. b LEI), aurait dû demander la production d'un extrait du casier judiciaire français du recourant. En ne le faisant pas, le Tribunal cantonal a statué en se fondant sur un état de fait incomplet et a considéré à tort qu'il existait un risque de récidive (cela sans préalablement examiner si le recourant remplissait les conditions d'octroi de la décision demandée), alors que le recourant ne présentait que deux peines de relativement peu d'importance dans l'extrait de son casier judiciaire destiné à des particuliers.
4.5. Le recours doit ainsi être admis et l'arrêt entrepris annulé. La cause doit être renvoyée à l'autorité précédente, afin que celle-ci procède à une instruction complémentaire en ajoutant au dossier l'extrait complet du casier judiciaire du recourant (et pas seulement l'extrait destiné à des particuliers) et en requérant un extrait du casier judiciaire français de celui-ci. Ce n'est qu'en possession de l'ensemble de ces documents que le Tribunal cantonal pourra valablement statuer sur l'existence d'un cas de révocation au sens de l'art. 62 LEI, dont l'absence est nécessaire pour octroyer une autorisation, et sur les conditions de l'art. 5 par. 1 annexe I ALCP. Le cas échéant, il ne prendra en compte les peines éliminées du casier judiciaire que s'il y a lieu de procéder à une pesée des intérêts, cela en ne méconnaissant toutefois pas le temps qui s'est écoulé depuis la commission des infractions.
5.
Compte tenu de ce qui précède, il n'est pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Le recourant a droit à une indemnité de partie, à charge du canton de Vaud (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du Tribunal cantonal du 12 février 2021 est annulé et la cause lui est renvoyée pour qu'il procède dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant la somme de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 2 août 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon