Faits:
A.
X._ est né en 1962 en Allemagne, pays dont il est originaire. Après avoir effectué sa scolarité obligatoire, il a étudié au conservatoire de Stuttgart, puis à celui de Genève de 1987 à 1991. Il a ensuite travaillé en Suisse dans diverses écoles Steiner en qualité de professeur de musique et a également été organiste et chef de choeur. L'intéressé s'est marié en 1994 avec une suissesse et a eu deux enfants, A._, née en 1995, et B._, né en 1998. Les époux ont vécu séparés depuis 2002 et, jusqu'à l'introduction de l'affaire pénale dont il est question ci-après, la garde des enfants était partagée en ce sens que les enfants vivaient la moitié de la semaine chez leur mère et l'autre moitié auprès de leur père.
B.
Par jugement du 23 mai 2011, le Tribunal correctionnel de l'arrondissement de l'Est vaudois (ci-après: le Tribunal correctionnel) a condamné X._ à une peine privative de liberté de trente-six mois dont dix-huit assortis d'un sursis d'une durée de cinq ans, sous déduction de neuf jours de détention préventive, pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et pornographie. Il a également ordonné que l'intéressé soit soumis à un traitement ambulatoire. Il ressort de ce jugement ce qui suit:
- entre l'été et l'automne 2008, X._ a imposé à son fils B._, alors âgé de dix ans, des caresses à caractère sexuel, l'a masturbé et lui a prodigué des fellations jusqu'à éjaculation. II a demandé les mêmes gestes à son fils. A sa requête, B.X._ s'est plié aux mêmes gestes sur son géniteur sans exprimer son refus. B.X._ a expliqué au Tribunal correctionnel ne pas avoir accepté de son plein gré ces actes d'ordre sexuel, mais ne pas avoir eu la possibilité de les éviter, dès lors que son père s'en prenait à lui alors que sa soeur A._ était couchée dans une pièce à côté, à l'occasion de la garde alternée mise en place par ses parents. X._ a fait pression sur son enfant en lui disant qu'il ne "devait pas en parler à sa mère car elle ne comprendrait pas". En automne 2008, B.X._ a demandé à son père de cesser ses agissements et celui-ci s'est rangé à son souhait durant un certain temps;
- entre l'été 2009 et janvier 2010, les caresses, masturbations et fellations réciproques ont recommencé de plus belle, le plus souvent, et notamment la première fois, à l'initiative de X._, mais aussi, à quelques reprises, de l'enfant. Père et fils ont en outre regardé, à plusieurs reprises, des films pornographiques sur Internet en se masturbant réciproquement jusqu'à éjaculation. Ces actes d'ordre sexuel ont pris fin à la demande de B.X._ au début janvier 2010;
- durant l'instruction pénale et aux débats devant le Tribunal correctionnel, X._ a persisté à soutenir que l'initiative des actes d'ordre sexuel sur son fils était venue de l'enfant lui-même. Mais, sur la base des déclarations de la victime, le Tribunal correctionnel a retenu que c'était X._ qui avait initié les actes d'ordre sexuel et que B.X._ était demeuré passif;
- s'agissant de la fréquence des actes délictueux, X._ a minimisé son comportement. Sur la base des déclarations de B.X._ selon lesquelles il avait subi les assauts de son père matin et soir, tous les jours qu'il passait auprès de lui, soit environ quatre jours par semaine au vu de la garde alternée mise en place, le Tribunal correctionnel a retenu que les actes d'ordre sexuel avaient eu lieu à raison de deux fois par jour, entre trois et quatre fois par semaine;
- c'est X._ qui, alors qu'il avait interpellé le Service de protection de la jeunesse pour faire part des inquiétudes qu'il avait au sujet des relations entre sa fille A._ et le grand-père maternel de celle-ci - inquiétudes qui se sont révélées sans fondement -, a dévoilé lors de cet entretien au SPJ qu'il avait commis des actes d'ordre sexuel sur son fils B._ depuis l'été 2008;
- X._ a été soumis à une expertise médico-légale psychiatrique confiée aux Drs Y._ et Z._, de la Fondation Nant. Dans leur rapport du 16 septembre 2010, ceux-ci ont posé le diagnostic de "psychose non organique. Cette expertise, largement reprise dans l'arrêt entrepris devant le Tribunal fédéral, relève en particulier que la psychose dont l'expertisé est atteint s'exprime de façon bien sectorisée et n'influence pas son discernement ni ses compétences sociales et professionnelles. A notre avis, l'expertisé présente un risque de récidive, au vu surtout du goût pour la transgression et de la force des pulsions (hypersexualisation) qu'il présente. Cette appréciation s'étaye aussi sur le fait que l'expertisé ne remet qu'assez partiellement en question ses agissements (il dira par exemple: «Humainement, cela n'est pas si grave»). Le Tribunal correctionnel a retenu que " La culpabilité de X._ est lourde. La proie choisie était facile dès lors qu'elle était auprès de lui la moitié de la semaine et qu'en raison des liens de filiation qui les unissent, l'ascendant nécessaire au passage à l'acte n'avait pas à être créé. Partant, le prévenu fait fausse route en tentant de s'exculper au motif qu'il n'a jamais porté atteinte à l'intégrité sexuelle des enfants auxquels il enseignait. Le nombre des actes fait frémir, de même que l'impuissance de la victime à les éviter dans un premier temps. Le concours d'infractions (art. 49 CP) vient alourdir la peine. La responsabilité est entière et les experts estiment le risque de récidive important. La prise de conscience de ses actes par X._ est encore très faible, voire inexistante, tant il est vrai que, d'un côté, il dit reconnaître leur gravité, mais que, d'un autre, il rejette l'initiative des faits sur sa victime. Conformément à la jurisprudence, l'absence d'antécédents judiciaires a un effet neutre, aucun motif ne justifiant d'en faire un élément à décharge (...). A décharge, la situation personnelle de X._ sera prise en considération, de même que le suivi psychothérapeutique initié par le prévenu auprès du Dr Gravier. Il faut prendre acte que le prévenu s'est dénoncé lui-même auprès du Service de protection de la jeunesse, lequel a fait appel à la justice.".
Par arrêt du 29 août 2011, la Cour d'appel pénale du Tribunal cantonal a rejeté l'appel interjeté par X._ à l'encontre du jugement rendu le 23 mai 2011 par le Tribunal correctionnel. Le divorce des époux X._ a été prononcé le 13 janvier 2012. Suite à la dénonciation par le Servie de protection de la jeunesse, les enfants de X._ ont refusé de rencontrer leur père. En outre, l'autorisation d'enseigner provisoire a été retirée à l'intéressé, de sorte qu'il n'a plus enseigné au sein d'écoles; il n'a donc plus travaillé que comme organiste et chanteur. X._ purge sa peine depuis le 21 février 2012 aux Etablissements Pénitentiaires de Bellechasse, à Sugiez (FR). La fin de sa peine est fixée au 12 août 2013.
C.
Par décision du 5 avril 2012, le Chef du Département de l'économie a révoqué l'autorisation d'établissement dont X._ est titulaire, en application de l'art. 5 de l'Annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) en prenant spécialement en compte l'important risque de récidive. Il a imparti à l'intéressé un délai immédiat pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise. X._ a interjeté recours le 19 avril 2012 contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal). Le 18 février 2013, le Tribunal cantonal a rejeté le recours.
D.
X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre le jugement du Tribunal cantonal. Outre l'effet suspensif et l'assistance judiciaire, il requiert principalement l'annulation de l'arrêt entrepris, la poursuite de son autorisation d'établissement, un avis comminatoire lui étant au besoin notifié. Subsidiairement, il demande le renvoi de la cause au Tribunal cantonal pour complément d'instruction sous la forme d'un rapport à requérir du Dr Zbinden au sujet du risque de récidive qu'il représente.
Le Tribunal cantonal, le Service de la population et le Département du canton de Vaud ont renoncé à se déterminer sur le recours. Par ordonnance du 8 mars 2013, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (art. 29 al. 1 LTF; cf. <ref-ruling> consid. 1 p. 472 et les arrêts cités).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant une autorisation d'établissement parce qu'il existe en principe un droit au maintien de cette autorisation (cf. <ref-ruling> consid. 1.2.1 p. 4). En outre, en application de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), le recourant peut se prévaloir d'un droit à séjourner en Suisse (cf. art. 4 ALCP).
1.2. Au surplus, déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), le présent recours, dirigé contre une décision rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (cf. pour cette notion <ref-ruling> consid. 4.2 p. 560) - ou en violation du droit (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées; à défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF137 II 353 consid. 5.1 p. 356).
2.2. En l'espèce, le recourant reproche à l'instance précédente de s'être fondée sur le jugement pénal du 23 mai 2011 ainsi que sur le rapport d'expertise médico-légale du 16 septembre 2010 et de n'avoir pas suffisamment tenu compte des faits survenus postérieurement à ces dates, en particulier des attestations versées en cause ultérieurement et relatives à son suivi thérapeutique. Si l'instance précédente avait effectivement omis de tenir compte de tous les faits survenus jusqu'à la date de son arrêt, elle aurait établi les faits en violation du droit (cf. <ref-ruling> consid. 3.3 p. 374; <ref-ruling> consid. 5.3 p. 239 s.; arrêt 2C_42/2011 du 23 août 2012 consid. 5.3). Or, tel n'est pas le cas dès lors que l'instance précédente a parfaitement pris en considération et évalué la portée des éléments auxquels le recourant se réfère. Elle a même procédé à un examen détaillé, dans la mesure où elle a reproduit dans le corps de son arrêt les principaux passages des documents dont le recourant se prévaut.
Pour le surplus, le recourant critique l'appréciation des preuves effectuée par l'instance précédente sans exposer concrètement en quoi cette appréciation serait arbitraire ou manifestement inexacte, se contentant d'opposer sa propre appréciation des faits à la description retenue par le Tribunal cantonal. Une telle argumentation, caractéristique de l'appel, est irrecevable. Partant, l'Autorité de céans se limitera à examiner si le droit fédéral a été correctement appliqué par le Tribunal cantonal sur la base des faits ressortant de l'arrêt entrepris.
3.
Selon son art. 2 al. 2, la loi fédérale du du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) ne s'applique aux ressortissants des États membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables. L'ALCP ne réglementant pas en tant que tel le retrait de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses États membres, ainsi qu'entre les États membres de l'Association européenne de libre-échange [OLCP; RS 142.203]). Dès lors qu'il constitue une limite à la libre circulation des personnes, le retrait de l'autorisation d'établissement doit néanmoins être conforme aux exigences de l'ALCP (arrêt 2C_401/2012 du 18 septembre 2012 consid. 3.1).
4.
Selon l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger ne peut être révoquée que si l'intéressé attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 63 al. 1 let. b LEtr) ou s'il a été condamné à une peine privative de liberté de longue durée - soit à une peine dépassant un an d'emprisonnement (cf. <ref-ruling> consid. 4.2 p. 379 ss) - ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP (art. 62 let. b LEtr). Il n'est pas contesté que le recourant, qui a été condamné le 23 mai 2011 à une peine privative de liberté de trente-six mois pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et pornographie, remplit les conditions permettant de révoquer son autorisation d'établissement, au sens de l'art. 62 let. b en lien avec l'art. 63 al. 2 LEtr.
5.
Sous l'angle de l'art. 63 LEtr, la révocation de l'autorisation d'établissement du recourant est donc fondée. Encore faut-il qu'elle soit justifiée du point de vue des conditions dont l'ALCP fait dépendre la limitation aux droits qu'il confère.
5.1. Selon l'art. 5 al. 1 Annexe I ALCP, les droits octroyés par les dispositions de l'Accord ne peuvent être limités que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Le cadre et les modalités d'application de l'art. 5 al. 2 Annexe I ALCP sont définis en particulier par la directive européenne 64/221/CEE du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes, devenue la Cour de justice de l'Union européenne (ci-après la Cour de Justice), rendue avant la signature de l'ALCP le 21 juin 1999 (cf. art. 5 al. 2 Annexe I ALCP en relation avec l'art. 16 al. 2 ALCP; au sujet de la prise en considération des arrêts de la Cour de Justice postérieurs à cette date, cf. <ref-ruling> consid. 3.4 p. 12 s.; arrêt 2C_401/2012 du 18 septembre 2012 consid. 3.3). Conformément à la jurisprudence du Tribunal fédéral, qui s'appuie en cela sur celle de la Cour de Justice, les limitations au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Le recours par une autorité nationale à la notion de l'ordre public suppose, en tout cas, l'existence, en dehors du trouble pour l'ordre social que constitue toute infraction à la loi, d'une menace réelle et suffisamment grave, affectant un intérêt fondamental de la société. L'art. 5 Annexe I ALCP s'oppose ainsi au prononcé de mesures décidées (exclusivement) pour des motifs de prévention générale. C'est le risque concret de récidive qui est déterminant (cf. <ref-ruling> consid. 4.2 p. 20). L'existence d'une condamnation pénale ne peut être ainsi retenue que dans la mesure où les circonstances qui ont donné lieu à cette condamnation font apparaître l'existence d'un comportement personnel constituant une menace actuelle pour l'ordre public. En général, la constatation d'une menace de cette nature implique chez l'individu concerné l'existence d'une tendance à maintenir ce comportement à l'avenir, mais il peut arriver que le seul fait du comportement passé réunisse les conditions de pareille menace pour l'ordre public (cf. <ref-ruling> consid. 3.4.1 p. 182 ss). Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque, qui est essentiel, ne doit cependant pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (cf. arrêt 2C_401/2012 du 18 septembre 2012 consid. 3.3). L'évaluation du risque de récidive sera d'autant plus stricte que le bien juridique menacé est important (cf. <ref-ruling> consid. 4.2 p. 20). Pour évaluer la menace que représente un étranger condamné pénalement, le Tribunal fédéral se montre particulièrement rigoureux - en suivant en cela la pratique de la Cour européenne des droits de l'homme - en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'inté-
grité sexuelle (cf. arrêt 2C_238/2012 du 30 juillet 2012 consid. 2.3 et les arrêts cités).
5.2. En l'espèce, tant l'importance des biens lésés que la durée de la condamnation pénale confirment la gravité des actes perpétrés par le recourant. Pour ce qui a plus précisément trait au risque de récidive, le Tribunal cantonal a précisé:
" Concernant sa thérapie, on relève que, bien que les thérapeutes qui l'ont suivi mentionnent son investissement, aucun ne fait cependant état d'une amélioration du trouble mental que les experts psychiatres ont diagnostiqué. Quant à la question du risque qu'il récidive, le psychologue Marius Zbinden, qui l'a suivi durant toute sa détention, ne se prononce pas. Or, les experts psychiatres mandatés par le Tribunal correctionnel ont été très clairs sur ce point, en soulignant qu'au vu de la force des pulsions décrites par le recourant, de son goût pour la transgression sociale et de sa psychopathologie considérée comme grave, le risque qu'il récidive semblait important et concernait le même type d'actes répréhensibles. Par ailleurs, on est frappé par la très lente progression du recourant dans le processus d'admission de la gravité de ses actes. Le Tribunal correctionnel l'avait déjà souligné ("La prise de conscience de ses actes par X._ est encore très faible, voire inexistante"), mais on constate, à la lecture du PES, que, alors que le recourant approche de la fin de sa détention, il semble à peine à commencer à admettre que sa victime n'était pas consentante et qu'il a usé de contrainte envers elle (sous le titre "Conclusion": "Il dit prendre conscience peu à peu que son fils ne souhaitait pas ses abus et qu'il l'a fait souffrir"). Ainsi, dans la mesure où, comme relevé ci-dessus, il convient, conformément à la jurisprudence, d'examiner avec sévérité le risque de récidive que présente le recourant, et qu'il ne ressort du dossier pas d'élément concret prouvant que le risque de récidive élevé qu'il présentait en 2010 a désormais diminué, il convient de considérer qu'il représente une menace réelle, actuelle et suffisamment grave au sens de l'art. 5 par. 1 de l'Annexe I de l'ALCP pour justifier la révocation de son autorisation."
Le Tribunal fédéral fait siens ces considérants qui confirment le risque de récidive et fondent la révocation de l'autorisation d'établissement au regard des règles spécifiques de l'ALCP.
6.
6.1. La révocation de l'autorisation d'établissement doit par ailleurs être proportionnée aux circonstances. Le principe de la proportionnalité découle notamment de l'art. 96 LEtr, applicable aussi au domaine régi par l'ALCP (cf. art. 2 al. 2 LEtr; cf. arrêt 2C_1045/2011 du 18 avril 2012 consid. 2.1). A cet égard, il y a lieu de prendre en compte, entre autres, la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi. Les mesures d'éloignement sont soumises à des conditions d'autant plus strictes que l'intéressé a passé une longue période en Suisse. Le renvoi d'étrangers ayant séjourné très longtemps en Suisse, voire de ceux qui y sont nés et y ont passé toute leur existence, n'est cependant pas exclu en présence de délits violents ou de délits graves répétés (cf. <ref-ruling>10 consid. 2.1 p. 12).
6.2. Dès lors que la Cour cantonale a procédé à une étude soignée et correcte de la proportionnalité de la mesure en y intégrant tous les critères imposés par la jurisprudence, il suffit d'y renvoyer (art. 109 al. 3 LTF). Le grief de violation de l'art. 96 LEtr doit donc être rejeté.
7.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public dans la mesure où il est recevable. Le recours était d'emblée dénué de chances de succès, de sorte que la requête d'assistance judiciaire est rejetée (art. 64 LTF). Succombant, le recourant doit supporter les frais judiciaires (art. 66 aI. 1 LTF). Il n'est pas attribué de dépens (art. 68 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Département de l'économie et du sport du canton de Vaud, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 27 juin 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey