Faits :
A.
Par jugement du 27 novembre 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de quatre ans, sous déduction de dix jours de détention préventive, et a ordonné que X._ soit soumis à un traitement psychothérapeutique ambulatoire. Par jugement du 16 juillet 2008, il a condamné l'intéressé par défaut à une peine privative de liberté de deux ans, peine partiellement complémentaire au jugement rendu le 27 novembre 2003, et a ordonné par défaut qu'il soit soumis à un traitement psychothérapeutique ambulatoire.
X._ a atteint les deux tiers de sa peine le 21 décembre 2014; la date de sa libération définitive est fixée au 21 décembre 2016.
B.
Par ordonnance du 22 décembre 2015, le Collège des juges d'application des peines du canton de Vaud a libéré conditionnellement X._ au premier jour utile où son renvoi de Suisse pourra être exécuté, lui a imparti un délai d'épreuve d'une durée équivalente au solde de peine au jour de la libération effective, mais d'un an au moins, et a levé le traitement psychothérapeutique auquel X._ avait été astreint.
C.
Par arrêt du 8 janvier 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours interjeté par le Ministère public vaudois contre l'ordonnance du 22 décembre 2015. Elle a annulé l'ordonnance attaquée et, statuant à nouveau, elle a refusé la libération conditionnelle à X._.
D.
Contre cet arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt attaqué en ce sens que l'ordonnance du 22 décembre 2015 est confirmée et que X._ est libéré conditionnellement au premier jour utile où son renvoi de Suisse pourra être exécuté. A titre subsidiaire, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité précédente. En outre, il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et de mesures (<ref-law>).
2.
2.1. Le recourant dénonce une violation de l'<ref-law>. Il reproche à la cour cantonale d'avoir substitué sa propre appréciation du pronostic à celle émise par le Collège des juges d'application des peines. Il fait valoir qu'il a respecté l'engagement qu'il a pris de ne plus entrer en contact avec ses enfants et qu'il a versé à sa fille une indemnité pour tort moral, démontrant ainsi dans les faits qu'il reconnaissait sa culpabilité, quand bien même le discours qu'il tenait tendait à minimiser celle-ci. Il relève en outre que le risque de récidive est limité. D'une part, l'expert ne le voit pas comme un pervers sexuel, susceptible de s'en prendre à n'importe quel enfant. D'autre part, le rapport de pouvoir qu'il entretenait avec ses propres enfants était désormais à exclure, compte tenu de l'âge du recourant, de son état de santé et de sa situation générale.
La cour cantonale a considéré que la prise de conscience du recourant était faible, qu'il persistait à contester une partie des actes qui lui étaient reprochés et que les résultats du traitement entrepris étaient mitigés. Elle a admis que le risque de récidive était globalement peu élevé, mais bien réel en cas de liens affectifs étroits avec des enfants. Elle a constaté que l'élargissement de peine n'avait pas pu être testé en raison d'un risque de fuite en lien avec son statut d'étranger expulsé ayant déjà fui par le passé. Enfin le renvoi au Portugal rendrait illusoire la menace de la révocation de la libération conditionnelle et les injonctions d'un suivi.
2.2. Selon l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203 s.).
Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités).
Par sa nature même, le pronostic ne saurait être tout à fait sûr; force est de se contenter d'une certaine probabilité; un risque de récidive est inhérent à toute libération, conditionnelle ou définitive (<ref-ruling> consid. 1b p. 7). Pour déterminer si l'on peut courir le risque de récidive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise, mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2.3 p. 203 et les arrêts cités). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa/bb p. 198 ss).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2.3. En l'espèce, le recourant a subi les deux tiers de sa peine depuis le 21 décembre 2014, et il n'est pas contesté que son comportement en détention peut être qualifié de bon. Les deux premières conditions de la libération conditionnelle sont donc réalisées. Seul reste litigieux le pronostic sur son comportement futur.
En l'espèce, la cour cantonale a retenu un risque de récidive bien réel, en cas de liens affectifs étroits avec des enfants. Elle s'est fondée notamment sur l'absence de remise en question, de réflexion et d'empathie dont témoigne le recourant ainsi que sur son incapacité à s'inscrire dans un suivi thérapeutique. Le recourant conteste cette conclusion, soutenant que le risque de récidive ne serait que faible, car il n'est pas considéré comme un pervers sexuel, que ses enfants sont désormais adultes et que l'on peut exclure au vu de son âge, de son état de santé et de sa situation générale qu'il conçoive d'autres enfants à l'avenir. La cour de céans ne peut suivre cette argumentation. En effet, si les circonstances entourant l'infraction relativisent certes le risque de récidive, elles ne permettent pas de l'exclure. Selon la jurisprudence, le travail sur soi-même et par rapport aux délits commis représente un élément essentiel du processus d'évolution vers une vie exempte d'infraction (arrêt 6B_93/2015 du 19 mai 2015 consid. 5.6). L'expert a ainsi été formel. Le risque reste bien réel si le recourant venait à se retrouver de manière prolongée en contact avec des enfants avec lesquels il tisserait des liens affectifs.
Au surplus, il n'apparaît pas que la libération conditionnelle favoriserait mieux la resocialisation du recourant que l'exécution complète de la peine (cf. <ref-ruling> consid. 4d/aa/bb p. 198 ss). En effet, en cas de libération conditionnelle, il ne sera pratiquement plus possible de le surveiller et, le cas échéant, de le réintégrer s'il se conduit mal, dès lors qu'il est sous le coup d'une décision de renvoi et qu'il déclare lui-même vouloir retourner vivre au Portugal.
Enfin, il convient de souligner que l'ensemble des intervenants (commission interdisciplinaire consultative, office d'exécution des peines, Ministère public) ont préavisé en défaveur de l'octroi de la libération conditionnelle.
En définitive, la cour cantonale n'a pas violé son pouvoir d'appréciation en refusant au recourant la libération conditionnelle. Le pronostic est défavorable et l'octroi de la libération conditionnelle ne diminuerait pas le risque de récidive. Mal fondé, le grief tiré de la violation de l'<ref-law> doit être rejeté.
3.
Dénonçant une violation de son droit d'être entendu, le recourant se plaint de la motivation sommaire de l'arrêt attaqué.
Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique l'obligation pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à ceux qui lui apparaissent pertinents (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183).
La cour cantonale a apprécié le risque de récidive, compte tenu de la faible prise de conscience de la part du recourant et des résultats de traitement très mitigés. Elle a ajouté que le renvoi au Portugal rendrait illusoire la menace de la révocation de la libération conditionnelle et les injonctions d'un suivi. Un tel raisonnement respecte l'obligation de motivation. Le grief soulevé doit être rejeté.
4.
Le recourant reproche à la cour cantonale d'avoir invité l'Office d'exécution des peines à se déterminer sur la procédure en violation de l'<ref-law>.
Par lettre du 22 février 2016, il a toutefois renoncé à ce grief, au motif que l'arrêt 6B_728/2015 du 12 février 2016 avait déjà statué sur ce point.
5.
Le recours doit être rejeté.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 août 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin