Faits :
A.
Par jugement du 10 avril 2017, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné A._ par défaut à une peine privative de liberté de quinze mois pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et escroquerie, cette peine étant entièrement complémentaire à celle prononcée le 1er mai 2015 par le Tribunal correctionnel de l'arrondissement de l'Est vaudois, a révoqué par défaut le sursis accordé le 6 novembre 2013 par le Tribunal de police de l'arrondissement de l'Est vaudois et ordonné l'exécution de la peine y relative, a dit que A._ était le débiteur, à titre de tort moral, de 3'000 fr., avec intérêts à 5% l'an dès le 31 décembre 2012, en faveur de D.B._, de 2'000 fr., avec intérêts à 5% l'an dès le 31 décembre 2012, en faveur de F.B._, de 2'000 fr., avec intérêts à 5% l'an dès le 31 décembre 2012, en faveur de C.B._, de 1'000 fr., avec intérêts à 5% l'an dès le 31 décembre 2012, en faveur de E.B._ et de 3'000 fr., valeur échue, en faveur de B.B._.
B.
Par jugement du 14 octobre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ et réformé d'office le chiffre III du dispositif en ce sens qu'elle a renoncé par défaut à révoquer le sursis accordé à A._ le 6 novembre 2013 par le Tribunal de police de l'Est vaudois.
En résumé, elle a retenu les faits suivants:
B.a. Entre le début de l'année 2011 et le mois de décembre 2012, A._, ami proche de B.B._, s'est régulièrement occupé de quatre des enfants de celle-ci, à savoir D.B._, née en 1999, F.B._, née en 2000, C.B._, née en 2003 et E.B._, né en 2005. B.B._ avait des difficultés à gérer sa famille nombreuse, notamment en raison des problèmes psychologiques, respectivement de santé physique, rencontrés par certains de ses enfants. Ainsi, A._ s'est progressivement investi auprès de cette famille et lui a apporté son soutien, en soulageant B.B._ dans ses tâches.
Entre le mois de juillet 2011 et le mois de décembre 2012, à G._ notamment, lors des douches des enfants D.B._, F.B._, C.B._ et E.B._, A._ leur a régulièrement dit qu'ils ne s'étaient pas bien lavés et les a lui-même savonnés, sur tout le corps, y compris au niveau des parties intimes. Par la suite, il a régulièrement crémé les enfants sur tout le corps, parties intimes comprises, à savoir le sexe et les fesses, prétextant également que les enfants ne l'avaient pas bien fait. Il insistait pour procéder ainsi, même lorsque les enfants ne le voulaient pas. Si l'enfant C.B._ mettait sa main sur ses parties intimes, il lui demandait de l'enlever. Il a agi avec de tels gestes sur l'enfant C.B._, durant la période précitée, les lundis, mercredis, vendredis et un samedi sur deux, à savoir après la gymnastique. En particulier, si cette dernière ne se laissait pas faire, il ne l'emmenait plus au Mc Donald's ou la grondait. Enfin, à une reprise, F.B._, voyant l'intéressé caresser sa soeur C.B._, est intervenue. Elle s'est fait " rembarrer " par A._, qui lui a dit: " Mêle-toi de tes oignons ".
A l'automne 2012, A._ a insisté auprès de l'enfant F.B._, alors même qu'elle ne voulait pas et qu'elle lui disait pouvoir le faire elle-même, pour lui faire quotidiennement des massages prescrits par son physiothérapeute au niveau du haut de la cuisse droite, en raison d'un problème qu'elle avait à l'aine en relation avec sa pratique intensive de la gymnastique. Lors de ces massages, il en profitait pour la toucher au niveau du sexe. Il disait en outre à l'enfant F.B._ que si elle refusait de se faire masser, elle devrait arrêter la gymnastique. De plus, il se mettait en colère lorsqu'elle refusait de se laisser faire.
A._ a par ailleurs agi à l'encontre des consignes de B.B._, dès lors qu'elle lui avait clairement dit qu'elle ne souhaitait pas qu'il surveille ses enfants sous la douche, ni qu'il s'occupe de leur toilette.
B.b. En avril, juin, juillet et novembre 2011, ainsi qu'en janvier 2012, à H._ et à I._, A._, alors qu'il bénéficiait du revenu d'insertion depuis le mois d'avril 2011, n'a pas annoncé au Centre social intercommunal de J._ (ci-après: le CSI) diverses sommes d'argent réceptionnées sur deux comptes bancaires qu'il détenait auprès de la Banque K._, respectivement de la Banque L._. En outre, il n'a pas déclaré au CSI le compte bancaire ouvert auprès de la Banque L._. Il a dissimulé ces éléments, alors que, dans ses deux demandes afin de percevoir le revenu d'insertion des 13 et 24 mai 2011, dans sa déclaration de fortune du 13 mai 2011 et dans ses déclarations de revenus mensuelles, son attention a, à chaque fois, été expressément attirée sur son obligation de déclarer l'intégralité de ses éléments de fortune et de revenu.
C.
Contre ce dernier jugement cantonal, A._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme du jugement attaqué en ce sens qu'il est libéré de toute infraction, aucune sanction n'étant prononcée à son encontre et le sursis accordé le 6 novembre 2013 n'étant pas révoqué, que les conclusions civiles sont rejetées et que les frais de la procédure pénale des première et seconde instances cantonales sont laissés à la charge de l'Etat. A titre subsidiaire, il requiert l'annulation du jugement attaqué et le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. En outre, il sollicite l'assistance judiciaire.
La cour cantonale et le ministère public ont renoncé à se déterminer sur le recours. Appelés à se déterminer sur les conclusions civiles et les frais, les intimés B.B._, C.B._, D.B._, E.B._ et F.B._ ont déposé des observations qui ont été communiquées au recourant.

Considérant en droit :
1.
Invoquant son droit d'être entendu (art. 29 Cst.) et son droit à un procès équitable (art. 6 CEDH), le recourant considère que les conditions permettant d'engager la procédure par défaut n'étaient pas réunies lors du jugement de première instance du 10 avril 2017.
1.1. L'<ref-law> règle les conditions auxquelles la procédure par défaut peut être engagée. L'<ref-law> prévoit que si le prévenu, dûment cité, ne comparaît pas aux débats de première instance, le tribunal fixe de nouveaux débats et cite à nouveau le prévenu ou le fait amener; il recueille les preuves dont l'administration ne souffre aucun délai. Si le prévenu ne se présente pas aux nouveaux débats ou ne peut y être amené, ils peuvent être conduits en son absence; le tribunal peut aussi suspendre la procédure (<ref-law>). La procédure par défaut ne peut être engagée que si le prévenu a eu suffisamment l'occasion de s'exprimer auparavant sur les faits qui lui sont reprochés et si les preuves réunies permettent de rendre un jugement en son absence (<ref-law>).
1.1.1. La procédure par défaut présuppose l'absence du prévenu, malgré la notification valable d'un mandat de comparution. L'art. 366 al. 1 et 2 CPP n'attache aucune importance à la raison de l'absence à ce stade de la procédure; ce n'est que lors de la demande d'un nouveau jugement en application de l'<ref-law> que le tribunal devra examiner si l'absence était excusable (SCHMID/JOSITSCH, Schweizerische Straprozessordnung, Praxiskommentar, 3e éd., 2018, n° 6 ad <ref-law>; les mêmes, Handbuch des schweizerischen Strafprozessrechts, 3e éd. 2017, n° 1397; JO PITTELOUD, Code de procédure pénale suisse, 2012, n° 1064, p. 724; SARAH SUMMERS, in Kommentar zur Schweizerischen Straprozessordnung (StPO), 2e éd., 2014, n° 15 ad <ref-law>).
1.1.2. Pour qu'une procédure par défaut puisse avoir lieu, l'<ref-law> pose encore deux conditions cumulatives: le prévenu doit avoir eu au préalable suffisamment l'occasion de s'exprimer sur les faits qui lui sont reprochés et les preuves réunies doivent permettre de rendre un jugement en l'absence du prévenu. La première condition suppose que le prévenu ait eu la possibilité de s'exprimer au moins une fois au cours de la procédure préliminaire (PAREIN/PAREIN-REYMOND/ THALMANN, in Commentaire romand, Code de procédure pénale, 2e éd., 2019, n° 35 ad <ref-law>). Selon certains auteurs, le prévenu devrait avoir été entendu au moins à une reprise par le ministère public (JEANNERET/KUHN, Précis de procédure pénale, 2e éd., 2018, n° 17090; SCHMID/JOSITSCH, op. cit., n° 9 ad <ref-law>; SUMMERS, op. cit., n° 23 ad <ref-law>; plus nuancé: PITTELOUD, n° 1068). En second lieu, il faut que l'état de fait soit suffisamment établi sur la base des seules pièces du dossier et, le cas échéant, des plaidoiries de la défense (FF 2006, p. 1284).
1.1.3. Une fois le jugement par défaut notifié, le condamné a la possibilité soit de demander un nouveau jugement, aux conditions de l'<ref-law>, soit de faire appel, soit de faire les deux (<ref-law>; arrêt 6B_1277/2015 du 29 juillet 2016 consid. 3.3.1 et la référence citée). L'examen des conditions permettant l'engagement de la procédure par défaut incombe à la juridiction d'appel, de sorte qu'il appartient au prévenu de s'en plaindre dans le cadre de l'appel qu'il interjette à l'encontre du jugement rendu par défaut (cf. arrêts 6B_562/2019 du 27 novembre 2019 consid. 1.1.2; 6B_1277/2015 précité consid. 3.3.1).
1.2.
1.2.1. Le recourant reproche à la cour cantonale d'avoir arbitrairement omis de retenir certains éléments qui démontreraient que son absence ne serait pas fautive. En particulier, il fait valoir que la requête de report des débats qu'il a adressée par courriel à la direction de la procédure était fondée sur un impératif professionnel, indépendant de sa volonté. Il expose qu'il venait de signer un contrat de travail et qu'il était délicat pour lui d'expliquer à son nouvel employeur qu'il devait s'absenter parce qu'il devait assister à un procès dirigé contre lui à l'étranger pour des infractions d'escroquerie et de nature sexuelle.
Comme vu au considérant précédent, l'engagement de la procédure par défaut présuppose le constat de l'absence du prévenu, indépendamment de toute considération relative au caractère fautif de cette absence. Le grief du recourant est donc infondé. Dans la mesure où le recourant se plaint du rejet de sa requête de report des débats, son grief est insuffisamment motivé et, partant, irrecevable.
1.2.2. Le recourant fait en outre valoir que les conditions complémentaires posées par l'<ref-law> pour engager la procédure par défaut n'étaient pas remplies.
Comme l'a relevé la cour cantonale, le recourant a eu l'occasion de s'exprimer à plusieurs reprises au cours de la procédure (PV aud. 3 et 7). Il a notamment été entendu par le ministère public en date du 13 octobre 2014 (PV aud. 7). Pour le surplus, il n'explique pas en quoi les preuves figurant dans le dossier étaient insuffisantes pour rendre un jugement en son absence. Dans cette mesure, son grief est insuffisamment motivé et, partant, irrecevable.
1.2.3. Enfin, le recourant dénonce la violation de son droit d'être entendu (art. 29 al. 1 Cst.) ainsi que de son droit à un procès équitable (art. 6 CEDH).
Selon la jurisprudence de la Cour européenne des droits de l'homme, une procédure par défaut est compatible avec l'art. 6 CEDH si le condamné a la possibilité de demander qu'une juridiction statue à nouveau, après l'avoir entendu, sur le bien-fondé de l'accusation, en fait comme en droit (arrêt CourEDH Sejdovic c. Italie du 1er mars 2006, Recueil CourEDH 2006-II p. 201 § 81 s. et les arrêts cités). Sous réserve que les sanctions procédurales prévues ne soient pas disproportionnées et que l'accusé ne soit pas privé du droit d'être représenté par un avocat, la Cour européenne juge que le législateur national doit pouvoir décourager les absences injustifiées aux audiences (arrêt CourEDH Sejdovic c. Italie précité § 92 et les arrêts cités).
En l'espèce, les principes posés par la Cour européenne ont été respectés. Le recourant ne prétend pas qu'il n'a pas pu être représenté par un avocat. En outre, conformément à l'<ref-law>, il a eu la possibilité de demander un nouveau jugement au tribunal. Les griefs tirés de la violation de l'art. 29 al. 2 Cst. et de l'art. 6 CEDH sont donc infondés.
2.
Le recourant dénonce une violation de son droit d'être entendu et de l'<ref-law>. Il reproche à la cour cantonale de ne lui avoir posé aucune question, que ce soit s'agissant des faits de la cause ou s'agissant de sa situation personnelle.
2.1. Lors de l'audience du 26 mars 2019, à laquelle le recourant ne s'était pas présenté, les parties ont convenu de procéder, sur questions préalables de celles-ci, à l'audition du recourant par la voie d'un enregistrement vidéo ou audio (jugement attaqué, p. 12 s.). Le conseil du recourant a déclaré qu'il considérait que le droit d'être entendu de son client serait ainsi respecté (jugement attaqué, p. 3). Lors de l'audience du 14 octobre 2019, le recourant, dispensé de comparution personnelle, était représenté par son défenseur d'office.
2.2. L'impossibilité de comparaître en personne en instance d'appel n'est pas contraire à la garantie d'un procès équitable si l'accusé est représenté par un avocat ou s'il a été mis en mesure de présenter utilement ses moyens de défense par écrit (AUER/MALINVERNI/HOTELIER, Droit constitutionnel suisse, vol. II, Les droits fondamentaux, n° 1383). L'<ref-law> prévoit que l'appel est réputé retiré si l'appelant fait défaut aux débats d'appel sans excuse valable et ne se fait pas représenter. En l'espèce, le recourant n'était pas présent à l'audience, mais son avocat a pu le représenter, de sorte que l'appel n'a pas été considéré comme étant retiré.
Comme il n'était pas présent, le recourant ne peut pas se plaindre de ne pas avoir été interrogé en application de l'<ref-law>. Il a pu se prononcer sur les faits de la cause par vidéoconférence. Il a par là renoncé à son droit d'être entendu oralement. Son avocat a d'ailleurs déclaré expressément qu'il considérerait que le droit d'être entendu de son client serait respecté par l'audition par vidéoconférence (sur la renonciation au droit d'être entendu, cf. AUER/MALINVERNI/HOTELIER, op. cit., n° 1356 s.). Il est donc de mauvaise foi en venant maintenant se plaindre de la violation de ce droit. Les griefs tirés de la violation de l'<ref-law> et du droit d'être entendu sont infondés.
3.
Dénonçant la violation de son droit d'être entendu (art. 29 Cst.), le recourant reproche à la cour cantonale d'avoir insuffisamment motivé le refus de l'octroi du sursis partiel.
Ce grief sera traité sous considérant 8 (violation des art. 43 et 50 CP).
4.
Le recourant reproche à la cour cantonale d'avoir établi l'état de fait de manière arbitraire sur plusieurs points.
4.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les faits établis par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été constatés en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 5.2.2 p. 98).
En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 503 et les références citées). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ibid.).
Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ibid.). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 2.4 p. 368).
4.2. Le recourant fait grief à la cour cantonale d'avoir retenu de manière arbitraire que " la thèse de la vengeance de B.B._ envers l'appelant n'était pas crédible et celle de l'instrumentalisation des enfants par cette dernière ne reposait sur aucun élément objectif ".
4.2.1. La cour cantonale a relevé que, bien que l'intimée ait été en conflit avec son ex-époux M.B._, celle-ci n'a pas déposé une plainte pénale contre ce dernier et ne l'a pas accusé de quelconques agissements, de sorte que la thèse de la vengeance de l'intimée envers le recourant, au motif qu'il l'avait dénoncée au Service de protection de la jeunesse (SPJ), n'était pas crédible. En outre, elle a constaté que les rapports d'évaluation du SPJ ne faisaient pas état d'une mère manipulatrice. A cet égard, elle n'a pas méconnu le rapport du 27 décembre 2012 du SPJ, d'où il ressortait que l'ex-mari de l'intimée avait déclaré que celle-ci prenait ses enfants comme une arme; elle a toutefois relativisé la portée de cette déclaration au motif que la rédactrice du rapport avait déclaré au ministère public que M.B._ avait des difficultés psychiques, qu'il était totalement inadéquat avec le SPJ, qu'il n'était donc pas une référence et qu'elle n'avait en réalité jamais été elle-même confrontée à des événements précis où la plaignante avait demandé de mentir à ses enfants (jugement attaqué p. 24 s.).
4.2.2. Le recourant énumère sept éléments, qui figureraient au dossier, seraient mentionnés ou arbitrairement omis par la cour cantonale et qui, selon lui, démontreraient que l'intimée a instrumentalisé ses enfants.
Premièrement, il fait valoir que le dossier du SPJ exposait que plusieurs personnes, dont l'ex-époux de l'intimée, avaient dénoncé les difficultés rencontrées par celle-ci, faisant en particulier état de violence, d'un climat détestable et de mensonges. La cour cantonale n'a pas méconnu que l'intimée rencontrait des difficultés dans l'éducation de ses enfants (jugement attaqué p. 24). Cela n'implique toutefois pas qu'elle ait incité ceux-ci à dénoncer faussement le recourant.
Deuxièmement, le recourant se réfère au rapport du 27 décembre 2012 du SPJ, qui rapporte les propos de M.B._ selon lesquels l'intimée prendrait ses enfants comme une arme. Comme vu ci-dessus, la cour cantonale n'a pas ignoré ce rapport, mais en a relativisé la portée, compte tenu de la personnalité de M.B._ et des déclarations des assistantes sociales qui n'ont pas constaté de situations où l'intimée aurait poussé ses enfants à mentir.
En troisième lieu, le recourant reproche à la cour cantonale d'avoir arbitrairement omis de retenir que l'assistante sociale, N._, avait précisé dans son audition devant le ministère public que " les enfants sont très loyaux envers elle [c'est-à-dire leur mère] et font tout ce qu'elle dit " (PV aud. 5, l. 186-187). Cette déclaration n'est pas pertinente pour l'issue du litige. La loyauté des enfants envers leur mère n'implique pas que l'intimée ait poussé ses enfants à mentir.
Quatrièmement, le recourant se réfère aux déclarations de O._, assistante sociale auprès du SPJ, qui a déclaré qu'" il y avait eu des événements où [l'intimée] pouvait prendre à partie les enfants dans des conflits d'adultes, notamment par rapport à la séparation d'avec son mari ". La cour cantonale n'a pas méconnu ces propos (jugement attaqué p. 25). Elle a toutefois relevé que l'assistante sociale avait déclaré qu'elle n'avait pas été confrontée à des situations où l'intimée aurait demandé à ses enfants de mentir.
Cinquièmement, le recourant fait grief à la cour cantonale d'avoir arbitrairement écarté une lettre de M.B._, d'où il ressortait que l'intimée tenait sa fille F.B._ informée des enjeux judiciaires dans le conflit l'opposant au recourant. Cette lettre n'établit toutefois pas que l'intimée a poussé les enfants à dénoncer faussement le recourant.
Sixièmement, le recourant fait valoir que les enfants ont relaté devant le SPJ des violences qu'ils auraient subies de la part de leur mère et de son compagnon, mais qu'ils n'auraient pas confirmé leurs déclarations par la suite. Il en déduit que les enfants ont été instrumentalisés par leur mère sitôt qu'elle a été informée de leurs propos. Outre que ces faits ne sont pas établis, ils concernent une autre situation, qui n'est pas comparable à la présente affaire.
Septièmement, le recourant fait valoir que l'intimée a porté plainte contre lui juste après qu'il a dénoncé auprès du SPJ " la violence, les mauvais traitements et une mauvaise ambiance dans la famille de l'intimée ". On ne peut pas non plus déduire de ces circonstances que l'intimée a demandé à ses enfants de mentir.
En définitive, les éléments cités par le recourant n'établissent pas l'existence d'une instrumentalisation. Ils montrent que l'intimée a rencontré des difficultés dans l'éducation de ses enfants, qu'elle les a parfois pris à partie et que ceux-ci sont loyaux à son égard. Cela ne signifie pas encore qu'elle est une mère manipulatrice, qu'elle a poussé ses enfants à mentir et que les accusations portées par ceux-ci à l'encontre du recourant sont fausses. La cour cantonale n'a donc pas versé dans l'arbitraire en retenant que l'intimée n'avait pas poussé ses enfants à accuser faussement le recourant.
4.3. Le recourant reproche à la cour cantonale d'avoir arbitrairement écarté l'avis des intervenants du SPJ. C'est ainsi que N._ a déclaré que le recourant " n'avait de loin pas franchi la barrière du pénal ", qu'il n'y " avait rien de plus ", qu'il " n'avait pas touché d'endroit intime ", qu'il leur " avait mis de la crème et voilà " et qu'il " était juste inadéquat ".
Il ressort du jugement attaqué que l'assistance sociale a toutefois aussi déclaré que " son comportement [du recourant] était dérangeant, mais cela ne paraissait pas grave. Il aurait dû écouter les filles et tout serait rentré dans l'ordre (...) A mon avis, elles pouvaient très bien se débrouiller toutes seules pour la douche. (...) Pour moi, il a clairement été trop loin. Pour vous répondre, à mon avis, il n'a de loin pas franchi la barrière du pénal. Je comprends la crainte de la maman que ça aille plus loin, mais je pense qu'il n'y a rien eu de plus. (...) Il n'a pas touché d'endroit intime. Il leur a mis de la crème et voilà. Il était juste inadéquat ". Elle a encore ajouté ce qui suit: " Je pense qu'il y avait une envie derrière ses agissements mais cela n'est pas allé plus loin " (jugement attaqué p. 26).
Prises dans leur ensemble, les déclarations de l'assistante sociale ne disculpent pas le recourant. Cette dernière a ainsi admis que le recourant était inadéquat, qu'il avait de l'envie derrière ses agissements et qu'il était allé trop loin. Elle a certes estimé que le recourant n'avait pas franchi la barrière du pénal et qu'il n'avait pas touché d'endroits intimes. La cour cantonale n'a pas versé dans l'arbitraire en écartant cette appréciation personnelle sur la licéité des agissements du recourant. Comme l'a expliqué la cour cantonale, cette appréciation complaisante s'explique par l'attitude très légère du SPJ par rapport à la situation des enfants de B.B._. Les assistantes sociales ne se sont en effet posées aucune question sur les raisons de l'investissement du recourant dans l'éducation des enfants, alors que celui-ci était connu défavorablement par le SPJ et connu comme un menteur. Le grief tiré de l'arbitraire doit ainsi être rejeté.
4.4. Le recourant reproche à la cour cantonale d'avoir retenu, de manière arbitraire, que les déclarations des enfants étaient crédibles.
Dans un premier temps, la cour cantonale a analysé les déclarations des quatre enfants. Elle a expliqué que celles-ci concordaient, qu'elles avaient été faites de manière spontanée, que, durant leurs auditions, les enfants paraissaient gênés et utilisaient leurs propres mots et qu'ils avaient décrit leur quotidien avec le recourant, sans jamais l'accabler. Puis, dans une seconde étape, elle a constaté que la crédibilité des enfants était renforcée par de nombreux éléments. Premièrement, elle a noté que le recourant reconnaissait la substance des faits (à savoir d'avoir regardé les enfants sous la douche, de leur avoir mis de la crème et d'avoir massé une des fillettes à l'aine), mais niait ce qui avait un caractère pénal (à savoir avoir touché les parties génitales de ceux-ci). Deuxièmement, elle a relevé que l'enfant P._, que le recourant avait également gardée, avait indiqué que le recourant lui avait également demandé s'il pouvait la laver. Troisièmement, elle a noté que le témoin Q._ avait déclaré que le recourant lui avait dit qu'il avait mis de la crème sur les lèvres du sexe de l'enfant C.B._ car cette dernière avait un problème à l'aine. Quatrièmement, elle a mentionné que les intervenants de la Fondation R._ avaient indiqué que les agissements du recourant tels que rapportés par l'enfant D.B._ suscitaient chez elle une réaction émotionnelle en accord avec ce qu'elle avait décrit (jugement attaqué p. 26 s.). Enfin, la cour cantonale a pris acte des contradictions et incohérences dans les déclarations des enfants, évoquées par le recourant. Elle les a toutefois qualifiées de mineures et a considéré qu'elles n'étaient pas de nature à ébranler sa conviction (jugement attaqué p. 30).
L'analyse des déclarations des enfants par la cour cantonale est convaincante. Les hésitations des enfants portent essentiellement sur des faits subis par leurs frères et soeurs; ainsi D.B._ a hésité sur la position de F.B._ lors des massages et se serait trompée sur l'endroit où le recourant aurait appliqué de la crème; F.B._ aurait mal interprété la manière dont son frère et ses soeurs ont ressenti les agissements du recourant. Comme l'a retenu la cour cantonale, ces hésitations et contradictions ne portent pas sur des faits déterminants pour l'issue du litige. C'est donc sans arbitraire que la cour cantonale les a qualifiées de mineures.
4.5. Le recourant reproche à la cour cantonale d'avoir retenu de manière arbitraire qu'il n'était pas crédible.
La cour cantonale a énuméré plusieurs éléments qui ôtaient toute crédibilité au recourant et qui impliquaient que l'on ne pouvait pas lui faire confiance ni suivre ses explications. Elle a rappelé que le recourant avait été condamné le 6 novembre 2013 pour pornographie pour avoir détenu une clé USB contenant des photographies de fillettes nues. Elle a mentionné qu'il avait été soupçonné d'avoir dormi avec une fillette durant un camp d'été et de l'avoir caressée au niveau du bas ventre (affaire dans laquelle il avait toutefois bénéficié d'un classement). Elle a relevé que le comportement du recourant à l'égard des enfants était de manière générale très suspect, puisqu'il ne cessait de rechercher et d'occuper des emplois ou des occupations qui le rapprochaient de jeunes enfants. Elle a noté que le recourant qui disait aimer les enfants de l'intimée avait disparu de leur vie sitôt qu'il avait appris qu'une plainte pénale avait été déposée contre lui. Elle a souligné que, depuis le début de la procédure, le recourant n'avait cessé de se soustraire à la justice en repoussant l'échéance de son jugement. Enfin, elle a déclaré que le recourant était une personne malhonnête et mythomane (jugement attaqué p. 27 ss).
Le raisonnement de la cour cantonale n'est pas critiquable. C'est en vain que le recourant lui reproche de ne pas s'être fondée sur l'analyse de ses déclarations et leurs éventuelles contradictions, mais sur des éléments sans rapport avec l'objet de l'accusation. Pour apprécier la crédibilité des déclarations du prévenu, le juge doit se fonder sur l'ensemble des circonstances, y compris sur les antécédents et la personnalité de celui-ci. C'est donc sans arbitraire que la cour cantonale a écarté les dénégations du recourant.
4.6. Le recourant soutient que la cour cantonale s'est fondée de manière arbitraire sur le témoignage de Q._.
La cour cantonale a retenu que le témoin avait indiqué que le recourant lui avait dit avoir mis de la crème sur les lèvres du sexe de l'enfant C.B._; elle a ajouté que le témoin estimait que le recourant avait un amour malsain pour les enfants de l'intimée et qu'elle avait vu le recourant laver les cheveux d'une des fillettes alors qu'elle était nue. Les juges cantonaux n'ont pas ignoré que le témoin avait déclaré dans une seconde audition, une année et demie plus tard, ne plus se souvenir de l'épisode lors duquel le recourant lui avait dit qu'il avait mis de la crème sur le sexe de C.B._. Ils ont toutefois expliqué que le témoin était une personne âgée et qu'elle avait souffert d'une attaque cérébrale. Ils n'ont au demeurant pas exclu que le recourant ait tenté d'influencer le témoin ou de faire pression sur elle entre les deux auditions; ils se sont fondés à cet égard sur l'enregistrement d'une conversation entre le témoin et le recourant, lors de laquelle celui-ci a expliqué n'avoir rien à se reprocher, et l'attitude du témoin qui, contacté par la police à la suite de cette découverte, a refusé de répondre aux policiers, en indiquant qu'elle ne voulait plus rien dire dans cette affaire (jugement attaqué p. 29 s.).
La cour cantonale a exposé les raisons qui l'ont amenée à retenir le premier témoignage de Q._. Les motifs sont convaincants. Le recourant se borne à affirmer que le témoin ne souffrait d'aucune difficulté d'ordre cognitif et que l'écoulement d'un an et demi ne justifie pas un tel " trou de mémoire ", de sorte que le témoin aurait menti lors de sa première audition. De caractère appellatoire, une telle argumentation est irrecevable.
4.7. Le recourant fait grief à la cour cantonale d'avoir fondé sa conviction sur les avis des intervenants de la Fondation R._ au lieu de mettre en oeuvre une expertise de crédibilité des enfants.
Le juge ne doit recourir à une expertise de crédibilité qu'en présence de circonstances particulières. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées; <ref-ruling> consid. 2 p. 84). Le tribunal dispose à cet égard d'un pouvoir d'appréciation (arrêts 6B_962/2019 du 17 septembre 2019 consid. 1.4.1; 6B_145/2019 du 28 août 2019 consid. 2.2.1).
En l'occurrence, les déclarations des enfants étaient crédibles (cf. consid. 4.4) et il n'y avait pas lieu de croire que leur mère les avait influencés (cf. consid. 4.2). Certes, l'enfant D.B._ était atteinte de troubles psychiques (jugement attaqué p. 27). Ses déclarations concordaient toutefois avec celles de ses frères et soeurs, mis à part sur des points mineurs. Dans ces circonstances, il n'était pas arbitraire de considérer qu'une expertise de crédibilité ne se justifiait pas.
La cour cantonale était au demeurant autorisée à retenir que les intervenants de la Fondation R._ avaient indiqué que les agissements du recourant, tels qu'ils avaient été rapportés par l'enfant D.B._ avaient suscité chez elle une réaction émotionnelle en accord avec ce qu'elle avait décrit (jugement attaqué p. 27; courrier du 12 juillet 2016, pièce 105). Il s'agit d'un élément, parmi d'autres, qui vient conforter la crédibilité des déclarations des enfants. La cour cantonale a du reste relativisé la portée de cet avis, en précisant que les intervenants de la Fondation R._ s'étaient fondés sur les plaintes que l'enfant avait formulées dans le cadre de leurs entretiens et qu'il n'était pas de leur ressort de se prononcer sur la véracité des faits (jugement attaqué p. 30).
4.8. Enfin, c'est en vain que le recourant soutient que les circonstances du dévoilement (les enfants ayant déclaré les faits à leur mère) devraient mettre en doute leur crédibilité. En effet, dans le cadre de leur audition LAVI, les enfants ont été entendus par des personnes formées à cet effet dans un cadre approprié pour leur permettre de parler librement (cf. jugement attaqué p. 30).
5.
Le recourant conteste sa condamnation pour actes d'ordre sexuel avec des enfants (<ref-law>) au motif que ses agissements ne constituent pas des actes d'ordre sexuel. Il explique qu'il n'a fait qu'administrer des soins corporels qui ont certes pu impliquer des contacts fortuits avec les parties intimes des enfants, mais sans qu'il n'y ait eu insistance ou massage de celles-ci; il en déduit que ses actes ne revêtiraient pas de connotation sexuelle permettant de retenir l'existence d'un acte d'ordre sexuel.
5.1. L'<ref-law> réprime le comportement de celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de seize ans.
Par acte d'ordre sexuel, il faut entendre une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (arrêts 6B_1097/2019 du 11 novembre 2019 consid. 2.1; 6B_1122/2018 du 29 janvier 2019 consid. 3.2; 6B_732/2018 du 18 septembre 2018 consid. 3.1.3). Les actes n'ayant aucune apparence sexuelle ou actes neutres ne tombent pas sous le coup de l'<ref-law> (<ref-ruling> consid. 3b p. 62); il s'agit de comportements simplement inconvenants, inappropriés, indécents, de mauvais goût, impudiques ou désagréables (<ref-ruling> consid. 3b p. 63). Sont au contraire des actes d'ordre sexuel des actes clairement connotés sexuellement d'un point de vue de l'observateur neutre. Ceux-ci remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur ou de la signification que le comportement a pour celui-ci ou pour la victime (<ref-ruling> consid. 3b p. 62; arrêts 6B_7/2011 du 15 février 2011 consid. 1.2; 6B_777/2009 du 25 mars 2010 consid. 4.3; 6S.355/2006 du 7 décembre 2006 consid. 3.1, non publié à l'<ref-ruling>). Dans les cas équivoques, qui n'apparaissent extérieurement ni neutres, ni clairement connotés sexuellement, il convient de tenir compte de l'ensemble des éléments d'espèce, notamment de l'âge de la victime ou de sa différence d'âge avec l'auteur, de la durée de l'acte et de son intensité, ainsi que du lieu choisi par l'auteur (<ref-ruling> consid. 3b p. 63; arrêt 6B_1122/2018 précité consid. 3.2). Il résulte de cette jurisprudence que la notion d'acte d'ordre sexuel doit être interprétée plus largement lorsque la victime est un enfant. Dans ce cas, il faut se demander si l'acte, qui doit revêtir un caractère sexuel indiscutable, est de nature à perturber l'enfant (arrêt 6B_103/2011 du 6 juin 2011 consid. 11).
Un baiser sur la bouche ou une tape sur les fesses sont en principe des actes insignifiants qui ne sont pas des actes d'ordre sexuel. En revanche, un baiser lingual ou des baisers insistants sur la bouche revêtent indiscutablement un caractère sexuel (<ref-ruling> consid. 3b p. 63; 6B_7/2011 précité consid. 1.4). Il en va de même d'une caresse insistante du sexe, des fesses ou des seins, même par-dessus les habits (arrêt 6B_1097/2019 précité consid. 2.1). Lorsque la victime est un enfant, la pratique tend à admettre l'existence d'un acte d'ordre sexuel même pour des attouchements furtifs par-dessus les habits, qui entraîneraient plutôt, entre adultes, l'application de l'<ref-law> (arrêt 6B_103/2011 précité; BERNARD CORBOZ, op. cit., p. 786 n° 7 ad <ref-law>).
5.2. En l'espèce, le recourant a lavé les enfants, les savonnant sur tout le corps, y compris les parties intimes. Il les a en outre régulièrement crémés, touchant les parties intimes et les fesses. Par ailleurs, il a prodigué des massages à l'enfant F.B._, profitant de lui toucher le sexe à ces occasions. Le recourant cite la doctrine, selon laquelle le fait de doucher, de laver un mineur ou de l'accompagner lorsqu'il doit faire ses besoins ne constitue pas un acte d'ordre sexuel, même si, au vu de l'indépendance de l'enfant, cela n'apparaît pas nécessaire (DUPUIS ET AL., Petit commentaire du Code pénal, 2e éd., 2017, n° 28 ad <ref-law>; TRECHSEL/BERTOSSA, in Schweizerisches Strafgesetzbuch, Praxiskommentar, 3e éd., 2018, n° 6 ad <ref-law>). Les actes reprochés au recourant vont toutefois au-delà des actes de pure hygiène. Le recourant ne s'est pas contenté de doucher les enfants et de les crémer, mais il leur a touché les parties intimes. Il ne s'agissait pas de contacts fortuits ou maladroits avec les parties intimes des enfants, à l'occasion de soins corporels ou hygiéniques. Les enfants, qui étaient suffisamment âgés pour faire leur toilette, ont manifesté au recourant leur opposition et montré leur désapprobation, mais le recourant n'a pas cessé son comportement. L'enfant C.B._ a mis sa main sur ses parties intimes, mais le recourant lui a demandé de l'enlever. Dans ces conditions, les actes reprochés au recourant apparaissaient bien pour un observateur neutre connotés sexuellement. La connotation sexuelle est encore renforcée par l'âge des enfants, la différence d'âge d'avec le recourant et le fait que le recourant n'était pas le père des enfants. C'est donc à juste titre que la cour cantonale a retenu que les actes reprochés au recourant devaient être qualifiés d'actes d'ordre sexuel au sens de l'<ref-law>.
6.
Le recourant critique sa condamnation pour contrainte sexuelle. Il reproche au premier juge, puis à la cour cantonale, d'avoir complété les faits par rapport à l'acte d'accusation. Selon lui, l'acte d'accusation ne décrit pas l'élément constitutif de contrainte.
6.1. L'<ref-law> consacre la maxime d'accusation. Selon cette disposition, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. Le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s.). Le tribunal est lié par l'état de fait décrit dans l'acte d'accusation (principe de l'immutabilité de l'acte d'accusation), mais peut s'écarter de l'appréciation juridique qu'en fait le ministère public (<ref-law>), à condition d'en informer les parties présentes et de les inviter à se prononcer (<ref-law>). Le principe de l'accusation découle également des art. 29 al. 2 Cst. (droit d'être entendu), 32 al. 2 Cst. (droit d'être informé, dans les plus brefs délais et de manière détaillée des accusations portées contre soi) et 6 par. 3 let. a et b CEDH (droit d'être informé de la nature et de la cause de l'accusation) (arrêt 6B_1000/2019 du 19 février 2020 consid. 2.1 ).
Les <ref-law> règlent la mise en accusation, en particulier le contenu strict de l'acte d'accusation. Selon l'<ref-law>, l'acte d'accusation désigne notamment les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f); les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g). En d'autres termes, l'acte d'accusation doit contenir les faits qui, de l'avis du ministère public, correspondent à tous les éléments constitutifs de l'infraction reprochée au prévenu (<ref-ruling> consid. 2.2 p. 65; arrêt 6B_665/2017 du 10 janvier 2018 consid. 1.1). Des imprécisions relatives au lieu ou à la date sont sans portée, dans la mesure où le prévenu ne peut pas avoir de doute sur le comportement qui lui est reproché (arrêts 6B_665/2017 précité consid. 1.1; 6B_275/2016 du 9 décembre 2016 consid. 2.1).
6.2. La cour cantonale a retenu la contrainte sexuelle sous la forme de pression d'ordre psychique (<ref-law>). L'acte d'accusation (p. 2) décrit le contexte familial compliqué dans lequel vivaient les enfants, les troubles psychiques et physiques rencontrés par certains d'entre eux, l'importance grandissante du rôle joué par le recourant dans l'organisation familiale, les nombreuses absences de la mère (voyage au Pérou, hospitalisations), ainsi que le désaccord des enfants avec les actes prodigués par l'intéressé et le fait que le recourant a passé outre. Il ressort ainsi de l'acte d'accusation que les enfants se trouvaient dans une situation de dépendance face au recourant et qu'ils n'ont pas eu d'autre choix que de se laisser faire et de subir les actes prodigués par le recourant. En conséquence, l'acte d'accusation contient une description des faits suffisante pour permette au tribunal de première instance, puis à la cour cantonale de retenir l'existence d'une contrainte sous la forme de pressions psychiques. Le grief tiré de la violation du principe de l'accusation doit ainsi être rejeté.
7.
Le recourant conteste sa condamnation pour escroquerie. Il fait valoir que la cour cantonale n'a pas déterminé le montant du préjudice qu'il aurait causé au CSI ni exposé en quoi le prix de vente sur internet constituerait des revenus devant être déclarés à ce service. En outre, il considère que le CSI a agi de manière légère en ne requérant pas la déclaration fiscale ou la décision de taxation de l'intéressé.
7.1. Aux termes de l'<ref-law>, se rend coupable d'escroquerie celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
7.2. L'escroquerie consiste à tromper la dupe par des affirmations fallacieuses, par la dissimulation de faits vrais ou par un comportement qui la conforte dans son erreur. Pour qu'il y ait escroquerie, une simple tromperie ne suffit pas. Il faut encore qu'elle soit astucieuse. Il y a tromperie astucieuse, au sens de l'<ref-law>, lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur dissuade la dupe de vérifier ou prévoit, en fonction des circonstances, qu'elle renoncera à le faire en raison d'un rapport de confiance particulier (<ref-ruling> consid. 2.2.2 p. 154 s.; <ref-ruling> consid. 5.2 p. 79 s.). L'astuce n'est toutefois pas réalisée si la dupe pouvait se protéger avec un minimum d'attention ou éviter l'erreur avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est cependant pas nécessaire qu'elle ait fait preuve de la plus grande diligence ou qu'elle ait recouru à toutes les mesures possibles pour éviter d'être trompée. L'astuce n'est exclue que si elle n'a pas procédé aux vérifications élémentaires que l'on pouvait attendre d'elle au vu des circonstances. Une co-responsabilité de la dupe n'exclut toutefois l'astuce que dans des cas exceptionnels (<ref-ruling> consid. 2.2.2 p. 155; <ref-ruling> consid. 5.2 p. 80 s.).
La définition générale de l'astuce est également applicable à l'escroquerie en matière d'assurances et d'aide sociales. L'autorité agit de manière légère lorsqu'elle n'examine pas les pièces produites ou néglige de demander à celui qui requiert des prestations les documents nécessaires afin d'établir ses revenus et sa fortune, comme par exemple sa déclaration fiscale, une décision de taxation ou des extraits de ses comptes bancaires. Une telle omission ne peut toutefois pas être reprochée à l'autorité lorsque ces documents ne contiennent pas d'informations quant à des revenus ou à des éléments de fortune non déclarés ou qu'il est prévisible qu'ils n'en contiennent pas (arrêts 6B_125/2012 du 28 juin 2012 consid. 5.3.3; 6B_1071/2010 du 21 juin 2011 consid. 6.2.3; 6B_22/2011 du 23 mai 2011 consid. 2.1.2; 6B_409/2007 du 9 octobre 2007 consid. 2.1; 6B_558/2009 du 26 octobre 2009 consid. 1.2.1). L'autorité agit notamment avec légèreté si elle omet de procéder à un minimum de vérifications complémentaires, notamment en interpellant le requérant, dans l'hypothèse où les informations communiquées par ce dernier comportent des incohérences ou des contradictions sur des éléments importants pour décider de l'octroi d'une prestation financière (arrêts 6B_125/2012 précité consid. 5.3.3; 6B_576/2010 du 25 janvier 2011 consid. 4.2).
7.3. Selon la formule " questionnaire mensuel et déclaration de revenus ", le requérant s'engage à déclarer tout revenu susceptible d'influer sur le droit ou le montant du revenu d'insertion. En l'espèce, alors que le recourant bénéficiait du revenu d'insertion depuis le mois d'avril 2011, il a signé en avril, juin, juillet et novembre 2011 ainsi qu'en janvier 2012 la formule précitée, sans annoncer les sommes d'argent qu'il avait reçues sur deux comptes bancaires qu'il détenait auprès de la Banque K._ et de la Banque L._; en outre, il n'a pas déclaré ce dernier compte bancaire dans sa déclaration de fortune du 13 mai 2011. En signant les formules précitées, le recourant a eu un comportement actif. Contrairement à ce que soutient ce dernier, les prix de vente sur internet qu'il a encaissés constituent des revenus qui, s'ils avaient été portés à la connaissance du CSI, auraient conduit à une diminution des prestations versées.
Selon le recourant, le CSI n'a pas fait preuve de la diligence nécessaire, dès lors qu'il n'a pas requis sa déclaration d'impôts ou sa décision de taxation. Une telle omission ne peut toutefois être reprochée à l'autorité que si ces documents contenaient (de manière prévisible) des informations quant aux revenus perçus par le recourant et non déclarés au CSI. En l'espèce, il ne ressort pas du jugement attaqué que les revenus non annoncés au CSI figuraient dans la déclaration fiscale du recourant. Le recourant ne le prétend du reste pas. Pour le surplus, à défaut d'indice permettant d'éveiller les soupçons envers le recourant, le CSI n'avait pas à procéder à des vérifications complémentaires. Dans ces conditions, on ne pouvait attendre du CSI qu'il requiert la production de la déclaration d'impôts du recourant ou qu'il procède à d'autres vérifications qu'aux contrôles usuels entrepris.
Le recourant se plaint du fait que le montant du préjudice causé, arrêté à 3'427 fr. 80, ne correspond pas aux montants exposés en page 17 du jugement attaqué. Par décision du 15 octobre 2012, le CSI a fixé à 3'427 fr. 80 le montant indûment versé au recourant. Si le recourant entendait contester celui-ci, il lui appartenait de recourir contre cette décision. Ce montant n'est au demeurant pas déterminant pour l'issue de la procédure pénale.
En définitive, c'est sans violer le droit fédéral que la cour cantonale a condamné le recourant pour escroquerie.
8.
Le recourant soutient qu'il doit être mis au bénéfice d'un sursis partiel à l'exécution de la peine privative de liberté. Il se plaint d'abord d'un défaut de motivation du refus du sursis (art. 29 al. 2 Cst.; <ref-law>). Il soutient ensuite que depuis sa condamnation en 2013, à savoir depuis plus de six ans, il s'est comporté correctement, ce qui exclut une absence de prise de conscience.
8.1. Selon l'art. 42 al. 1 aCP (dans sa teneur jusqu'au 31 décembre 2017), le juge suspend en règle générale l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté de six mois au moins ou de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. L'art. 43 al. 1 aCP (dans sa teneur jusqu'au 31 décembre 2017) prévoit que le juge peut suspendre partiellement l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur. Ces dispositions sont applicables en l'espèce sans égard à la modification entrée en vigueur le 1er janvier 2018, qui n'est pas plus favorable au recourant (cf. <ref-law>; arrêts 6B_1127/2018 du 27 septembre 2019 consid. 1.2; 6B_658/2017 du 30 janvier 2018 consid. 1.1).
8.2.
8.2.1. En cas de concours rétrospectif, la durée déterminante à considérer pour l'octroi du sursis - ou du sursis partiel - est celle résultant de l'addition de la peine de base et de la peine complémentaire (<ref-ruling> consid. 2.2 p. 379 s.).
8.2.2. En l'espèce, la peine privative de liberté de quinze mois prononcée à l'encontre du recourant est complémentaire à celle de dix-huit mois infligée le 1er mai 2015. La peine privative de liberté totale s'élève ainsi à 33 mois. Cette peine sort donc du champ d'application temporel de l'<ref-law> et entre dans celui prévu à l'<ref-law>. C'est donc à tort que la cour cantonale s'est référée dans sa motivation à l'<ref-law>.
8.3.
8.3.1. Même si l'<ref-law> ne le prévoit pas expressément, l'octroi d'un sursis partiel suppose, comme pour l'octroi du sursis complet dans le cadre de l'<ref-law>, l'absence de pronostic défavorable (<ref-ruling> consid. 7.4 p. 77 s.). Si le pronostic sur le comportement futur de l'auteur n'est pas défavorable, la loi impose un sursis au moins partiel à l'exécution de la peine. En revanche, un pronostic négatif exclut le sursis partiel. S'il n'existe aucun espoir que le sursis puisse avoir une quelconque influence sur l'auteur, la peine doit être exécutée intégralement (<ref-ruling> consid. 5.3.1 p. 10; arrêt 6B_1247/2017 du 30 mai 2018 consid. 2.1).
Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; arrêt 6B_1040/2019 du 17 octobre 2019 consid. 2.1). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêts 6B_1216/2019 du 28 novembre 2019 consid. 5.1; 6B_584/2019 du 15 août 2019 consid. 3.1 et les références citées).
Le juge doit motiver sa décision de manière suffisante (cf. <ref-law>). Sa motivation doit permettre de vérifier s'il a tenu compte de tous les éléments pertinents et comment ils ont été appréciés (<ref-ruling> consid. 2.1 p. 185 s. et les références citées). Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic. Le Tribunal fédéral n'intervient que si le juge en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (<ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204; arrêt 6B_1040/2019 précité consid. 2.1).
8.3.2. La cour cantonale a considéré que les conditions d'octroi du sursis n'étaient pas réalisées " au vu de la gravité des actes commis [par le recourant] et de son absence de prise de conscience (<ref-law>) ". Elle a ainsi raisonné sur la question du sursis à l'aune de l'<ref-law>. Or les conditions de l'art. 42 al. 1 et de l'<ref-law> ne sont pas identiques. La cour cantonale n'a pas pris en compte l'effet d'avertissement que pourrait avoir l'exécution d'une partie de la peine sur le pronostic (cf. arrêt 6B_480/2015 du 9 novembre 2015 consid. 2.2). En outre, elle a omis d'examiner si l'écoulement de six années depuis les faits litigieux sans commettre d'infraction de nature sexuelle (le 1er mai 2015, le recourant a toutefois été condamné pour abus de confiance, faux dans les titres, délit contre la LAVS, emploi d'étrangers sans autorisation) pourrait être de nature à autoriser un pronostic non défavorable. Elle s'est fondée essentiellement sur la gravité des faits, qui constitue avant tout un critère d'appréciation de la peine, mais ne permet pas de justifier le refus du sursis partiel. En omettant de tenir compte d'éléments pertinents et en retenant des éléments étrangers à l'application de l'<ref-law>, la cour cantonale a violé le droit fédéral. Le recours doit donc être admis sur la question du sursis.
9.
Le recourant conteste l'existence d'un préjudice justifiant l'allocation d'une indemnité aux enfants.
9.1. En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale. Les " circonstances particulières " à prendre en compte se rapportent à l'importance de l'atteinte à la personnalité du lésé (cf. <ref-law>). Les lésions corporelles, physiques ou psychiques, doivent donc en principe impliquer une importante douleur physique ou morale, ou avoir causé une atteinte durable à la santé. Une longue période de souffrance et d'incapacité de travail, ou des préjudices psychiques importants, tel un état post-traumatique avec changement durable de la personnalité, peuvent ainsi justifier une indemnité (arrêts 6B_768/2018 du 13 février 2019 consid. 3.1.2 et les références citées; 6B_213/2012 du 22 novembre 2012 consid. 3.1, in SJ 2013 I 169; 1C_509/2014 du 1er mai 2015 consid. 2.4). S'il s'agit d'une atteinte passagère, elle doit être grave, prenant par exemple la forme d'une exposition à un risque de mort, d'une longue hospitalisation ou de douleurs particulièrement intenses (arrêt 4A_307/2013 du 6 janvier 2014 consid. 3.2).
9.2.
9.2.1. En l'espèce, la cour cantonale a retenu que les faits s'étaient déroulés sur une période d'un an et demi et avaient donc eu manifestement un impact sur le développement des enfants. Elle a relevé qu'il ressortait de leurs auditions-vidéo qu'ils étaient généralement gênés en décrivant les faits. Elle a ajouté que l'enfant F.B._ avait expliqué qu'elle n'aimait pas que le recourant les touche, elle et ses soeurs. Enfin, elle a constaté qu'en raison de leurs problèmes psychiques, les enfants E.B._ et D.B._ avaient été particulièrement atteints par les agissements du recourant.
Le recourant conteste l'existence d'un " impact sur le développement psychique des enfants ", au motif que la cour cantonale l'a déduit de la seule circonstance que les faits se sont déroulés sur une période d'une année et demi. Il se réfère également au rapport établi par la Fondation R._ en juin 2016 qui retient qu'il est " très difficile de mesurer avec exactitude l'impact traumatique sur D.B._ des agissements de M. A._ en 2012, en isolant ceux-ci du contexte général de cette famille durant cette période difficile ". Il relève enfin que l'enfant D.B._ a été suivie à la Fondation R._ entre 2007 et 2014, puis n'a plus été suivie depuis lors. Il en conclut qu'il n'y a pas de lien de causalité entre l'acte illicite et le résultat dommageable dont se prévaut l'enfant D.B._.
Dans ses déterminations, F.B._ fait valoir qu'elle considérait le recourant comme son père et lui faisait confiance, de sorte que ses gestes dérangeants et déplacés l'ont fortement perturbée; il aurait toutefois été renoncé à un suivi pédopsychiatrique pour ne pas la perturber davantage. En outre, elle rappelle que l'audition-vidéo montre qu'elle a éprouvé une gêne à évoquer les faits, ce qui établirait que le sujet était sensible pour elle.
Dans ses déterminations, D.B._ explique qu'elle a été particulièrement atteinte, en raison de ses troubles psychiques. Elle se réfère au rapport de la Fondation R._ qui démontrerait l'importance du traumatisme qu'elle a subi. Elle se fonde étalement sur un courrier adressé le 12 juillet 2016 par les psychologues de la Fondation R._ au conseil du recourant; il ressort de ce courrier que lorsque D.B._ rapportait les faits, cela suscitait chez elle une réaction émotionnelle en accord avec ce qu'elle décrivait.
Dans ses déterminations, C.B._ fait valoir qu'il a été renoncé à un suivi pédopsychiatrique dans son intérêt, car ce suivi aurait pu la perturber davantage, pour des faits datant de 2012. Elle ajoute que l'audition-vidéo montre une vive gêne à évoquer les faits, ce qui démontrerait à quel point le sujet est sensible pour elle.
Dans ses déterminations, E.B._ expose qu'il a été particulièrement atteint en raison de son jeune âge au moment des faits. Il expose qu'" un suivi pédopsychiatrique existait [...] sur le plan de ses difficultés d'apprentissage ", mais qu'il " n'a pas fait état, lors de ces consultations, des faits reprochés [au recourant] ", car " ré-évoquer des faits datant de 2012 l'aurait perturbé ". Il se réfère également à l'audition-vidéo d'où il ressort qu'il a éprouvé une vive gêne à évoquer les faits et au rapport du 3 juin 2016 de la Fondation R._, d'où il ressort qu'il n'a pas parlé des faits, ce qui démontrerait à quel point le sujet est sensible.
9.2.2. Il est indéniable que les enfants ont souffert des agissements du recourant et que ceux-ci ont pu avoir un impact sur leur développement. La jurisprudence exige toutefois un degré d'intensité important lorsqu'une atteinte psychique est alléguée (cf. arrêt 6B_768/2018 précité consid. 3.2). En l'espèce, on ne dispose d'aucune précision sur la gravité de l'atteinte subie par chacun des enfants et sur son éventuel caractère durable. Les actes commis par le recourant, sans être anodins, ne revêtent pas la même gravité qu'un viol. Les intimées F.B._ et C.B._ expliquent qu'elles n'ont pas suivi de traitement pédopsychiatrique, car un tel traitement les aurait perturbées davantage. Il s'agit toutefois de simples allégations de leur part, qui ne reposent sur aucun constat médical. E.B._ se réfère pour sa part à un suivi pédopsychiatrique; il explique toutefois qu'il n'a pas évoqué les faits incriminés, ce qui montrerait la gravité de sa souffrance; aucun constat médical n'établit toutefois la gravité de l'atteinte psychique. En ce qui concerne l'intimée D.B._, la Fondation R._ a constaté qu'il était très difficile de mesurer avec exactitude l'impact traumatique sur D.B._ des agissements du recourant en 2012, en isolant ceux-ci du contexte général de cette famille durant cette période difficile. Quant à la gêne lors de l'évocation des faits alléguée par l'ensemble des intimés, elle démontre qu'ils ont réalisé que le comportement du recourant était inadéquat, mais n'implique pas encore un préjudice psychique important justifiant une indemnité pour tort moral. En définitive, en l'absence de certificat médical et de traitement psychiatrique à la suite des agissements du recourant, les seuls abus du recourant ne permettent pas de conclure que les enfants ont éprouvé une douleur morale qui a atteint le degré d'intensité requis par la jurisprudence. Il y a donc lieu d'admettre le recours sur ce point.
10.
Le recourant conteste qu'une indemnité pour tort moral puisse être allouée à la mère des victimes.
10.1. Selon la jurisprudence relative à l'<ref-law>, les proches d'une personne victime de lésions corporelles peuvent obtenir réparation du tort moral qu'ils subissent de ce chef si leurs souffrances revêtent un caractère exceptionnel, c'est-à-dire s'ils sont touchés de la même manière ou plus fortement qu'en cas de décès (<ref-ruling> consid. 2a p. 417 s.; <ref-ruling> consid. 3a p. 56). On ne peut exclure a priori le droit des parents de victimes d'abus sexuels à une indemnité pour tort moral, mais seules des atteintes d'une gravité exceptionnelle peuvent en justifier l'allocation (cf. arrêts 1B_62/2019 du 19 mars 2019 consid. 3; 6B_1063/2018 du 26 novembre 2018 consid. 2.2; 6B_962/2018 du 14 novembre 2018 consid. 1.2; 6B_1135/2016 du 24 novembre 2017 consid. 2; 6B_707/2014 du 18 décembre 2014 consid. 1.1). Le parent d'un enfant abusé sexuellement doit être touché avec la même intensité qu'en cas de décès de l'enfant (cf. <ref-ruling> consid. 2.4.1 p. 93; arrêts 6B_160/2014 du 26 août 2014 consid. 3.1; 6B_591/2012 du 21 décembre 2012 consid. 2.4.1).
10.2. La cour cantonale n'explique pas en quoi les agissements du recourant auraient entraîné pour B.B._ des souffrances aussi importantes que lors d'un décès. Dans ses déterminations, l'intimée B.B._ se réfère à une attestation du 7 avril 2017 du Dr S._ et de la Dresse T._; selon cette attestation, lorsqu'elle a appris l'existence des agissements du recourant, l'intimée a présenté une rechute dépressive sévère qui a engendré en particulier un sentiment fort de culpabilité et un ralentissement psychomoteur, souffrance ressentie quotidiennement. En vue de l'audience d'appel, l'intimée a fait établir une nouvelle attestation par la Dresse U._ et Mme V._ du 2 octobre 2019, document qui confirme l'épisode dépressif.
10.3. Dans la mesure où l'intimée fait valoir qu'elle a développé un épisode dépressif sévère en prenant connaissance des abus commis sur ses enfants, elle s'écarte de l'état de fait cantonal, sans en démontrer l'arbitraire, de sorte que son argumentation est irrecevable. En tout état de cause, la seule douleur morale que l'intimée a pu subir à l'idée que ses enfants avaient été abusés et les tensions qu'ont pu entraîner ces abus au sein de la famille ne sauraient être assimilées aux souffrances subies lors d'un décès. Les agissements du recourant, loin d'être anodins, ne revêtent pas la même gravité qu'un viol ayant entraîné chez la victime un important stress post-traumatique et des idées suicidaires (cf. <ref-ruling>) ou la même intensité que des actes d'ordre sexuel répétés sur une très longue période. Il n'apparaît pas que les enfants ont développé, en l'espèce, des idées morbides ou suicidaires ni n'ont subi des graves traumatismes propres à affecter objectivement leur mère d'une intensité analogue à celle de leur mort (<ref-law>). C'est donc à tort que la cour cantonale a alloué à B.B._ une indemnité pour tort moral. Le recours doit être également admis sur ce point.
11.
Le recourant se plaint d'une violation de l'<ref-law> dans la mesure où la cour cantonale a mis l'intégralité des frais de la procédure de recours à sa charge, alors qu'il a obtenu gain de cause sur la question de la non-révocation du sursis.
11.1.
11.1.1. Selon l'<ref-law>, les frais de la procédure de recours sont mis à la charge des parties dans la mesure où elles ont obtenu gain de cause ou succombé. Pour déterminer si une partie succombe ou obtient gain de cause, il faut examiner dans quelle mesure ses conclusions sont admises (arrêts 6B_369/2018 du 7 février 2019 consid. 4.1 non publié in <ref-ruling>; 6B_1025/2014 du 9 février 2015 consid. 2.4.1; 6B_1046/2013 du 14 mai 2014 consid. 3.3; 6B_586/2013 du 1er mai 2014 consid. 3.2; 6B_438/2013 du 18 juillet 2013 consid. 2.3; 1B_575/2011 du 29 février 2012 consid. 2.1; cf. THOMAS DOMEISEN, in Basler Kommentar StPO, 2e éd., 2014, n° 6 ad <ref-law>).
L'<ref-law> introduit des exceptions à cette règle générale en donnant la possibilité à l'autorité compétente de condamner une partie recourante, qui obtient une décision qui lui est favorable, au paiement des frais de la procédure si les conditions qui lui ont permis d'obtenir gain de cause n'ont été réalisées que dans la procédure de recours (let. a) ou si la modification de la décision est de peu d'importance (let. b). Cet alinéa 2 revêt le caractère d'une norme potestative (Kann-Vorschrift), dont l'application ne s'impose pas au juge, mais relève de son appréciation. Celui-ci peut donc statuer, le cas échéant, selon le principe de l'équité (cf. message du Conseil fédéral du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1057 ss, spéc. 1312; YVONA GRIESSER, in Donatsch/Hansjakob/Lieber (éd.), Kommentar zur Schweizerischen Strafprozessordnung, 2010, n° 9 ad art. 428; SCHMID/JOSITSCH, Schweizerische Strafprozessordnung Praxiskommentar, 2018, n° 10 s. ad <ref-law>). La question de savoir si la modification de la décision est de peu d'importance s'apprécie selon les circonstances concrètes du cas d'espèce (arrêt 1B_575/2011 précité consid. 2.1; DOMEISEN, op. cit., n° 21 ad <ref-law>). La modification sera par exemple de peu d'importance si la partie attaquant le jugement dans son ensemble n'obtient gain de cause que sur un point accessoire ou si la décision est uniquement modifiée dans le cadre du pouvoir d'appréciation du juge (arrêt 6B_1046/2013 précité consid. 3.3).
11.1.2. La cour cantonale a considéré que le recourant n'avait développé aucun moyen en lien avec la révocation du sursis, de sorte qu'il y avait lieu de considérer que son appel était entièrement rejeté et que l'entier des frais de procédure devait être mis à la charge de l'appelant (jugement attaqué p. 43). Ce raisonnement ne peut pas être suivi. En effet, dans sa déclaration d'appel, le recourant a attaqué la révocation du sursis prononcée par le tribunal de première instance et a conclu à sa libération de toute infraction et à l'exonération en conséquence de toute peine, le sursis accordé le 6 novembre 2013 par le Tribunal de police de l'Est vaudois n'étant pas révoqué. Même si la cour cantonale a renoncé à révoquer le sursis en se fondant sur une autre motivation que celle présentée dans la déclaration d'appel, elle a admis la conclusion du recourant tendant à la non-révocation du sursis, de sorte que l'on doit admettre que le recourant a obtenu partiellement gain de cause.
Le point sur lequel l'appel a été admis est toutefois de peu d'importance. La peine révoquée consiste en effet en une peine pécuniaire de 30 jours-amende à 30 fr. le jour et en une amende de 500 francs. Cette peine doit être considérée comme minime au vu de la peine privative de liberté totale à laquelle le recourant a été condamné. Ainsi, conformément à l'<ref-law>, les frais de la procédure peuvent être mis à la charge du recourant. Par substitution de motifs (cf. <ref-ruling> consid. 3 p. 783), le grief soulevé doit être rejeté.
11.2. Le recourant se plaint du fait que les frais de l'assistance judiciaire gratuite des parties plaignantes ne sauraient être mis à sa charge car sa situation financière ne saurait être qualifiée de bonne.
En vertu de l'<ref-law>, les frais judiciaires incluent les frais imputables à la défense d'office et à l'assistance judiciaire gratuite. L'<ref-law> prévoit que les frais de l'assistance judiciaire gratuite de la partie plaignante ne peuvent être " mis à la charge du prévenu que si celui-ci bénéficie d'une bonne situation financière ". La formulation utilisée pourrait laisser penser que tel ne peut être le cas que si l'intéressé dispose de moyens suffisants au moment où l'autorité statue. Selon la jurisprudence, l'obligation de remboursement peut toutefois être imposée au prévenu dès que sa situation financière s'améliore (cf. <ref-law> par analogie; arrêt 6B_150/2012 du 14 mai 2012 consid. 2.1). La cour cantonale n'a donc pas violé l'<ref-law>, dans la mesure où le chiffre VII du dispositif prévoit que le recourant ne sera tenu de rembourser à l'Etat le montant des indemnités allouées en faveurs des conseils et défenseur d'office prévues aux chiffres III à V que lorsque sa situation financière le permettra. Le grief soulevé est infondé.
11.3. Le recourant fait valoir que l'intégralité de l'indemnité allouée au défenseur d'office de B.B._ ne pourrait pas être mise à sa charge, dès lors que celle-ci a retiré son appel joint.
Dans ses déterminations, l'intimée B.B._ fait valoir que, par courrier du 1er mai 2019, la cour cantonale a pris acte du retrait de l'appel joint, sans frais de deuxième instance. Elle en conclut que la procédure d'appel joint s'est terminée sans frais et que " l'ensemble des démarches consacrées par le conseil de l'intimée dans le cadre de la procédure d'appel ont été correctement pris en compte par la cour cantonale (c'est de cette façon que le conseil de l'intimée a fait valoir sa liste des opérations) ". Conformément à la liste d'opérations produite par le conseil de l'intimée, la cour cantonale a fixé l'indemnité d'office pour la procédure d'appel à 5'869 fr. 50., montant qu'elle a mis à la charge du recourant; parmi les opérations prises en compte figure la rédaction de l'appel joint.
Dans son appel joint, l'intimée B.B._ a conclu, en substance, à la condamnation du recourant, à une peine à dire de justice, pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, escroquerie et calomnie, cette peine étant entièrement complémentaire à celle prononcée le 1er mai 2015 par le Tribunal correctionnel de l'arrondissement de l'Est vaudois, ainsi qu'à l'octroi d'une indemnité pour tort moral de 4'500 francs. Le 26 avril 2019, elle a retiré son appel joint. Conformément à l'art. 428 al. 1, 2e phrase, CPP, la partie qui retire son recours est considérée comme avoir succombé. Les frais liés à l'appel joint, en particulier aux conclusions tendant à la condamnation du recourant pour calomnie et à l'octroi d'une indemnité de 4'500 fr., ne sauraient donc être mis à la charge du recourant, qui obtient gain de cause sur ces points. La cour cantonale a violé l'<ref-law> en mettant, à la charge du recourant, l'intégralité de l'indemnité allouée au défenseur d'office de B.B._. Le recours doit être admis sur ce point.
12.
Le recours doit ainsi être partiellement admis (cf. consid. 8; 9; 10; 11.3). Pour le surplus, le recours doit être rejeté dans la mesure de sa recevabilité.
Le recourant, qui obtient partiellement gain de cause, supportera une partie des frais judiciaires (<ref-law>). Il peut prétendre à des dépens réduits, à la charge, pour moitié, du canton de Vaud (<ref-law>) et, pour moitié, des autres intimés, solidairement entre eux (art. 68 al. 1 et 2 LTF). La demande d'assistance judiciaire présentée par le recourant est sans objet dans la mesure où ce dernier a droit à des dépens; elle doit être rejetée pour le reste, dès lors que le recours était dénué de chances de succès s'agissant des aspects sur lesquels le recourant a succombé (<ref-law>). Les frais judiciaires mis à la charge de l'intéressé seront fixés en tenant compte de sa situation économique, laquelle n'apparaît pas favorable (<ref-law>).
Les intimés B.B._, C.B._, D.B._, E.B._ et F.B._ ont demandé l'assistance judiciaire. Leurs demandes doivent être admises au vu de leur situation financière et une indemnité appropriée doit être accordée à leur conseil d'office, à la charge de la caisse du Tribunal fédéral (<ref-law>). Les intimés sont rendus attentifs au fait qu'ils devront rembourser cette dernière, s'ils peuvent le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire formée par le recourant est rejetée dans la mesure où elle n'est pas sans objet.
3.
Une partie des frais, arrêtée à 800 fr., est mise à la charge du recourant.
4.
Une indemnité de 1'500 fr., à verser au recourant à titre de dépens, est mise pour moitié à la charge du canton de Vaud et pour moitié à la charge des intimés B.B._, C.B._, D.B._, E.B._ et F.B._, solidairement entre eux.
5.
Les demandes d'assistance judiciaire des intimés C.B._, D.B._, E.B._ et F.B._ sont admises. Me Martine Rüdlinger, avocate à Aigle, leur est désignée comme avocate d'office et une indemnité de 1'500 fr., supportée par la caisse du Tribunal fédéral, lui est allouée à titre d'honoraires.
6.
La demande d'assistance judiciaire de l'intimée B.B._ est admise. Me Benjamin Schwab, avocat à Vevey, lui est désigné comme avocat d'office et une indemnité de 1'000 fr., supportée par la caisse du Tribunal fédéral, lui est allouée à titre d'honoraires.
7.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 septembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin