Faits :
A.
Par jugement du 7 juin 2017, le Tribunal de police de l'arrondissement de La Côte a constaté que X._ s'était rendu coupable d'actes d'ordre sexuel avec des enfants et l'a condamné à une peine pécuniaire de 180 jours-amende avec sursis pendant deux ans et à une amende de 300 francs.
B.
Par jugement du 11 janvier 2018, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._.
La cour cantonale a retenu les faits suivants:
Le 30 juin 2016, à la plage de B._, alors que des élèves de plusieurs classes d'éducation physique et sportive de C._ jouaient au football au cours d'une sortie scolaire, X._, né en 1970, qui passait par là, s'est intégré au jeu des enfants et a improvisé un match. Lors de ce match, X._ a délibérément touché les fesses de D._, né en 2004, par-dessus les vêtements, ainsi que, pendant quelques secondes, les parties génitales de E._, né en 2003, par-dessus le short de bain, avec la main à plat et de manière appuyée. La mère de celui-ci a déposé plainte le 2 juillet 2016.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Principalement, il conclut à la réforme du jugement en ce sens qu'il est libéré du chef de prévention d'actes d'ordre sexuel avec des enfants. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite par ailleurs l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque un défaut de motivation du jugement cantonal tant en ce qui concerne le cas de D._ qu'en ce qui concerne celui de E._.
1.1. Le Tribunal fédéral a déduit du droit d'être entendu, consacré par l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le justiciable puisse en saisir la portée et, le cas échéant, l'attaquer en connaissance de cause. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183). Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 2.2 p. 183). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée (<ref-ruling> consid. 3.2.1 p. 565).
1.2. Le recourant reproche à la cour cantonale de ne pas avoir expliqué en quoi l'acte du recourant à l'égard de D._ avait un caractère sexuel, notamment selon son apparence extérieure pour un tiers observateur. Il lui reproche également de ne pas avoir démontré le caractère sexuel de l'acte que le recourant avait commis sur E._. Enfin, il soutient que la motivation de la cour cantonale est confuse dans la mesure où elle mélangerait l'élément constitutif objectif et l'élément constitutif subjectif de l'infraction.
1.3. En l'espèce, on comprend de la motivation du jugement attaqué que la cour cantonale a retenu que le fait de " toucher le pénis [de E._] avec le plat de sa main pendant trois ou quatre secondes par-dessus les habits " ainsi que le fait de mettre " la main à plat sur la fesse " de D._ - tels qu'ils ont été décrits respectivement par chacun des enfants - constituaient des actes clairement connotés sexuellement du point de vue d'un observateur extérieur, qui remplissaient toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur au sens de la jurisprudence (cf. infra consid. 3.1). La cour cantonale a ensuite retenu que, s'agissant de l'élément subjectif de l'infraction, il était clair que le recourant savait ce qu'il faisait et que celui-ci n'était pas crédible lorsqu'il déclarait qu'il ne s'agissait que de gestes furtifs. Pour arriver à ces conclusions, la cour cantonale explique qu'elle s'est fondée sur les déclarations tout à fait claires des deux enfants, sur le fait qu'il y a eu deux attouchements sur deux enfants différents, sur l'état de choc dans lequel se trouvaient les deux enfants qui pleuraient après les faits et sur les déclarations concordantes et constantes des deux enseignantes témoins de l'incident, lesquelles ont vu l'acte commis sur E._, immédiatement arrêté le match et appelé la police.
1.4. Il s'ensuit que la motivation de la cour cantonale permet de comprendre que les deux actes commis par le recourant avaient un caractère sexuel et que le comportement de celui-ci était intentionnel. Partant, le grief de violation du droit d'être entendu est infondé.
2.
Invoquant la présomption d'innocence (<ref-law>) et la prohibition de l'arbitraire (art. 9 Cst.), le recourant soutient que la cour cantonale aurait dû éprouver un doute raisonnable quant à l'existence du geste sur les fesses de D._, qu'il conteste. Il nie également que l'acte commis sur E._ avait une dimension sexuelle.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
2.2. En l'espèce, s'agissant de D._, il est vrai que les enseignantes n'ont elles-mêmes pas vu l'acte commis par le recourant sur celui-ci. La cour cantonale s'est notamment fondée sur les déclarations " tout à fait claires " de cet enfant, sur le fait que plusieurs témoins avaient également clairement vu le recourant mettre les mains, de manière intentionnelle, sur les parties génitales d'un autre élève et sur le fait que D._ pleurait et était sous le choc. Une enseignante a souligné qu'elle ne l'avait jamais vu dans un tel état, alors qu'il n'était pas un élève particulièrement sensible (<ref-law>). En outre, selon les enseignantes, des élèves leur ont indiqué que le recourant avait " pincé les fesses " de D._. Il ressort enfin des déclarations concordantes des enseignantes que le comportement du recourant n'était " pas normal " dans la mesure où il était très tactile avec les enfants. Certains enfants avaient d'ailleurs arrêté de jouer depuis que le recourant s'était immiscé dans le jeu. Le fait que D._ n'aurait pas expressément déclaré que l'acte était " objectivement à caractère sexuel " n'y change rien. En effet, si l'acte n'avait pas eu de connotation sexuelle, le jeune garçon n'aurait eu aucune raison de dénoncer le geste, non seulement au moment des faits mais encore lors de ses déclarations devant la police et n'aurait pas été si choqué et touché émotionnellement.
Compte tenu de l'ensemble de ces éléments, la cour cantonale n'est pas tombée dans l'arbitraire en retenant que le recourant avait délibérément touché les fesses de D._.
2.3. En ce qui concerne E._, c'est en vain que le recourant soutient " qu'aucun témoin n'a rapporté avoir vu une dimension sexuelle dans le geste intervenu pendant le match ". En effet, il ressort des déclarations de l'intéressé qu'au cours du jeu, le recourant l'a saisi par l'arrière, l'a déséquilibré, puis lui a " touché le pénis avec le plat de la main pendant trois ou quatre secondes par-dessus les habits ". Il ressort ensuite des déclarations concordantes de deux enseignantes qu'elles ont vu le recourant " toucher les parties génitales ", respectivement " mettre la main sur le sexe " de E._.
Le recourant soutient encore que l'affirmation de la cour cantonale selon laquelle D._ aurait vu le recourant pousser E._ " puis le toucher pendant deux secondes au niveau de l'entrejambe " serait arbitraire, dans la mesure où l'intéressé n'aurait jamais prononcé une telle phrase pendant son audition. Ce faisant, le recourant ne démontre cependant pas en quoi cet élément serait susceptible d'influer sur le sort de la cause (<ref-law>), étant rappelé qu'au moins deux enseignantes ont témoigné de manière concordante et constante que le recourant avait commis l'acte en question.
C'est également en vain que le recourant soutient que la cour cantonale aurait conclu de manière totalement arbitraire que le jeu " tactile " du recourant était " une preuve de culpabilité ". Il perd de vue que la cour cantonale a en réalité considéré que le fait que les enseignantes ont trouvé que le jeu du recourant était tactile " ne suffirait sans doute pas à retenir l'existence d'un acte d'ordre sexuel " mais qu'il " tend[ait] à corroborer l'intention du prévenu de toucher les enfants souvent et partout ". Le recourant ne démontre pas en quoi ce raisonnement serait arbitraire.
Enfin, le recourant reproche notamment à la cour cantonale d'avoir arbitrairement ignoré " certains faits " concernant l'acte commis sur E._. Une partie des " faits " invoqués correspond en réalité à la version des faits donnée par le recourant et est contredite par les déclarations des témoins. Tel est le cas du fait que le match aurait continué après l'acte commis par le recourant sur E._ ou du fait que le geste aurait été " unanimement considéré comme furtif ". S'agissant du fait que l'acte était intervenu lors d'un match de football et que le recourant voyait bien que du monde l'entourait, il est plausible - comme l'a relevé la cour cantonale - que le recourant ait profité du fait qu'il y avait du monde pour pouvoir se justifier après coup.
2.4. Au vu de ce qui précède, la cour cantonale n'a pas versé dans l'arbitraire en retenant que le geste du recourant avait une dimension sexuelle. Les griefs du recourant doivent être rejetés dans la mesure où ils sont recevables.
3.
Le recourant soutient que, tant pour l'acte commis sur D._ - s'il est établi - que pour celui commis sur E._, les éléments constitutifs de l'<ref-law> - soit la commission d'un acte d'ordre sexuel ainsi que l'intention - ne sont pas réunis.
3.1. Aux termes de l'<ref-law>, celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de 16 ans, celui qui aura entraîné un enfant de cet âge à commettre un acte d'ordre sexuel, celui qui aura mêlé un enfant de cet âge à un acte d'ordre sexuel, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Constitue un acte d'ordre sexuel au sens de cette disposition une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (arrêt 6B_35/2017 du 28 février 2018 consid. 4.2; BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd. 2010, n° 6 ad <ref-law>; ANDREAS DONATSCH, Strafrecht III, Delikte gegen den Einzelnen, 10e éd. 2013, p. 490). Selon la jurisprudence, il faut d'abord distinguer les actes n'ayant aucune apparence sexuelle, qui ne tombent pas sous le coup de la loi, des actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur. Dans les cas équivoques, il convient de tenir compte de l'ensemble des éléments d'espèce (cf. <ref-ruling> consid. 3b p. 63 et les références citées). Une caresse insistante du sexe, des fesses ou des seins, même par-dessus les habits, constitue un acte d'ordre sexuel (arrêt 6B_35/2017 précité consid. 4.2; cf. CORBOZ, op. cit. n° 11 ad <ref-law>; MAIER, in Basler Kommentar, Strafrecht, 3e éd. 2013, n° 48 ad <ref-law>; STRATENWERTH/JENNY/BOMMER, Schweizerisches Strafrecht, Besonderer Teil I: Straftaten gegen Individualinteressen, 7e éd. 2010, § 7 n° 14).
Au plan subjectif, l'auteur d'un acte d'ordre sexuel doit agir intentionnellement. Il faut qu'il soit conscient du caractère sexuel de son comportement, mais ses motifs ne sont pas déterminants, de sorte qu'il importe peu que l'acte tende ou non à l'excitation ou à la jouissance sexuelle (arrêts 6B_288/2017 du 19 janvier 2018 consid. 5.1 et 6B_785/2011 du 29 juin 2012 consid. 3.2 et les références citées).
3.2. Le recourant soutient que les actes qui lui sont reprochés sont des gestes inconvenants ou maladroits et qu'ils ne constituent pas des " gestes équivoques pénalement répréhensibles ". Le recourant avance ainsi une série d'éléments - que l'autorité aurait arbitrairement ignorés - et qui indiqueraient qu'il ne s'agit pas d'actes d'ordre sexuel. Il en va ainsi notamment du fait que la scène s'est déroulée en début d'après-midi au mois de juin, sur une plage où 100 élèves étaient présents, que le recourant n'était ni alcoolisé, ni sous l'effet de drogue, que lui ainsi que les enfants étaient habillés, qu'il a admis avoir été " engagé " dans la partie avec les enfants ou que le geste sur D._ n'aurait duré qu'une seconde. Le raisonnement du recourant ne saurait être suivi. En effet, ces circonstances sont sans pertinence dès lors que la cour cantonale a retenu qu'il n'y avait pas d'équivoque et qu'il s'agissait d'actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissaient toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur.
Cette conclusion ne prête d'ailleurs pas le flanc à la critique. En effet, comme relevé précédemment, les deux enseignantes ont déclaré avoir vu le recourant " toucher les parties génitales ", respectivement " mettre la main sur le sexe " de E._, ce qui les a conduit à immédiatement mettre fin au jeu et appeler la police. E._, quant à lui, a déclaré que le recourant l'avait saisi par l'arrière, l'avait déséquilibré, puis lui avait " touché le pénis avec le plat de la main pendant trois ou quatre secondes par-dessus les habits ". La cour n'a pas violé le droit fédéral en retenant que cet acte constituait un acte d'ordre sexuel au sens de l'<ref-law>. En ce qui concerne D._, elle n'a pas non plus violé l'<ref-law> en retenant que le fait de délibérément toucher les fesses du jeune garçon constituait un acte d'ordre sexuel au sens de cette disposition.
3.3. En ce qui concerne l'intention, le recourant soutient - s'agissant de E._ - que, dans leurs auditions, les deux enseignantes n'auraient " jamais affirmé avoir perçu une intention sexuelle " et qu'elles auraient " tout au plus " indiqué que " le geste était, selon elles, volontaire ". Cette argumentation ne saurait être suivie. En effet, il ressort des déclarations des enseignantes que " c'est sans le moindre doute intentionnellement que le prévenu a mis sa main sur les parties génitales de E._ et que le geste n'était pas que furtif " (jugement attaqué, p. 16), que l'acte sexuel était, selon l'une des enseignantes " clairement intentionnel ", respectivement " visiblement intentionnel ", selon l'autre (jugement attaqué, p. 12). En se fondant notamment sur ces témoignages - dont le recourant n'a pas démontré qu'ils auraient été appréciés de manière arbitraire -, la cour cantonale n'a pas violé l'<ref-law> en retenant que le recourant avait agi intentionnellement.
3.4. La cour cantonale n'a dès lors pas violé l'<ref-law> en jugeant que le recourant avait commis des actes d'ordre sexuel au sens de cette disposition.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann