Faits : A. Par jugement du 15 septembre 2017, le Tribunal de police de la République et canton de Genève a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 CP) ainsi que de séjour illégal (art. 115 al. 1 let. b LEtr) et l'a condamné à une peine pécuniaire de 150 jours-amende avec sursis pendant trois ans. Il a également rejeté sa demande d'indemnisation fondée sur l'art. 429 CPP. B. Par arrêt du 5 mars 2018, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a rejeté l'appel formé par X._ contre le jugement du 15 septembre 2017. En substance, elle a retenu les faits suivants. X._, né en 1978, a, à Genève, de septembre à fin octobre 2014, régulièrement entretenu des relations sexuelles avec B._, née en 2000. Le 19 décembre 2014, A._, la mère de B._, a déposé plainte pénale contre inconnu. Deux semaines plus tôt, son autre fille, C._, qui se trouvait au Brésil, lui avait expliqué par téléphone que B._ était enceinte. Un médecin lui avait recommandé d'interrompre la grossesse, son utérus n'étant pas encore complètement formé. Ledit médecin avait dit la même chose à D._, la soeur de A._. A._ pensait que sa fille était enceinte depuis trois mois car celle-ci, habituellement sage, était alors devenue agressive, désobéissante et avait commencé à manquer à l'école, ce qui avait entraîné une baisse de ses résultats. La soeur de B._ avait averti D._. Celle-ci avait accompagné l'intéressée, qui ne désirait pas avorter, dans ses démarches à l'hôpital. L'interruption de grossesse avait finalement eu lieu le 10 ou le 11 décembre 2014. B._ était suivie par un psychologue. Après avoir d'abord refusé de répondre aux questions de la police, B._ a déclaré qu'elle avait entretenu des relations sexuelles consenties, protégées au début, entre fin août/début septembre 2014 et fin octobre 2014, avec un certain E._, qu'elle avait rencontré lors d'une soirée en 2013 et qui travaillait comme DJ. Celui-ci connaissait son âge et avait été informé de sa grossesse. Il avait une compagne et une fille et vivait dans un appartement à la route F._, au xxx étage. B._ s'était rendue au moins deux fois par semaine à son domicile, pendant la pause de midi, depuis le cycle d'orientation G._, pour y entretenir des relations sexuelles. La compagne de E._ était alors à son travail. Elle a confirmé ses déclarations devant le ministère public. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 5 mars 2018. Principalement, il conclut, avec suite de frais et dépens, à la réforme de l'arrêt entrepris en ce sens qu'il est acquitté du chef d'accusation d'actes d'ordre sexuel avec des enfants, qu'une indemnité de 6'336 fr., incluant une indemnisation de 5'400 fr. pour détention illégale et une somme de 936 fr. pour ses frais de défense lui sont octroyées. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.