Faits : A. Le 24 juin 2015, le Tribunal correctionnel de la République et canton de Genève a acquitté X._ des chefs d'actes d'ordre sexuel avec des enfants (art. 187 CP) et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) à l'égard de A._, l'a reconnu coupable de ces mêmes infractions à l'égard de sa fille B._, l'a acquitté des chefs de lésions corporelles simples (art. 123 CP), de tentatives de contrainte (art. 181 CP) et de vol (art. 139 CP), mais l'a reconnu coupable d'abus de confiance (art. 138 CP) au préjudice de C._ et, enfin, l'a reconnu coupable d'escroquerie (art. 146 CP) au préjudice de l'Hospice général. Il l'a condamné à une peine privative de liberté de 30 mois, sous déduction de 5 jours de détention avant jugement, dont 6 mois fermes, le solde étant assorti du sursis partiel durant 4 ans. B. Par arrêt du 3 mai 2016, la Chambre pénale d'appel et de révision de la Cour de justice a admis l'appel de X._ et l'a acquitté des chefs d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance au préjudice de B._. Elle a condamné X._ à une peine privative de liberté de 10 mois, avec sursis et délai d'épreuve de 3 ans, et lui a alloué une indemnité pour tort moral à hauteur de 15'000 fr. plus intérêts à 5% l'an dès le 3 juillet 2009, à charge de l'Etat de Genève. Elle a confirmé le jugement attaqué pour le surplus. A l'appui de sa décision d'acquittement, la cour cantonale a considéré en bref que les éléments à charge, pour troublants qu'ils pussent être, étaient neutralisés par les éléments à décharge, qui étaient nombreux et qui semaient un doute insurmontable, lequel devait profiter à X._. C. Contre cet arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à sa réforme en ce sens que l'Etat de Genève est condamné à lui verser la somme de 50'000 fr. plus intérêts à 5% l'an dès le 3 juillet 2009 au titre d'indemnité pour tort moral. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour qu'elle statue dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.