Faits: A. Par jugement du 2 décembre 2009, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._, pour actes d'ordre sexuel avec des enfants, à 120 jours-amende à 30 fr. chacun avec sursis pendant deux ans et à une amende de 600 fr., la peine privative de liberté de substitution étant arrêtée à 20 jours. B. Par arrêt du 27 janvier 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. En résumé, il est reproché à ce dernier d'avoir, le 4 janvier 2009, aux environs de 16 heures 30, aux Bains de A._, commis des attouchements au préjudice de B._, née le *** 1994. Dans une partie du bassin à courant activé nommé le « tourbillon », X._ a d'abord touché le sein, puis caressé les fesses et enfin placé ses doigts entre les lèvres intimes de l'adolescente, sans toutefois introduire de doigts dans le vagin. L'intéressé a toujours contesté ces accusations. C. X._ forme un recours en matière pénale au Tribunal fédéral. Invoquant une violation de l'interdiction de l'arbitraire (art. 9 Cst), il conclut principalement à l'annulation du jugement attaqué et subsidiairement à sa réforme en demandant à ce qu'il soit libéré de l'accusation d'actes d'ordre sexuel avec des enfants et acquitté de toute peine. Il sollicite également l'assistance judiciaire.