Faits:
A. Par jugement du 2 décembre 2009, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._, pour actes d'ordre sexuel avec des enfants, à 120 jours-amende à 30 fr. chacun avec sursis pendant deux ans et à une amende de 600 fr., la peine privative de liberté de substitution étant arrêtée à 20 jours.
B. Par arrêt du 27 janvier 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
En résumé, il est reproché à ce dernier d'avoir, le 4 janvier 2009, aux environs de 16 heures 30, aux Bains de A._, commis des attouchements au préjudice de B._, née le *** 1994. Dans une partie du bassin à courant activé nommé le « tourbillon », X._ a d'abord touché le sein, puis caressé les fesses et enfin placé ses doigts entre les lèvres intimes de l'adolescente, sans toutefois introduire de doigts dans le vagin. L'intéressé a toujours contesté ces accusations.
C. X._ forme un recours en matière pénale au Tribunal fédéral. Invoquant une violation de l'interdiction de l'arbitraire (art. 9 Cst), il conclut principalement à l'annulation du jugement attaqué et subsidiairement à sa réforme en demandant à ce qu'il soit libéré de l'accusation d'actes d'ordre sexuel avec des enfants et acquitté de toute peine. Il sollicite également l'assistance judiciaire.

Considérant en droit:
1. De jurisprudence constante, une décision, respectivement une appréciation, n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable ou, autrement dit, absolument inadmissible, et cela non seulement dans sa motivation mais dans son résultat (<ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148). Sous peine d'irrecevabilité, l'arbitraire allégué doit par ailleurs être démontré conformément aux exigences accrues de motivation de l'<ref-law> (ATF 133 IV consid. 1.4 p. 287).
2. Le recourant conteste que l'autorité cantonale puisse rejeter les griefs invoqués devant elle en application de l'art. 411 CPP/VD, de manière sommaire, en raison du caractère appellatoire de leur motivation ou considérer que les procès verbaux d'audition ne pussent fonder le motif de contradiction ou de lacune ou faire naître des doutes sérieux sur l'existence de faits importants admis pour le jugement de la cause.
De telles critiques, qui ne procèdent à aucune démonstration d'une éventuelle violation arbitraire du droit cantonal, ne répondent pas aux exigences accrues de motivation de l'<ref-law> (cf. supra consid. 1). Elles sont par conséquent irrecevables.
3. Invoquant l'arbitraire, le recourant reproche aux juges cantonaux d'avoir admis à tort, à la suite du premier juge, qu'il était l'auteur des faits dénoncés. Il invoque différents éléments qui ne pouvaient fonder sa culpabilité ou devaient l'exclure.
3.1 Le premier juge a fondé sa conviction que l'intéressé était bien l'auteur des faits dénoncés en se fondant notamment sur les déclarations de la victime, qui a désigné de manière catégorique le recourant, et sur le témoignage d'un des surveillants des Bains de A._, qui a confirmé que la victime avait décrit les mêmes lunettes de bain foncées que celles en possession du recourant au moment de son interpellation et qu'il a abandonnées par la suite.
3.2 Le recourant relève que la victime n'a jamais décrit son agresseur, qu'elle n'a rien vu de concret et qu'elle n'a jamais été en mesure de donner des indications permettant de l'individualiser. Il explique que c'est le père de la jeune fille qui a donné la description de l'auteur à la police.
Il est admis qu'en premier lieu, c'est la victime qui a clairement désigné son agresseur à son père, ce qui a conduit à son interpellation et le recourant ne démontre pas d'une manière conforme aux exigences de l'<ref-law> que ce fait aurait été établi de manière arbitraire. Par conséquent, même si c'est le père de la victime qui a décrit, par la suite, l'agresseur de sa fille à la police, le premier juge pouvait admettre, sans arbitraire, que le recourant était bien l'auteur des faits dénoncés, notamment sur la base de son identification par la victime, qui a été claire et catégorique, d'autant plus que celle-ci a été confrontée plusieurs fois au recourant et que sa description comporte des indications concordantes sur des accessoires, par exemple sur les lunettes de natation du recourant. Cette appréciation n'est pas arbitraire dans son résultat.
3.3 Le recourant évoque l'hypothèse que les déclarations de la victime ont été « polluées » par la présence de son père tout au long de la procédure ou par le fait que la victime a eu des contacts avec ses parents avant le dépôt de la plainte. Il estime que de telles déclarations ne pouvaient fonder l'accusation.
Son argumentation, qui repose sur une simple hypothèse, revient à opposer son appréciation à celle du juge de fait. Elle ne répond pas aux exigences accrues de motivation découlant de l'<ref-law> et est par conséquent irrecevable (cf. supra consid. 1).
3.4 Le recourant soutient que sa sexualité, plus particulièrement son homosexualité, ne pouvait constituer un élément d'appréciation de sa culpabilité.
Le premier jugement fait référence dans sa motivation, en tant qu'élément d'appréciation de la culpabilité du recourant, à la sexualité ambigüe de ce dernier, qui bien que plutôt homosexuel, s'est déclaré bisexuel. Cette bisexualité permettait cependant de considérer qu'il puisse aussi s'intéresser aux jeunes filles et que l'homosexualité du recourant ne suffisait pas, comme le prétend ce dernier, à l'écarter en tant qu'auteur. Une fois encore, l'appréciation du premier juge n'apparaît pas arbitraire dans son résultat.
3.5 Le recourant invoque encore des considérations temporelles pour tenter de démontrer qu'il ne pouvait plus être dans le bassin au moment où les faits se sont déroulés. Sans nier sa présence dans le bassin entre 16 h. 15 et 16 h. 30, ce qu'il avait fait en instance inférieure, il conteste que les faits puissent s'être déroulés dans ce laps de temps, car cela ne correspondrait pas aux premières déclarations de la victime à la police. Cependant, comme il l'admet lui-même, un rapport de police a été établi après une nouvelle audition de la victime, précisant le moment pendant lequel les faits avaient pu se dérouler (cf. pièce n° 7). Au vu de ce rapport et compte tenu de l'identification claire du recourant par la victime, il n'était pas insoutenable d'admettre que les faits se soient passés entre 16 h. 15 et 16 h. 30, dans un court laps de temps, à un moment où le recourant pouvait encore se trouver dans le bassin, et ce dernier ne démontre pas le contraire d'une manière répondant aux exigences de motivation rappelées ci-dessus (cf. supra consid. 1).
Enfin, contrairement à ce qu'allègue le recourant, sa seule absence d'antécédents ne permet à l'évidence pas non plus de considérer son implication comme insoutenable.
3.6 Sur le vu de ce qui précède, l'appréciation du premier juge, suivi par l'autorité cantonale, conduisant à admettre que le recourant était l'auteur des faits dénoncés n'est à tout le moins pas arbitraire dans son résultat.
4. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, fixés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 2 juillet 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Schneider Bendani