Faits:
A. A.a A Lausanne, entre août 2007 et le 28 novembre 2008, X._ a rencontré à une vingtaine de reprises Y._, né le 29 novembre 1992, dans les toilettes du centre commercial Migros Metropole 2000. Lors de ces rencontres, ils se sont masturbés mutuellement jusqu'à éjaculation et Y._ a parfois pénétré X._. Celui-ci, à plusieurs reprises, a fait à l'adolescent des fellations.
A.b X._ a stocké sur son ordinateur au moins trois vidéos contenant des scènes de zoophilie.
B. Par jugement du 12 avril 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour actes d'ordre sexuel avec un enfant et pornographie, à une peine privative de liberté de sept mois, peine partiellement complémentaire à celle prononcée le 8 août 2008. Il a révoqué deux sursis antérieurs accordés les 10 mars 2005 et 8 août 2008 et a ordonné l'exécution des peines respectives de quarante jours d'emprisonnement et de trente jours-amende à 30 fr.
Saisie d'un recours en nullité et en réforme du condamné, la Cour de cassation pénale du Tribunal cantonal vaudois a, par arrêt du 23 août 2010, partiellement admis le recours du condamné en ce sens qu'elle a renoncé à révoquer les sursis des peines prononcées le 10 mars 2005 et 8 août 2008. Elle a confirmé le jugement de première instance pour le surplus.
C. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à son acquittement de l'accusation d'actes d'ordre sexuel avec un enfant et à sa condamnation à une peine pécuniaire avec sursis pour pornographie. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à la Cour de cassation pour nouvelle décision dans le sens de la conclusion principale.

Considérant en droit:
1. Dénonçant une violation de l'<ref-law>, le recourant reproche à l'autorité cantonale d'avoir admis la réalisation de l'aspect subjectif de cette infraction et d'avoir exclu qu'il ait agi sous l'empire d'une erreur inévitable sur l'âge de la victime.
1.1 L'<ref-law> réprime le comportement de celui qui aura commis un acte d'ordre sexuel avec un enfant de moins de 16 ans. Si la différence d'âge entre les participants ne dépasse pas trois ans, l'acte n'est pas punissable (ch. 2). Si l'auteur agit en admettant par erreur que sa victime était âgée de 16 ans au moins, alors qu'en usant des précautions voulues, il aurait pu l'éviter, il est punissable en application du chiffre 4 de cette disposition.
Subjectivement, l'auteur doit agir intentionnellement, l'intention devant porter sur le caractère sexuel de l'acte, mais aussi sur le fait que la victime est âgée de moins de seize ans et sur la différence d'âge (arrêt 6B_457/2010 du 8 septembre 2010 consid. 1.2.1). Le dol éventuel suffit. C'est dire que si l'auteur accepte l'éventualité que le jeune ait moins de 16 ans, il agit par dol éventuel et ne peut se prévaloir d'une erreur sur l'âge de la victime (Corboz, Les infractions en droit suisse, 3ème éd., 2010, n. 45 ad <ref-law>). En revanche, l'<ref-law> vise l'hypothèse où l'auteur adopte intentionnellement le comportement objectivement délictueux, mais en croyant par erreur que l'enfant a atteint l'âge de 16 ans, alors que cette erreur était évitable. Si l'erreur était inévitable, l'auteur doit être acquitté (Stefania Suter-Zürcher, Die Strafbarkeit der sexuellen Handlungen mit Kindern nach Art. 187 StGB, 2003, p. 117).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève de l'établissement des faits. Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception du dol éventuel et si elle l'a correctement appliquée sur la base des faits retenus et des éléments à prendre en considération (<ref-ruling> consid. 4.1 p. 4).
1.2 Selon les constations de l'arrêt attaqué, le jeune homme, au moment des faits, était de grande taille. Les magistrats précédents ont toutefois relevé que, lorsque celui-ci s'est exprimé devant les premiers juges, il était alors âgé de 17 ans et quatre mois environ et il se dégageait de lui une impression juvénile et d'immaturité. Selon les témoins, cette impression était encore sensiblement plus grande au moment des faits qui ont débuté alors que la victime était âgée de 14 ans et 9 mois. Les juges cantonaux ont aussi observé que le recourant a rencontré sa victime à une vingtaine de reprises durant plus d'une année. Durant cette période, l'adolescent a toujours refusé les invitations de l'intéressé, lui expliquant pourquoi il ne pouvait pas venir chez lui. De son côté, le recourant est né en 1964, a immigré et a été marié, de sorte qu'il a une certaine expérience de la vie. Enfin, les juges précédents ont constaté que le jeune homme a indiqué au recourant, après deux ou trois rencontres et en réponse à une question de celui-ci, qu'il avait quatorze ans. Se fondant sur l'ensemble de ces éléments, la cour cantonale a retenu que le recourant savait ou, du moins avait accepté l'éventualité que son partenaire avait moins de 16 ans au moment des faits. Elle a ainsi jugé que le recourant avait agi de manière intentionnelle, de sorte que l'élément subjectif de l'<ref-law> était réalisé. L'intéressé ne pouvait ainsi pas invoquer l'erreur.
1.3 Le recourant fait valoir que les constatations de fait ont été retenues par la cour cantonale en violation de l'interdiction de l'arbitraire et du principe in dubio pro reo.
La présomption d'innocence, dont le principe in dubio pro reo est le corollaire, est garantie expressément par les art. 6 par. 2 CEDH et art. 32 al. 1 Cst. Elle concerne tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter à l'accusé. Le juge ne peut retenir un fait défavorable à l'accusé que s'il est convaincu de la matérialité de ce fait, de sorte que le doute profite à l'accusé (<ref-ruling> consid. 2c p. 37). En revanche, la présomption d'innocence n'est pas violée si le juge retient des faits sur la matérialité desquels il n'éprouve aucun doute.
Comme règle sur l'appréciation des preuves, elle est violée lorsque le juge, qui s'est déclaré convaincu, aurait dû éprouver des doutes quant à la culpabilité de l'accusé au vu des éléments de preuve qui lui étaient soumis (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2c p. 37). Le Tribunal fédéral examine librement si elle a été violée en tant que règle sur le fardeau de la preuve, mais il n'examine que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 2a).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1).
1.3.1 En premier lieu, le recourant reproche aux juges précédents d'avoir retenu arbitrairement que l'adolescent lui avait, après deux ou trois rencontres, indiqué qu'il était âgé de quatorze ans alors que les premiers juges avaient laissé ouverte cette question.
Savoir si les juges de la Cour de cassation peuvent retenir un fait que les premiers juges n'ont pas constaté est une pure question de droit de procédure, en l'occurrence de droit de procédure cantonal dont le Tribunal fédéral ne revoit l'application que sous l'angle de l'arbitraire (<ref-law>). Or, le recourant ne prétend pas que la cour cantonale aurait statué sur la question litigieuse en violation arbitraire du droit cantonal de procédure et ne le démontre en tout les cas pas conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4). Il n'y a dès lors pas lieu d'entrer en matière.
1.3.2 Le recourant prétend qu'en considérant qu'"aucun élément ne permet de douter de la déclaration" du jeune homme relative à l'indication de son âge, les juges cantonaux ont renversé le fardeau de la preuve et violé la règle in dubio pro reo. En d'autres termes, ils lui auraient laissé la charge de prouver que la victime ne lui avait donné aucune information sur son âge.
Les magistrats précédents, appréciant les déclarations du jeune homme sur l'indication de son âge au recourant, les ont jugées crédibles parce que l'adolescent n'avait jamais chargé le recourant et avait au contraire toujours reconnu qu'il n'avait pas été contraint mais qu'il avait agi de façon consentante. L'expression litigieuse a été utilisée dans ce cadre. A l'issue de cette appréciation des preuves, les juges cantonaux sont parvenus à la conclusion que le jeune homme avait indiqué son âge au recourant. Un tel raisonnement ne renverse pas le fardeau de la preuve car il ne met en rien à la charge du recourant la preuve du fait litigieux. La critique est partant infondée.
1.3.3 Le recourant estime que la cour cantonale a interprété l'attitude et la déclaration du jeune homme d'une manière arbitraire car le refus des invitations par la victime pouvait être compris de différentes manières Par ailleurs, il considère qu'en choisissant d'interpréter cette attitude en sa défaveur, la Cour de cassation a violé le principe in dubio pro reo.
Le fait que l'autorité précédente ait apprécié les preuves en défaveur du recourant ne signifie pas pour autant qu'elle ait renversé le fardeau de la preuve ou qu'elle ait condamné le recourant pour ne pas avoir apporté la preuve de son innocence. Au contraire, le tribunal est clairement parvenu à une conviction sur la base des moyens de preuve apportés. La présomption d'innocence n'a donc pas été violée en tant que règle sur le fardeau de la preuve. Le tribunal n'a pas non plus éprouvé un doute qu'il aurait interprété en défaveur du recourant. Savoir s'il aurait dû en éprouver un relève de l'appréciation des preuves, qui ne peut être examinée que sous l'angle de l'arbitraire. Or, comme le relève le recourant, la cour cantonale a choisi, entre plusieurs interprétations concevables, l'une d'entre elles. Dans un tel cas, on ne saurait lui reprocher d'avoir versé dans l'arbitraire (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2).
1.3.4 Le recourant fait grief aux juges précédents de s'être fondés, à l'instar du Tribunal correctionnel, sur des témoignages de spécialistes de l'enfance pour retenir que le jeune homme donnait une impression d'immaturité qui ne pouvait lui échapper. Il estime que ces témoignages ne sont pas décisifs car ils ont été recueillis auprès de professionnels qui sont aptes à juger de l'âge effectif d'un adolescent tandis que lui, qui n'est pas spécialiste dans ce domaine et ne maîtrise le français que comme seconde langue, ne dispose pas des mêmes capacités.
Aucun moyen n'a été soulevé sur ce point dans le recours cantonal en nullité (art. 411 CPP/VD), qui a pour objet une irrégularité de procédure ou une contestation relative à l'établissement des faits (cf. ROLAND BERSIER, Le recours à la Cour de cassation pénale du Tribunal cantonal en procédure vaudoise, in : JdT 1996 III 65 ss, p. 75 et 77 s.). Or, saisi d'un recours en nullité, le Tribunal cantonal n'examine que les moyens soulevés; il ne dispose donc pas d'un libre pouvoir d'examen et ne doit pas appliquer le droit d'office (art. 439 al. 1 CPP/VD; JdT 2003 III 81, consid. 2). Il s'ensuit que le grief est irrecevable, faute d'épuisement des instances cantonales (<ref-law>; <ref-ruling> consid. 2.1).
1.3.5 Selon le recourant, la cour cantonale a versé dans l'arbitraire en se référant aux photos tout en retenant que le jeune homme avait laissé une impression juvénile et d'immaturité lors des débats de première instance. Aux yeux du recourant, les photos montrent sans équivoque que la victime avait la taille et l'apparence d'un jeune adulte.
Le grief est dénué de fondement. A partir des photos, la Cour de cassation a effectivement retenu que le jeune homme était de grande taille et avait l'apparence d'un jeune adulte. Elle a toutefois considéré que cette observation était contrebalancée par l'impression juvénile et d'immaturité que dégageait le jeune homme dès qu'il s'exprimait. Cette dernière constatation était tirée non des photos mais de différents témoignages et des constatations faites par les premiers juges lorsque la victime a été entendue aux débats.
1.3.6 Enfin, le recourant se plaint d'arbitraire au motif que la cour cantonale aurait omis de tenir compte de faits suivants : les rencontres de la victime avec d'autres partenaires, les communications par portable entre partenaires, l'absence de contrainte scolaire liant le jeune homme et l'impossibilité d'informations de la part de tiers. Il affirme, sans autre développement, que ces faits sont pertinents.
Telle que formulée, la critique est irrecevable, faute de motivation suffisante (<ref-law>). Il appartenait au recourant, d'exposer, pour chacun des ces éléments d'une part en quoi il serait pertinent pour la cause et, d'autre part en quoi les juges précédents auraient apprécié les preuves de manière arbitraire (cf. consid. 1.3.1).
1.4 Par ailleurs, sur la base des faits pertinents qu'elle a tenus pour établis au terme de son appréciation des preuves (consid. 1.2; <ref-law>), et vainement remis en cause par le recourant (consid. 1.3.2-1.3.6), la cour cantonale a correctement appliqué le droit fédéral en jugeant que l'élément subjectif de l'<ref-law> était réalisé. En effet, le recourant a commis les actes décrits ci-dessus (cf. supra let. A.a) avec conscience et volonté. En outre, dès lors qu'il savait, sur la base des indications données par le jeune homme (consid. 1.2 et 1.3.1), que celui-ci était âgé de moins de 16 ans au moment des faits, le recourant a agi par dol direct. Par ailleurs, comme il a également été constaté que le recourant avait à tout le moins accepté l'éventualité que son partenaire avait moins de 16 ans et s'était accommodé de ce fait (consid. 1.2, 1.3.3-1.3.5), la cour cantonale n'a pas violé le droit fédéral en retenant, à titre subsidiaire, le dol éventuel. Dans ces conditions, le recourant ne peut se prévaloir d'une erreur sur l'âge de la victime et sa condamnation en vertu de l'<ref-law> est conforme au droit fédéral.
2. Le recourant soutient encore que la cour cantonale a violé l'<ref-law> en lui refusant le sursis.
2.1 Selon l'article 42 al. 1 CP, le juge suspend en règle générale l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits.
En l'espèce, le recourant a été condamné à une peine privative de liberté de sept mois, de sorte que la condition objective du sursis est réalisée. Il s'agit donc de déterminer si la condition subjective l'est aussi.
Sur le plan subjectif, le juge doit poser, pour l'octroi du sursis, un pronostic quant au comportement futur de l'auteur. Le sursis est la règle dont on ne peut s'écarter qu'en présence d'un pronostic défavorable (<ref-ruling> consid. 4.2.2 p. 6). Pour émettre un pronostic, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 4.2.1).
De même qu'en matière de fixation de la peine, la motivation du jugement (<ref-law>) doit permettre la vérification de la correcte application du droit fédéral (cf. <ref-ruling> consid. 4.2.1). Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus, notamment lorsque le juge a omis de tenir compte de critères pertinents (<ref-ruling> consid. 2.3 p. 204 en cas de libération conditionnelle; arrêt du Tribunal fédéral 6B_303/2007 du 6 décembre 2007, consid. 6).
2.2 Selon les constatations de l'arrêt attaqué, le recourant a continué, aux débats d'appel, de soutenir que le jeune homme avait eu l'initiative des faits. Alors même que son avocat avait plaidé avec mesure, il est allé jusqu'à affirmer, dans sa déclaration finale, que l'adolescent lui aurait quasiment imposé par la violence certains actes. La cour cantonale en a déduit que le recourant refusait d'assumer la responsabilité de ses actes et n'avait pas pris conscience de leur gravité. Elle a ensuite relevé, au chapitre des antécédents, que le recourant avait été condamné à deux reprises, en 2005 pour conduite en état d'ébriété et opposition à une prise de sang, et en 2008 pour dommages à la propriété, injures et menaces. Se fondant sur ces éléments, elle a refusé d'octroyer le sursis.
2.3 Lorsque le recourant conteste l'initiative des actes, le défaut de prise de conscience et ses déclarations relatives aux actes que le jeune homme lui aurait imposés par la violence, il remet en question des constatations de fait et se plaint d'arbitraire. Il soutient, sans autre explication, que la cour cantonale ne pouvait retenir qu'il contestait l'initiative des faits car le Tribunal correctionnel avait laissé cette question ouverte. Concernant le défaut de prise de conscience, il prétend qu'il était en droit de plaider qu'il était dans l'erreur sur l'âge du jeune homme. Par ces affirmations, il ne démontre pas l'arbitraire conformément aux exigences de motivation déduites de l'<ref-law>. Il se borne à opposer sa propre appréciation dans une démarche appellatoire et, partant, irrecevable (<ref-ruling> consid. 6). Enfin, s'agissant de ses déclarations relatives à la contrainte qu'aurait exercée sur lui la victime, il motive l'arbitraire en affirmant que ce fait était absent du jugement de première instance. Pour autant qu'il soit recevable, le grief tombe à faux dès lors que le Tribunal correctionnel s'est expressément fondé, entre autres motifs, sur cette constatation de fait pour refuser le sursis.
Contrairement à ce que soutient le recourant, la cour cantonale n'a pas violé l'<ref-law> en tenant compte de ses antécédents. Ils constituent un des éléments sur lesquels le juge fonde son pronostic pour décider de l'octroi ou non du sursis. En outre, selon la jurisprudence, des antécédents relatifs à d'autres types de délits ne sont pas sans pertinence pour l'établissement de ce pronostic (<ref-ruling> consid. 2d p. 137; <ref-ruling> consid. 2 p. 82; v. également ROLAND SCHNEIDER/ROY GARRÉ, Commentaire bâlois, 2e éd., 2007, n. 59 ad <ref-law>). Enfin, dans la mesure où la cour cantonale a retenu que l'attitude de déni du recourant était motivée par le dessein de rejeter la faute sur autrui, elle s'est également fondée sur un élément pertinent, défavorable, pour le pronostic (<ref-ruling> consid. 2a, p. 258 ss; cf. aussi arrêts 6B_686/2010 du 21 octobre 2010 consid. 1.3; 6P.128/2006 consid. 6.3). On ne saurait donc lui reprocher d'avoir abusé de son large pouvoir d'appréciation en estimant que les antécédents et l'attitude du recourant conduisaient à l'établissement d'un pronostic défavorable quant à sa conduite future en liberté. Mal fondé, le grief tiré de la violation de l'<ref-law> doit donc être rejeté.
3. Le recours est rejeté dans la mesure où il est recevable. Comme ses conclusions étaient d'emblée vouées à l'échec, le recourant doit être débouté de sa demande d'assistance judiciaire (art. 64 al. 1 et 2 LTF) et supporter les frais de justice (<ref-law>), qui seront toutefois réduits compte tenu de sa situation financière actuelle.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 1er mars 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Rey-Mermet