Faits:
A. Par jugement du 25 mai 2007, le Tribunal de police genevois a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 al. 1 CP) et de contraintes sexuelles (art. 189 al. 1 CP) et l'a condamné à une peine privative de liberté de huit mois avec sursis pendant 4 ans et à une amende de 1000. fr., la peine privative de liberté de substitution étant de 10 jours.
Il est reproché à X._ d'avoir, en 2001, dans la cave d'un immeuble dont il était concierge et où habitait M.A.._, contraint celle-ci, née en 1991, à subir des actes de nature sexuelle en profitant de sa force ainsi que de la surprise et de la peur de sa victime. Il l'a serrée très fortement dans ses bras, lui a donné des baisers, l'a embrassée sur la bouche en tentant d'introduire la langue. Il l'a en outre caressée sur les fesses et le sexe par-dessus les vêtements, a introduit ses mains dans le pantalon de l'enfant, puis sous sa culotte, lui caressant les fesses à même la peau. M.A.._ a finalement réussi à repousser son agresseur et à prendre la fuite. Quelques jours plus tard, X._ a croisé M.A.._ alors qu'elle prenait l'ascenseur dans lequel il l'a suivie et, profitant de la supériorité que lui conférait sa force, s'est collé à elle, l'a serrée dans ses bras, lui a donné des baisers sur le visage et lui a caressé les fesses par-dessus ses vêtements. Il a cessé ses agissements lorsque l'ascenseur est parvenu au 6ème étage, destination de la fillette, à laquelle il a enjoint de ne rien dire.
Il est également reproché à X._, de s'être livré, en 2002, dans le hall d'entrée du même immeuble, dans lequel habitait également B._, née le 26 septembre 1985, puis dans l'ascenseur qui montait au 4ème étage, à des actes de nature sexuelle sur cette jeune fille en utilisant la contrainte. Il a profité du désarroi de celle-ci, qui, choquée par son attitude, est restée sans voix et sans réaction. Il l'a embrassée sur le front, a tenté par trois fois de l'embrasser sur la bouche, lui a touché et caressé la poitrine, les fesses et le sexe par-dessus les vêtements et lui a déboutonné sa jupe.
B. Statuant le 19 mai 2008 sur appel du condamné, la Chambre pénale de la Cour de justice genevoise a confirmé ce jugement.
C. X._ forme un recours en matière pénale contre cette dernière décision. Invoquant une violation de l'art. 32 Cst., il conclut à l'annulation de l'arrêt attaqué et à sa libération, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision.
D. Il n'a pas été demandé d'observations.

Considérant en droit:
1. Saisi d'un recours en matière pénale (art. 78 ss LTF), le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
2. Le recourant invoque l'arbitraire dans l'établissement des faits et la violation du principe in dubio pro reo.
2.1 Consacrée par les art. 32 al. 1 Cst. et 6 § 2 CEDH, la présomption d'innocence interdit au juge de prononcer une condamnation alors qu'il éprouve des doutes sur la culpabilité de l'accusé. Des doutes abstraits ou théoriques, qui sont toujours possibles, ne suffisent cependant pas à exclure une condamnation. Pour invoquer utilement la présomption d'innocence, le condamné doit donc démontrer que le juge de la cause pénale, à l'issue d'une appréciation exempte d'arbitraire de l'ensemble des preuves à sa disposition, aurait dû éprouver des doutes sérieux et irréductibles au sujet de sa culpabilité (<ref-ruling> consid. 2 p. 40; <ref-ruling> consid. 2a p. 87 s. et les arrêts cités).
Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de l'appréciation retenue en dernière instance cantonale que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective ou adoptée sans motifs objectifs. Il ne suffit pas que la motivation de la décision soit insoutenable. Il faut en outre que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58).
2.2 Le recourant remet en question la version des faits donnée par les victimes et retenue dans l'arrêt attaqué. Il prétend notamment que la souffrance dans laquelle se trouvait au moment de la dénonciation B._, qui avait fugué, a pu amener celle-ci à porter des accusations excessives et non maîtrisées, transformant en abus sexuel un comportement inadéquat ou étrange, tel que celui qu'il avait eu à l'égard de C._, auquel la cour cantonale fait allusion. Selon lui, il est objectivement invraisemblable qu'il ait eu le comportement décrit par la victime dans un ascenseur entre le premier et le quatrième étage et il est probable que B._ a exagéré, lorsqu'elle a dit notamment qu'il lui a déboutonné sa jupe, ou lorsqu'elle a décrit tout autre acte que des bises sur le front et la joue, actes qu'il admet. Il prétend que cette incohérence aurait dû créer un doute dans l'esprit des juges cantonaux.
S'agissant de M.A._, le recourant conteste que la peur qu'éprouvait celle-ci de descendre à la cave puisse avoir été causée par des abus sexuels subis dans ces locaux. Le recourant considère en revanche comme plausible qu'il ait inspiré une crainte à la fillette en raison de son physique, de sa présence, de son attitude, voire de la rumeur. Il soutient dès lors que la cour cantonale ne pouvait pas fonder sa conviction sur les déclarations de la victime.
Il reproche aux juges cantonaux d'avoir violé la présomption d'innocence en se basant sur le fait qu'il avait eu un comportement inadéquat ou étrange dans d'autres cas pour admettre qu'il était l'auteur tout désigné des faits incriminés. Des investigations plus précises auraient dû être menées pour connaître le contexte personnel, psychologique et familial dans lequel les déclarations des victimes ont été enregistrées, soit la forte présence parentale et la nécessité de justification des crises personnelles des victimes, contexte qu'il reproche aux juges cantonaux d'avoir mésestimé.
2.3 L'autorité cantonale a tenu pour crédibles les propos des victimes en se fondant sur un certain nombre d'éléments ressortant du dossier. Parmi ceux-ci figurent les témoignages de personnes ayant subi un comportement inadéquat ou étrange de la part du recourant. Si ceux-ci ne suffisent de toute évidence pas pour se convaincre que les victimes ont subi des abus sexuels, ils révèlent néanmoins que le recourant a certaines pulsions qu'il ne maîtrise pas et il n'est pas insoutenable d'en tenir compte pour apprécier quelle version, des victimes ou du recourant, est la plus crédible.
Les juges cantonaux ont écarté la théorie du complot ou l'allégation du recourant selon laquelle il aurait été un bouc émissaire, les dires des victimes ne correspondant pas à la réalité et exprimant ce que leurs parents souhaitaient. Pour parvenir à cette conclusion, ils ont tenu compte du fait que les deux victimes, qui selon leurs dires ne se connaissaient pas, habitaient toutes deux l'immeuble dont le recourant était concierge, que les faits reprochés se sont produits à plus d'une année d'intervalle et que la justice pénale a été amenée à s'en saisir non pas directement par les victimes mais suite aux constatations de tiers. En effet, c'est parce que deux inspecteurs de la sûreté ont été alarmés par la souffrance d'une des victimes, qui avait quitté le domicile de ses parents, que la mère de celle-ci a décrit les faits et que la victime a été entendue. C'est aussi parce que ses camarades ont constaté que l'autre victime ne voulait plus se rendre dans la cave de son immeuble que cette dernière a été amenée à se confier à eux puis à sa mère. Les parents d'une des victimes avaient été mis au courant immédiatement après les faits et s'étaient adressés au recourant, mais n'ont pas agi sur le plan pénal. La mère de la seconde victime, bien qu'au courant des faits, n'a alerté la justice que lorsqu'elle a appris que le recourant était accusé d'agissements semblables. Ce dernier comportement est d'autant plus compréhensible qu'elle avait été rendue attentive aux difficultés de preuves dans ce genre d'affaires par un homme de loi qu'elle avait consulté.
De plus, le contenu des accusations des victimes est étayé par les déclarations de témoins, à qui elles se sont confiées. Ainsi, des professionnels ont confirmé que leurs dires ne leur ont pas paru être des affabulations et qu'ils ont pu constater combien elles avaient été affectées par les événements incriminés. Parmi ces témoins figuraient la personne qui a assuré le suivi psychologique d'une des victimes et une éducatrice spécialisée auprès de Viol-secours, le médecin de l'autre victime ainsi que l'inspectrice qui a procédé à son audition. Le recourant, tout en reprochant aux premiers juges d'avoir évalué de manière contestable les souffrances et les difficultés psychologiques des victimes, n'a non seulement jamais requis d'expertise, mais admet expressément qu'il n'est pas nécessaire d'avoir recours à un tel examen. Ainsi, sans solliciter de moyens de preuve complémentaires sur le plan psychologique, le recourant procède à une analyse personnelle qu'il oppose à celle de la cour cantonale, ce qui ne suffit pas à démontrer le caractère arbitraire de cette dernière. Le contexte familial et personnel dans lequel les victimes ont fait leurs déclarations n'a pas été ignoré. L'autorité cantonale n'a notamment pas méconnu le fait que les difficultés psychologiques d'une des victimes pouvaient avoir aussi d'autres causes que les abus subis. Il ne suffit pas, comme le fait le recourant, de prétendre qu'elles ont exclusivement une autre cause pour démontrer l'arbitraire de cette appréciation.
Finalement, on ne voit pas pourquoi il aurait été objectivement impossible au recourant de déboutonner la jupe d'une des victimes dans un ascenseur entre le rez-de-chaussée et le 4ème étage et surtout le recourant ne le démontre pas. Peu importe également que ce geste ne serve à rien, selon le recourant, car il n'aurait de toute façon pas eu le temps de mettre ses parties génitales en contact avec celles de sa victime avant l'arrivée au 4ème étage. L'objectif du recourant, qui nie les faits, n'est pas clairement établi et le fait qu'il s'en soit déjà pris à une autre victime dans un ascenseur montre bien qu'il n'a pas renoncé à agir alors même qu'il savait ne pas pouvoir aller très loin dans son activité délictuelle.
Par conséquent, l'argumentation du recourant ne démontre pas l'arbitraire de l'appréciation de l'autorité cantonale et il n'apparaît pas que celle-ci aurait dû éprouver des doutes sérieux et irréductibles au sujet de la culpabilité du recourant.
Dés lors, le recours ne peut qu'être rejeté dans la mesure où il est recevable.
3. Vu l'issue de la procédure, les frais judiciaires doivent être mis à la charge du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre pénale de la Cour de justice du canton de Genève.
Lausanne, le 8 octobre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay