Faits: A. Par jugement du 25 mai 2007, le Tribunal de police genevois a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 al. 1 CP) et de contraintes sexuelles (art. 189 al. 1 CP) et l'a condamné à une peine privative de liberté de huit mois avec sursis pendant 4 ans et à une amende de 1000. fr., la peine privative de liberté de substitution étant de 10 jours. Il est reproché à X._ d'avoir, en 2001, dans la cave d'un immeuble dont il était concierge et où habitait M.A.._, contraint celle-ci, née en 1991, à subir des actes de nature sexuelle en profitant de sa force ainsi que de la surprise et de la peur de sa victime. Il l'a serrée très fortement dans ses bras, lui a donné des baisers, l'a embrassée sur la bouche en tentant d'introduire la langue. Il l'a en outre caressée sur les fesses et le sexe par-dessus les vêtements, a introduit ses mains dans le pantalon de l'enfant, puis sous sa culotte, lui caressant les fesses à même la peau. M.A.._ a finalement réussi à repousser son agresseur et à prendre la fuite. Quelques jours plus tard, X._ a croisé M.A.._ alors qu'elle prenait l'ascenseur dans lequel il l'a suivie et, profitant de la supériorité que lui conférait sa force, s'est collé à elle, l'a serrée dans ses bras, lui a donné des baisers sur le visage et lui a caressé les fesses par-dessus ses vêtements. Il a cessé ses agissements lorsque l'ascenseur est parvenu au 6ème étage, destination de la fillette, à laquelle il a enjoint de ne rien dire. Il est également reproché à X._, de s'être livré, en 2002, dans le hall d'entrée du même immeuble, dans lequel habitait également B._, née le 26 septembre 1985, puis dans l'ascenseur qui montait au 4ème étage, à des actes de nature sexuelle sur cette jeune fille en utilisant la contrainte. Il a profité du désarroi de celle-ci, qui, choquée par son attitude, est restée sans voix et sans réaction. Il l'a embrassée sur le front, a tenté par trois fois de l'embrasser sur la bouche, lui a touché et caressé la poitrine, les fesses et le sexe par-dessus les vêtements et lui a déboutonné sa jupe. B. Statuant le 19 mai 2008 sur appel du condamné, la Chambre pénale de la Cour de justice genevoise a confirmé ce jugement. C. X._ forme un recours en matière pénale contre cette dernière décision. Invoquant une violation de l'art. 32 Cst., il conclut à l'annulation de l'arrêt attaqué et à sa libération, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision. D. Il n'a pas été demandé d'observations.