Faits: A. A la fin de l'année 1998, X._ a fait la connaissance de A.A._, né le 17 juillet 1984, alors que celui-ci faisait de l'auto-stop avec B._, né le 13 octobre 1981. Cette rencontre s'est transformée en une fréquentation suivie. X._ les a invités à son domicile privé. A.a Au début de l'année 1999, X._ s'est placé sur le canapé de son domicile entre A.A._ et B._. Il a masturbé puis sucé jusqu'à éjaculation le sexe de A.A._ alors âgé de 14 ans et demi, puis, en présence de ce dernier, a masturbé puis sucé le sexe de B._, alors âgé de 17 ans, et s'est lui-même masturbé. A.b Depuis cet événement, X._ a revu régulièrement A.A._ et a commis des actes sexuels avec et sur lui jusqu'à ce qu'il acquière sa majorité sexuelle le 17 juillet 2000. Il s'est fait sodomiser à quelques reprises par le jeune homme, s'est fait masturber par celui-ci et lui a sucé le sexe à réitérées reprises. B. En 1999, pendant la période scolaire 1998-1999, X._ a accueilli à son domicile C._, né le 23 octobre 1983, et D._, né le 29 septembre 1983. Alors que les jeunes gens étaient avinés, X._ a profité de l'état de D._ pour lui faire un massage. Il lui a massé le dos, puis le ventre. Il a ensuite glissé sa main dans le pantalon et lui a effleuré le sexe. C. X._ n'a pas contesté avoir eu des rapports sexuels avec A.A._ dont il a admis qu'il avait fait la connaissance en 1998 en le prenant en stop et qu'il a décrit comme étant « sexuellement ouvert ». Il a fait valoir que les jeunes gens venaient chez lui et qu'il ne leur demandait pas leur âge. S'agissant de C._ et de D._, il a déclaré: « il ne me semble pas qu'ils avaient affirmé avoir 15 ans ». D. Par arrêt du 8 octobre 2008, la Cour correctionnelle sans jury a condamné X._, pour actes d'ordre sexuel avec des enfants, à quinze mois d'emprisonnement avec sursis pendant trois ans. Par arrêt du 6 mars 2009, la Cour de cassation du canton de Genève a rejeté le pourvoi du condamné. E. X._ dépose un recours en matière pénale. Invoquant pour l'essentiel l'arbitraire et une violation de l'art. 187 CP, il conclut principalement à son acquittement et à sa libération des fins de la poursuite pénale. La Cour de cassation et l'intimé, D._, n'ont pas déposé d'observations. Le Procureur général a conclu au rejet du recours.