Faits:
A. A la fin de l'année 1998, X._ a fait la connaissance de A.A._, né le 17 juillet 1984, alors que celui-ci faisait de l'auto-stop avec B._, né le 13 octobre 1981. Cette rencontre s'est transformée en une fréquentation suivie. X._ les a invités à son domicile privé.
A.a Au début de l'année 1999, X._ s'est placé sur le canapé de son domicile entre A.A._ et B._. Il a masturbé puis sucé jusqu'à éjaculation le sexe de A.A._ alors âgé de 14 ans et demi, puis, en présence de ce dernier, a masturbé puis sucé le sexe de B._, alors âgé de 17 ans, et s'est lui-même masturbé.
A.b Depuis cet événement, X._ a revu régulièrement A.A._ et a commis des actes sexuels avec et sur lui jusqu'à ce qu'il acquière sa majorité sexuelle le 17 juillet 2000. Il s'est fait sodomiser à quelques reprises par le jeune homme, s'est fait masturber par celui-ci et lui a sucé le sexe à réitérées reprises.
B. En 1999, pendant la période scolaire 1998-1999, X._ a accueilli à son domicile C._, né le 23 octobre 1983, et D._, né le 29 septembre 1983. Alors que les jeunes gens étaient avinés, X._ a profité de l'état de D._ pour lui faire un massage. Il lui a massé le dos, puis le ventre. Il a ensuite glissé sa main dans le pantalon et lui a effleuré le sexe.
C. X._ n'a pas contesté avoir eu des rapports sexuels avec A.A._ dont il a admis qu'il avait fait la connaissance en 1998 en le prenant en stop et qu'il a décrit comme étant « sexuellement ouvert ». Il a fait valoir que les jeunes gens venaient chez lui et qu'il ne leur demandait pas leur âge. S'agissant de C._ et de D._, il a déclaré: « il ne me semble pas qu'ils avaient affirmé avoir 15 ans ».
D. Par arrêt du 8 octobre 2008, la Cour correctionnelle sans jury a condamné X._, pour actes d'ordre sexuel avec des enfants, à quinze mois d'emprisonnement avec sursis pendant trois ans.
Par arrêt du 6 mars 2009, la Cour de cassation du canton de Genève a rejeté le pourvoi du condamné.
E. X._ dépose un recours en matière pénale. Invoquant pour l'essentiel l'arbitraire et une violation de l'art. 187 CP, il conclut principalement à son acquittement et à sa libération des fins de la poursuite pénale.
La Cour de cassation et l'intimé, D._, n'ont pas déposé d'observations. Le Procureur général a conclu au rejet du recours.

Considérant en droit:
1. Le recourant conteste s'être rendu coupable d'actes d'ordre sexuel à l'encontre de D._ (cf. supra consid. B).
1.1 Se plaignant d'arbitraire et d'une violation de la présomption d'innocence, le recourant conteste l'intention délictueuse ainsi que la date à laquelle se seraient déroulés les faits incriminés.
1.1.1 Dans la mesure où, comme en l'espèce, l'appréciation des preuves est critiquée en référence avec le principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 2a p. 41).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou encore si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle se révèle arbitraire dans son résultat (<ref-ruling> consid. 3.1 p. 153; <ref-ruling> consid. 5.1 p. 17; <ref-ruling> consid. 2 p. 61).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant; l'appréciation des preuves doit être examinée dans son ensemble; il n'y a pas arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices; de même, il n'y a pas arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs soient fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction.
Lorsque le recours est dirigé, comme ici, contre une décision de l'autorité cantonale de dernière instance dont la cognition était limitée à l'abus du pouvoir d'appréciation, soit à l'arbitraire (cf. arrêt attaqué consid. 2.1 p. 8 s.), l'examen du Tribunal fédéral porte concrètement sur l'arbitraire du jugement de l'autorité inférieure, à la lumière des griefs soulevés dans l'acte de recours. Pour satisfaire cependant aux exigences de motivation de l'art. 106 al. 2 LTF, le recourant doit, matériellement, remettre en cause le jugement de première instance et, puisque seule la décision de l'autorité de dernière instance peut être attaquée, il doit également démontrer pourquoi celle-ci a refusé à tort de qualifier d'arbitraire le jugement de l'autorité inférieure. Il ne peut pas simplement reprendre les critiques qu'il avait formulées en instance cantonale, mais il doit s'en prendre également à la motivation de la décision de l'autorité supérieure (<ref-ruling> consid. 1a/cc et 1b p. 493 ss; ATF 5D_83/2008 du 24 octobre 2008 consid. 2).
1.1.2 Le recourant conteste la réalisation de l'aspect subjectif de l'infraction. Il nie que le massage prodigué à D._ ait comporté une connotation sexuelle et soutient que son geste participait du hasard.
Déterminer ce qu'une personne a su, envisagé, voulu ou accepté, de même que la détermination de son dessein ou de ses mobiles, relève des constatations de faits, qui lient la Cour de droit pénal, à moins que ceux-ci n'aient été établis de façon manifestement inexacte. C'est en revanche une question de droit que de savoir si l'autorité inférieure s'est fondée sur une juste conception de la notion d'intention et si, sur la base des faits qu'elle a retenus, elle a correctement appliqué cette notion (<ref-ruling> consid. 5a p. 2 s.).
Selon les constatations cantonales, le recourant a déclaré au juge d'instruction qu'il effectuait des massages, qu'il aimait bien faire cela et que l'épisode relatif à D._ était plausible. Il lui a massé le dos, puis le ventre. Il a ensuite glissé sa main dans le pantalon et lui a effleuré le sexe. Dans ces conditions et au vu du déroulement du massage, la victime ayant notamment conservé son pantalon sur elle, la Cour de cassation pouvait, sans arbitraire, admettre que le geste incriminé ne participait pas du hasard et était donc intentionnel. Le grief doit par conséquent être rejeté.
1.1.3 Le recourant affirme que les éléments retenus ne permettent pas de conclure que les faits incriminés se seraient déroulés avant les 16 ans de D._, fêtés le 29 septembre 1999.
Selon l'arrêt attaqué, le jeune homme n'a fréquenté le recourant que pendant un ou deux mois. Il n'est certes pas certain que D._ ait participé à une sortie à ski avec le recourant en janvier 1999 comme l'a mentionné la Cour correctionnelle. Il s'est en revanche rendu à Zurich avec lui et d'autres protagonistes. Ce voyage a été fait avec le véhicule de marque Fiat, soit nécessairement avant le changement de voiture qui est intervenu début 2000. Enfin, D._ a fait la connaissance du recourant au travers de C._ qui lui-même a rencontré l'intéressé en automne 1998. Au regard de ces éléments, la Cour de cassation a conclu que les premiers juges n'avaient pas commis d'arbitraire en retenant que le jeune homme avait moins de 16 ans au moment des faits (cf. arrêt p. 14).
Cette appréciation ne saurait être suivie. En effet, la sortie à ski datant du mois de janvier 1999 ne peut être retenue comme élément pertinent, la participation du jeune homme à cette activité n'étant pas certaine. S'agissant de la promenade à Zurich, effectuée avant le début de l'année 2000, sa date n'est pas précisément établie, de sorte qu'elle a pu se dérouler tant avant qu'après le 29 septembre 1999, date à laquelle la victime a atteint sa majorité sexuelle. Enfin, la Cour de cassation se trompe en affirmant - par référence à la page 13 du jugement de première instance - que C._ a rencontré le recourant en automne 1998. En effet, la Cour correctionnelle date la première rencontre du recourant avec B._ et A.A._ à l'automne 1998 au plus tard, par référence à la scolarité des prénommés ainsi que de celle de C._ (cf. jugement p. 13). Elle constate également qu'à une époque qu'il situe quelques semaines après la rencontre initiale de A.A._ et le recourant, C._ dit avoir rencontré son ami accompagné du recourant à une date, correspondant à la belle saison, où il est sûr qu'il était au cycle, voire plus précisément en 9ème année, qu'il a effectuée en 1998-1999 (cf. jugement p. 12). Ce faisant, l'autorité de première instance n'a pas déterminé dans le temps la rencontre entre C._ et D._, d'une part, et le recourant, d'autre part. Ainsi, les éléments retenus sont insuffisants pour conclure que le massage prodigué à D._ se serait bel et bien déroulé avant la majorité sexuelle de celui-ci. Le recours doit donc être admis sur ce point, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau sur cette question, après avoir procédé à une nouvelle appréciation des preuves à sa disposition.
1.2 Se plaignant d'une violation de l'art. 187 CP, le recourant soutient que l'effleurement du sexe au cours du massage effectué sur D._ ne constitue pas un acte d'ordre sexuel compte tenu, d'une part, de l'âge de la victime et, d'autre part, du contexte.
Cette question peut en l'état rester ouverte au vu de l'admission du grief d'arbitraire sur la date à laquelle les faits commis à l'encontre de D._ se seraient déroulés (cf. supra consid. 1.1.2).
2. Invoquant une violation de son droit d'être entendu, l'arbitraire et la violation de la présomption d'innocence, le recourant nie s'être rendu coupable d'actes d'ordre sexuel à l'encontre de A.A._ (cf. supra consid. A). Il conteste la crédibilité de la victime (cf. infra consid. 3), les éléments corroborant la version de cette dernière (cf. infra consid. 4), l'ignorance de certains éléments à décharge (cf. infra consid. 5) et la période à laquelle se seraient déroulés les faits litigieux (cf. infra consid. 6). En réalité, les divers griefs invoqués, sans motivation distincte, par le recourant se confondent et équivalent à se plaindre d'arbitraire dans l'appréciation des preuves.
3. Le recourant conteste la crédibilité de A.A._.
3.1 Les autorités cantonales ont admis que celui-ci était crédible en se basant sur plusieurs éléments. D'une part, ce dernier avait réitéré ses déclarations initiales. D'autre part, le prénommé, pourtant fragile psychologiquement, n'avait pas été déstabilisé par la qualité de l'accusé et avait maintenu ses accusations tout en exprimant la souffrance qui l'animait. De plus, il avait fourni des détails dont la véracité avait été établie par l'enquête de police. Or, ces détails, même s'ils n'étaient pas tous pénalement relevants, à l'instar des dispositions de l'appartement du recourant, tendaient à confirmer la réalité du récit de la victime.
Les autorités genevoises n'ont pas ignoré le mal-être de la victime, ni les omissions, mensonges et imprécisions ressortant de la procédure. Elles ont toutefois jugé que ces éléments n'étaient que le reflet d'un individu immature et fragile psychiquement et que ces faiblesses n'ébranlaient pas leur conviction selon laquelle A.A._ n'avait pas menti lorsqu'il avait proféré les accusations d'abus à l'encontre du recourant; en outre, cette conviction avait été renforcée par la déposition de l'inspecteur qui avait procédé à l'audition du plaignant.
Les autorités n'ont pas non plus perdu de vue les circonstances qui avaient entouré le dépôt puis le retrait de la plainte de A.A._. Elles ont en effet évoqué la tentative de revendiquer de l'argent au recourant et admis que le caractère moralement discutable de ce comportement n'avait pas eu pour effet d'annuler leur conviction légitime qui résultait de multiples indices.
3.2 Le recourant estime que les déclarations du jeune homme ont varié et que celles-ci sont à ce point vagues et vides de détails et de précisions qu'il est insoutenable d'y voir un indice de leur crédibilité.
Le fait que A.A._ ait parlé initialement de masturbation et de fellation, puis, en cours d'instruction, de caresses uniquement, sans plus en préciser la nature, ne permet pas de conclure à une contradiction dans les affirmations de la victime. Par ailleurs, les actes commis ont été décrits de manière suffisamment explicite. La critique est donc vaine.
3.3 Le recourant nie qu'un lien de causalité puisse être établi entre le mal-être du lésé et les faits qui lui sont reprochés.
La Cour correctionnelle a constaté que les accusations de la victime s'accompagnaient d'un mal-être perceptible par tous les proches et que celle-ci avait été durablement affectée par les actes commis. Elle a reconnu qu'il était toujours difficile de faire la part des choses en déterminant les maux résultant directement des abus subis, mais qu'en tout état de cause, ceux-ci n'avaient pas participé à l'amélioration de la fragilité psychique de A.A._ (cf. jugement p. 14 et 24). La Cour de cassation a relevé que la victime avait maintenu ses accusations tout en exprimant la souffrance qui l'animait, que le traumatisme subi en raison des abus commis était réel, que les déclarations des parents de A.A._ lors de l'audience de jugement l'attestaient, que le fait que la victime soit par hypothèse affectée de troubles psychologiques la rendait encore plus vulnérable et que cette fragilité était objectivement susceptible d'aggraver les effets des abus sexuels commis (cf. arrêt p. 17).
Dans son argumentation, le recourant relève qu'aucun élément ne permet d'établir un lien de causalité entre le mal-être de la victime et les abus qui lui sont reprochés et avance toute une série de facteurs susceptibles d'avoir pu traumatiser le jeune homme. Ce faisant, il se contente toutefois d'opposer sa propre appréciation des preuves à celle des juges cantonaux, ce qui ne suffit pas pour démontrer l'arbitraire. Au demeurant, les autorités cantonales n'ont pas perdu de vue que les abus sexuels n'étaient peut-être pas la seule cause de l'état de la victime. Par ailleurs, au regard des déclarations des proches, et plus particulièrement des parents de l'adolescent, et des conséquences logiques d'abus commis sur un jeune homme fragile, en manque de repères et de confiance, elles pouvaient, sans arbitraire, retenir un lien de causalité entre les abus commis et le mal-être constaté chez A.A._, cet état constituant du reste un indice attestant de la crédibilité de la victime. Le grief est donc vain.
3.4 Le recourant soutient que les détails révélés par la victime ne portent pas sur les circonstances des actes qui lui sont reprochés, de sorte qu'ils ne sauraient constituer un indice à charge.
Les autorités cantonales ont constaté que A.A._ avait fourni des détails dont la véracité avait été confirmée par d'autres participants ou l'enquête de police. Il en était ainsi des circonstances de la rencontre initiale, du laissez-faire dans l'appartement, de l'absence du nom de l'accusé sur la boîte aux lettres et la porte palière de l'appartement, de la remise fréquente de sommes d'argent, de la mise à disposition de l'appartement, de la visite à l'étude pour extorquer de l'argent, du port de vêtements féminins et d'une perruque ainsi que des détails de rangements d'effets vestimentaires ou d'agencement de l'appartement (cf. jugement p. 15).
Certes, les détails précités ne sont pas forcément pénalement relevants. Ils tendent toutefois à confirmer la réalité du récit de A.A._. C'est donc sans arbitraire que les juges genevois en ont fait état. Dans ces conditions, la critique est infondée.
3.5 Le recourant reproche aux autorités cantonales de ne pas avoir tenu compte des omissions, imprécisions et mensonges de la victime.
Les premiers juges n'ont pas ignoré les omissions, imprécisions ou mensonges ressortant de la procédure (vol des clés de la voiture, histoire avec la voisine, logement dans un foyer, remboursement à La Bâloise). Ils ont cependant admis qu'il s'agissait d'éléments non significatifs qui étaient le fait d'un individu encore immature, de surcroît en proie à une crise de confiance majeure et à une fragilité psychique avérée (cf. jugement p. 16; arrêt p. 10 s.).
Dans son argumentation, le recourant se contente de relever toute une série de contradictions dans diverses déclarations de la victime. Il ne démontre toutefois pas en quoi celles-ci seraient significatives ou susceptibles de modifier l'appréciation précitée, de sorte que sa critique, insuffisamment motivée au regard des exigences posées par l'art. 106 al. 2 LTF, est irrecevable.
4. Le recourant conteste les indices retenus pour corroborer les déclarations de A.A._. Il estime que les aveux du jeune homme ainsi que le témoignage de E._ et des autres protagonistes ne sauraient constituer des indices à charge.
4.1 La Cour de cassation a admis la crédibilité de A.A._ non seulement en se basant sur les déclarations de celui-ci, mais également en se fondant sur les éléments extérieurs suivants. Premièrement, les déclarations initiales de la victime ont été confirmées par les allégations d'autres protagonistes, qui, après avoir nié, ont finalement admis le caractère sexuel des activités qui étaient proposées aux jeunes par le recourant. Deuxièmement, la conviction selon laquelle A.A._ n'avait pas menti était aussi renforcée par la déposition de l'inspecteur qui avait procédé à son audition. Troisièmement, le recourant a reconnu avoir eu des contacts sexuels avec A.A._ dont il a admis qu'il avait fait la connaissance en 1998. De plus, il a déclaré, à l'instruction, ne jamais avoir caché son homosexualité, ni que, si les jeunes qu'il avait rencontrés le souhaitaient, il était prêt à entretenir des relations sexuelles avec eux. Il a également précisé que lorsqu'il avait connu ces jeunes, il savait qu'ils allaient à l'école, à savoir qu'ils étaient au cycle d'orientation. A l'audience, il a ajouté qu'il ne demandait pas leur âge aux jeunes qui venaient chez lui. Quatrièmement, divers témoignages confirmaient l'existence d'un rapport sexuel entre la victime et le recourant; ainsi, E._ n'avait eu de cesse d'affirmer, tant à la police qu'au juge d'instruction, le caractère sexuel de la relation que A.A._, alors âgé de 14 ans, entretenait avec le recourant; il avait confirmé ce fait lors de l'audience de jugement; F._ avait également déclaré, tant à l'instruction que lors des débats, « s'être douté de quelque chose » s'agissant des relations entre la victime et le recourant; C._ avait confirmé qu'il fréquentait le cycle d'orientation au moment où il avait rencontré le recourant qui lui avait proposé 100 fr. pour le masturber ou se laisser faire une fellation; il avait précisé avoir connu le recourant par l'intermédiaire de A.A._ dont il se doutait qu'il entretenait des relations sexuelles avec l'accusé; enfin, B.A._ avait lui aussi confirmé la réalité des rapports sexuels entre son frère et l'intéressé (cf. arrêt p. 10 ss; jugement p. 14 ss).
La Cour correctionnelle a également considéré que les affirmations de A.A._ proclamant qu'il n'avait pas menti étaient confortées par le jugement porté par sa mère et son ami B._, pourtant peu porté à la flatterie (cf. jugement p. 16).
4.2 Le recourant procède à sa propre appréciation de ses déclarations ainsi que de celles de E._, F._, C._, B.A._ et autres proches de la victime. Sa motivation ne va toutefois pas au-delà d'une plaidoirie appellatoire. On y cherche en vain une démonstration, conforme aux exigences de l'art. 106 al. 2 LTF, d'une appréciation absolument inadmissible des preuves par les juges cantonaux. Le recourant perd manifestement de vue la notion d'arbitraire, telle que définie ci-dessus (cf. supra consid. 1.1.1), ainsi que le fait que le Tribunal fédéral n'est pas une juridiction d'appel, l'arbitraire prétendu d'une décision devant être démontré de manière substantiée, sous peine d'irrecevabilité. La simple rediscussion de l'appréciation des preuves à laquelle il se livre ne suffit pas à faire admettre l'arbitraire qu'il allègue. Le grief est par conséquent irrecevable.
5. Le recourant reproche aux autorités cantonales d'avoir ignoré et mal apprécié les indices à décharge, à savoir le témoignage de Me G._ (cf. infra consid. 5.1), celui de B._ (cf. infra consid. 5.2), les motivations, les circonstances et la genèse du dépôt de la plainte de A.A._ (cf. infra consid. 5.3) ainsi que l'état mental de celui-ci (cf. infra consid. 5.4).
5.1 Le recourant reproche aux autorités cantonales d'avoir mal apprécié le témoignage de Me G._ et de l'avoir écarté comme indice à décharge.
Certes, selon les pièces du dossier (cf. pièces n° 186 et 187), Me G._, auditionné par le juge d'instruction le 4 octobre 2005, a confirmé que l'intéressé avait entendu le jeune homme, présent à l'étude, prononcer le mot « mensonge », celui-ci ayant trait, selon le témoin, à des relations sexuelles interdites. Me G._ a clairement compris que le mensonge de A.A._ à la police portait sur l'âge ou la période où il y aurait eu des relations sexuelles entre lui et le recourant. Reste qu'il a également précisé que le jeune homme était assez confus et qu'il avait des craintes. En outre, le recourant a lui-même déclaré, au cours de l'instruction, ne pas avoir compris à quoi se référait le mot « mensonge » (cf. pièce n° 142). Dans ces circonstances et au regard des autres éléments retenus à charge (cf. supra consid. 3 et 4), les autorités cantonales pouvaient, sans arbitraire, dénier une portée déterminante au témoignage de Me G._. Le grief est donc vain.
5.2 Le recourant reproche aux précédents juges d'avoir écarté le témoignage de B._.
La Cour criminelle a observé que les abus dénoncés avaient commencé par être niés par les autres participants avant d'être finalement admis, soulignant néanmoins que B._ était resté sur ses dénégations. A ce sujet, elle a toutefois fait siennes les explications fournies par A.A._ quant à la volonté de l'intéressé de rester à l'écart de cette affaire du fait notamment qu'il continuait à fréquenter l'accusé qu'il désignait comme son ami (cf. jugement p. 15). Cette appréciation n'est pas arbitraire. La critique est donc infondée.
5.3 Le recourant reproche aux premiers juges d'avoir ignoré la genèse et les circonstances du dépôt de la plainte pénale, alors que celles-ci ne permettent pas d'exclure que le plaignant ait agi sous influence.
Les autorités cantonales n'ont nullement ignoré les circonstances qui avaient entouré le dépôt puis le retrait de la plainte déposée par A.A._. En effet, la Cour correctionnelle a précisé qu'au vu des indices à charge, la plainte ne pouvait être interprétée comme un moyen de se venger après l'épisode de l'accident avec la voiture du recourant, même si l'aspect financier pouvait ne pas être étranger à la démarche de A.A._; de la même manière, le retrait de la plainte opéré début 2004 ne pesait pas d'un poids significatif, sinon qu'il fallait le comprendre comme un autre moyen de revendiquer de l'argent au recourant, ce qui était certes moralement indigne, sans toutefois être de nature à modifier la conviction des juges. Cette appréciation n'est pas arbitraire au vu de l'ensemble des éléments fondant la culpabilité de l'intéressé (cf. supra consid. 3 et 4). La critique est par conséquent rejetée.
5.4 Le recourant fait grief aux premiers juges d'avoir mis les nouvelles déclarations de A.A._ faites aux débats et relatives à des viols sur le compte de sa médication tout en attachant foi à celles faites à l'instruction, sans avoir établi si au cours de celle-ci le jeune homme ne souffrait pas déjà des mêmes troubles, ni ne prenait les mêmes médicaments.
La Cour correctionnelle a relevé que A.A._ était resté constant dans ses accusations initiales qui s'accompagnaient par ailleurs d'un mal-être perceptible par tous les proches. Elle a toutefois admis qu'en audience, il était patent que le jeune homme était sous médication, ce qui revenait à relativiser la portée de ses nouvelles révélations (cf. jugement p. 14). Les juges ont fondé leur conviction quant à la réalité des abus sexuels non seulement sur les déclarations initiales et répétées de la victime, mais sur plusieurs autres éléments extérieurs au sujet desquels aucun arbitraire n'a été démontré (cf. supra consid. 4). La critique tombe donc à faux.
6. Le recourant conteste la date retenue pour les premiers contacts (cf. infra consid. 6.1), puis la période durant laquelle se seraient déroulés les actes commis à l'encontre de A.A._ (cf. infra consid. 6.2).
6.1 S'agissant de la date retenue pour les premiers actes d'ordre sexuel, l'autorité de première instance a fixé la rencontre du recourant avec B._ et A.A._ à l'automne 1998 au plus tard (cf. jugement p. 13). En se référant aux déclarations de ce dernier, elle a tout d'abord retenu que les premiers actes tels que décrits au consid. A.a et commis à l'encontre du plaignant s'étaient produits début 1999, alors que le jeune homme n'avait pas encore 16 ans (cf. jugement p. 18; pièces n° 3 et 40). Se référant toujours aux affirmations de la victime, elle a ensuite considéré que les actes décrits ci-dessus sous le consid. A.b s'étaient déroulés dans le courant 1999, soit environ une année après leur rencontre ce qui faisait que A.A._, né le 17 juillet 1984, n'était pas encore âgé de 16 ans (cf. jugement p. 18; pièces n° 3, 6. 40).
Ce faisant, les premiers juges ont bien tenu compte, contrairement à ce que semble penser le recourant, des déclarations de la victime et ont daté les actes commis à l'encontre de celle-ci, pour les premiers au début de l'année et les autres durant l'année 1999. Par ailleurs, on ne discerne aucune contradiction entre les dates ainsi retenues et les déclarations faites par A.A._. La critique est donc infondée.
6.2 S'agissant de la période durant laquelle les actes commis à l'encontre de A.A._ se seraient déroulés, la Cour correctionnelle a jugé que le prénommé les avait situés dans le courant de l'année 1999, alors que celui-ci n'avait pas encore 16 ans (cf. jugement p. 18). Les juges genevois ont retenu que les actes d'ordre sexuel s'étaient ensuite déroulés jusqu'à la majorité sexuelle de la victime, acquise le 17 juillet 2000 (cf. arrêt p. 2).
Certes, conformément aux allégations de l'intéressé, les autorités n'ont pas motivé de manière particulière leur conviction selon laquelle les actes auraient perduré jusqu'à la majorité sexuelle de A.A._. Reste qu'elles n'ont pas commis d'arbitraire dès lors qu'elles n'ont jamais précisément quantifié le nombre de rapports sexuels entretenus et que, sur la base des déclarations de la victime, il ne fait aucun doute que ceux-ci se sont en tout cas bel et bien déroulés durant l'année 1999 et ce, durant plusieurs mois. Le grief est donc vain.
7. Se plaignant d'arbitraire, le recourant reproche à la Cour de cassation d'avoir outrepassé ses pouvoirs en procédant à sa propre appréciation des preuves et en retenant des faits ignorés par la Cour correctionnelle. Ainsi, l'autorité de recours aurait notamment retenu, à tort et contrairement aux juges de première instance, que l'intéressé avait reconnu les contacts sexuels avec A.A._, qu'il avait décrit ce dernier comme étant « sexuellement ouvert », qu'il avait affirmé que les jeunes gens venaient chez lui et qu'il ne leur demandait pas leur âge.
Savoir quel est le pouvoir de cognition d'une autorité de recours et dans quelle mesure celle-ci est autorisée à réexaminer les faits de la cause et si elle a outrepassé ses prérogatives est une question qui relève de l'application du droit cantonal de procédure. Or, dans le cas particulier, le recourant n'invoque aucune violation d'une norme contenue dans le CPP/GE, de sorte que sa critique, insuffisamment motivée au regard des exigences posées par l'art. 106 al. 2 LTF, doit être déclarée irrecevable.
8. Faisant valoir une violation de son droit d'être entendu au sens des art. 29 al. 2, 32 ch. 2 Cst. et 328 CPP/GE, le recourant se plaint du défaut de l'enregistrement des débats.
8.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique le droit pour les parties à une procédure pénale d'obtenir que les déclarations de parties, témoins ou experts, qui sont importantes pour l'issue du litige, soient consignées dans un procès-verbal. Ce droit vise à leur permettre de participer à l'administration des preuves et, surtout, de se déterminer sur leur résultat. Il tend également à permettre à l'autorité de recours d'exercer son contrôle (<ref-ruling> consid. 2a/aa p. 16 s.). Le droit d'être entendu est respecté si la partie qui le souhaite a la possibilité de requérir en tout temps, par voie incidente, la retranscription de déclarations importantes et de recourir contre un éventuel refus (<ref-ruling> consid. 2b/aa et bb non publiés).
Aux termes de l'art. 328 CPP/GE, les débats sont enregistrés (al. 1). L'enregistrement est versé à la procédure et accessible aux parties en cas de recours (al. 2). Il n'est pas accessible au jury pendant les délibérations (al. 3). Un enregistrement défaillant pour des raisons techniques n'affecte pas la validité des débats (al. 4). Cette absence de nullité est compensée par l'existence du procès-verbal d'audience, que les parties ont la faculté de faire compléter si elles l'estiment nécessaire (art. 290 al. 2 CPP/GE; G. Rey, Procédure pénale genevoise, 2005, ad art. 328 n° 3.1 p. 355).
En matière d'application du droit cantonal, l'arbitraire et la violation de la loi ne sauraient être confondus; une violation de la loi doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (ATF <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5).
8.2 Le droit constitutionnel ne prévoit pas l'obligation d'enregistrer les débats et le recourant ne prétend pas que l'autorité de première instance aurait refusé la retranscription des déclarations au procès-verbal. On ne discerne donc aucune violation de l'art. 29 al. 2 Cst.
8.3 Il résulte des renseignements versés à la procédure par le Parquet que, lors de l'audience de la Cour correctionnelle, l'huissier a vérifié, avant l'ouverture des débats, que le matériel audio était en fonction. Cette personne a également mis en fonction l'enregistrement par l'intermédiaire du boîtier de commande lors de l'ouverture et de la reprise des débats. La Cour de cassation a déduit de ces éléments que l'absence d'enregistrement était exclusivement imputable à un problème technique, qui ne pouvait constituer un motif de recours.
Le recourant affirme qu'on ne peut déduire de la seule lettre de l'huissier que la défaillance n'est imputable qu'à un problème technique, une défaillance humaine n'étant pas exclue. Il se contente ainsi d'avancer sa propre version des faits et appréciation des preuves. Or, une telle motivation, purement appellatoire, ne permet pas de démontrer l'arbitraire dans l'appréciation précitée et, partant, dans l'application du droit cantonal. Le grief est donc vain.
9. Invoquant une violation de son droit d'être entendu, le recourant reproche aux autorités cantonales d'avoir refusé la production des renseignements de police et d'extraits du casier judiciaire des frères A._, alors que ces éléments seraient pertinents pour apprécier la crédibilité de leur témoignage.
9.1 Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. confère à toute personne le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, d'offrir des preuves quant aux faits de nature à influer sur la décision, de participer à l'administration des preuves et de se déterminer à leur propos (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56). Cette garantie inclut le droit à l'administration des preuves valablement offertes, à moins que le fait à prouver ne soit dépourvu de pertinence ou que la preuve apparaisse manifestement inapte à la révélation de la vérité. Par ailleurs, le juge est autorisé à effectuer une appréciation anticipée des preuves déjà disponibles et, s'il peut admettre de façon exempte d'arbitraire qu'une preuve supplémentaire offerte par une partie serait impropre à ébranler sa conviction, refuser d'administrer cette preuve (<ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2.1 p. 428).
9.2 La Cour de cassation a jugé que les premiers juges pouvaient sans arbitraire écarter la demande du recourant pour les motifs suivants. D'une part, ils avaient pu se forger une intime conviction au sujet des dires de A.A._ sur la base des éléments du dossier, comme les déclarations concordantes des divers protagonistes de cette affaire. D'autre part, les renseignements sollicités étaient sans rapport avec la présente cause et irrelevants pour juger de la culpabilité de l'intéressé (cf. arrêt p. 15).
Dans son argumentation, le recourant soutient que les éléments requis sont déterminants pour juger de la crédibilité de A.A._ compte tenu notamment de ses mensonges, omissions, imprécisions, de l'absence de détails dans la description des faits à caractère pénal, de l'aspect financier de la démarche du prénommé et des circonstances du dépôt de sa plainte. Cette argumentation est irrecevable car purement appellatoire, l'intéressé se contentant d'opposer son appréciation des preuves à celle des autorités cantonales pour nier toute crédibilité de la victime. Par ailleurs au regard des éléments exposés dans l'arrêt entrepris, au sujet desquels aucun arbitraire n'a été démontré (cf. supra consid. 3 et 4), l'autorité cantonale pouvait, sans violer les droits constitutionnels du recourant, rejeter les moyens requis, ceux-ci étant manifestement impropres à ébranler sa conviction quant à la crédibilité des déclarations de A.A._ relatives aux abus commis. Le grief est donc infondé.
10. Invoquant une violation de l'art. 63 aCP, le recourant se plaint de la quotité de la peine infligée.
Ce grief devient sans objet, dès lors que le recours est partiellement admis sur la question de la fixation dans le temps des faits commis à l'encontre de D._ (cf. supra consid. 1.1.3).
11. Sur le vu de ce qui précède, le recours est partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à la Cour cantonale pour qu'elle se prononce à nouveau dans le sens des considérants. Pour le surplus, le recours est rejeté dans la mesure de sa recevabilité. Le recourant, qui n'obtient que très partiellement gain de cause, devra supporter une partie des frais (art. 66 al. 1 LTF) et le canton de Genève lui versera une indemnité de dépens réduite (art. 68 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2. Une part des frais judiciaires, arrêtée à 3'000 fr., est mise à la charge du recourant.
3. Le canton de Genève versera au recourant une indemnité de 1'000 fr. pour ses dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation du canton de Genève.
Lausanne, le 13 novembre 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Bendani