Faits: A. X._ a été renvoyé devant la Cour correctionnelle sans jury du canton de Genève. Il était accusé d'avoir fait subir, à plusieurs reprises entre 1994 et 1999, à sa fille A._, née en octobre 1990, des attouchements sur le sexe avec la main, alors qu'elle était éveillée ou pendant qu'elle dormait. Représentée par un curateur, cette dernière a participé à la procédure en qualité de partie civile. Après une longue instruction, la Cour correctionnelle a acquitté X._ par jugement du 2 juillet 2004. Ce verdict repose sur une motivation détaillée faisant état d'un large faisceau d'indices en faveur de la réalité des abus sexuels allégués par A._. Toutefois, la Cour correctionnelle a estimé que le doute subsistait du fait que l'expert en crédibilité n'avait pas donné de "réponse suffisante à la question de savoir si l'effondrement de A._, au cours des entretiens avec l'expert, ne pourrait pas avoir été provoqué par la nécessité ou la pression, pour la jeune fille, de prouver que ses accusations étaient fondées", qu'en effet, les relations entre A._ et sa mère étaient "extrêmement fusionnelles" et que l'identification de A._ à sa mère se traduisait de manière significative dans des messages qu'elle avait écrits à son père et que l'évolution des déclarations de A._ en cours de procédure ne permettait pas d'exclure que la procédure judiciaire ait provoqué une pression supplémentaire sur A._. B. Le 25 février 2005, la Cour de cassation du canton de Genève déclara irrecevables les pourvois des deux parties civiles, celui de la mère de A._ faute de légitimation active et celui de A._ faute pour son curateur d'avoir pris des conclusions chiffrées. C. Statuant le 3 juin 2005, la Cour de cassation pénale du Tribunal fédéral annula la décision cantonale s'agissant de A._, la cause étant retournée à l'autorité cantonale pour qu'elle tranche le point de savoir si A._ avait valablement ou non présenté des conclusions civiles devant la Cour correctionnelle. Une réponse positive fut apportée à cette question par la Cour de cassation cantonale le 24 mars 2006. D. Le 28 juin 2006, la Cour de cassation cantonale annula le jugement rendu par la Cour correctionnelle sans jury le 2 juillet 2004, retenant que la Cour correctionnelle ne disposait pas de motifs suffisants pour s'écarter des conclusions de l'expertise de crédibilité. E. Par arrêt du 4 avril 2007, la Cour correctionnelle sans jury a reconnu X._ coupable d'actes d'ordre sexuel avec un enfant, de contrainte sexuelle, d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a acquitté de la prévention de violation de ses devoirs d'assistance et d'éducation, l'a condamné à deux ans de peine privative de liberté avec sursis pendant 3 ans et à payer à A._ la somme de 30'000 fr. à titre d'indemnité pour tort moral. F. Le 16 janvier 2008, la Cour de cassation cantonale a rejeté le pourvoi de X._. G. X._ forme un recours en matière pénale contre ce dernier arrêt, ainsi que contre ceux de la Cour de cassation du canton de Genève du 24 mars 2006 et du 28 juin 2006, concluant à leur annulation et à son acquittement, subsidiairement au renvoi de la cause à l'autorité cantonale. H. Invités à présenter des observations, le Ministère public a conclu à la confirmation de l'arrêt attaqué et l'autorité cantonale a déclaré n'avoir pas d'observations à formuler. Pour sa part, la victime, représentée par son curateur, a conclu au rejet du recours.