Faits: A. Par arrêt du 30 avril 2009, la Cour correctionnelle avec jury du canton de Genève a condamné X._ à 6 ans de privation de liberté pour infractions à l'art. 19 ch. 1 al. 4, 5 et 6 et ch. 2 let. a et b LStup. Le 14 septembre 2009, la Cour de cassation genevoise a rejeté le pourvoi du condamné. B. L'état de fait à la base de la condamnation est, en résumé, le suivant. X._ s'est livré, en compagnie notamment de Y._, à un important trafic d'héroïne à Genève. Il a ainsi vendu, directement ou par des intermédiaires, 5,450 kg d'héroïne entre 2003 et 2008, dont 5,1 kg à Z._ pour sa consommation ou celle de tiers. X._ utilisait, dans le cadre de son trafic, un numéro de téléphone portable dont le titulaire était un ressortissant des Balkans, pour rendre plus difficile son identification. Les transcriptions des écoutes téléphoniques font état des nombreuses commandes de drogue passées à X._ par Z._. Le jury a notamment forgé sa conviction sur la base des déclarations de Y._, qui a mis en cause X._, et de celles de plusieurs toxicomanes, dont Z._. X._ a d'abord nié toute implication, avant de reconnaître qu'il avait pris des commandes, mais pour le compte de Y._. C. X._ forme un recours en matière pénale au Tribunal fédéral. Il se plaint de violations de son droit d'être entendu, d'arbitraire dans l'établissement des faits, d'une violation des art. 49 al. 2 et 50 CP ainsi que d'une violation de l'art. 29 al. 3 Cst. et d'une application arbitraire de l'art. 7 let. a du règlement genevois sur l'assistance juridique (RAJ; RSG E 2 05.04). Il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision, en sollicitant l'assistance judiciaire. L'autorité cantonale a conclu au rejet du recours, notamment du grief de violation de l'art. 29 al. 3 Cst. et d'application arbitraire de l'art. 7 let. a RAJ. Le Procureur général a estimé n'avoir pas à se déterminer sur ce grief et a conclu au rejet du recours pour le surplus. Le recourant a répliqué, persistant intégralement dans les conclusions de son recours. L'autorité cantonale a dupliqué, produisant diverses pièces et indiquant qu'elle maintenait ses conclusions. Le Procureur général a également dupliqué, maintenant lui aussi les conclusions de sa réponse. A sa demande, le recourant a été admis à se déterminer sur la duplique et les pièces produites par l'autorité cantonale. Il a derechef persisté dans les conclusions de son recours.