Faits: A. Y._ a exercé depuis 1994 ou 1995 l'activité de gérant de fortune par le truchement de la société G._ SA dont il était l'actionnaire unique. Il s'est fait remettre par de nombreux clients des sommes d'argent en vue de procéder à des investissements et a ensuite utilisé les fonds confiés à des fins autres que celles convenues. Il a en particulier investi les fonds reçus en Espagne dans la société H._ SA, à hauteur d'un montant global de 3'357'700 euros. B. Par arrêt du 27 juin 2008, la Cour correctionnelle sans jury de la République et canton de Genève a reconnu Y._ coupable d'abus de confiance aggravé, gestion déloyale, faux dans les titres et escroquerie. Elle l'a condamné à une peine privative de liberté de trois ans avec sursis partiel. La complice de Y._ a été condamnée à une peine privative de liberté de dix-huit mois avec sursis complet. Les avoirs figurant sous rubrique H._ SA de l'inventaire de la faillite de G._ SA ont été restitués à trois des parties civiles à hauteur de 1,1 million d'euros, le solde étant confisqué. Divers objets, un avion Boeing 737-200 et des avoirs portés au crédit de différents comptes bancaires ont également été confisqués. La Cour correctionnelle a prononcé une créance compensatrice de 10 millions de francs à l'encontre de Y._ et de 200'000 fr. à l'encontre de la complice. Enfin, elle a réservé les droits des autres parties civiles. A cet égard, elle a observé que les questions complexes à régler en vue de l'allocation aux lésés devaient faire l'objet d'une procédure séparée devant le Tribunal d'application des peines et des mesures (ci-après : TAPEM). C. A la suite de l'arrêt de la Cour correctionnelle, le TAPEM a été saisi de plusieurs requêtes en restitution et/ou en allocation aux lésés. Le 10 décembre 2008, X._ a saisi le TAPEM d'une requête tendant à la restitution en sa faveur du montant de 3,04 millions de francs avec intérêts à 5 % dès le 7 mars 2003 comme part des fonds confisqués revenant de H._ SA et de 2'500 parts investies dans le fonds I._. Il a également demandé l'allocation en sa faveur, à concurrence de sa créance non indemnisée, des valeurs patrimoniales confisquées et des créances compensatrices ordonnées. Il donnait enfin acte de ce qu'il cédait à l'Etat de Genève sa créance à hauteur des valeurs allouées. Par jugement du 31 août 2009, le TAPEM a ordonné la restitution à X._, à concurrence de 900'000 euros, des avoirs figurant sous la rubrique H._ SA de l'inventaire de la faillite de G._ SA et a rejeté, pour le surplus, les conclusions en restitution du prénommé. Ce tribunal a également prononcé l'allocation de la créance compensatrice de 10 millions de francs et des valeurs confisquées en faveur des parties civiles selon la répartition suivante : 6,7 % à A._ et B._ pris ensemble; 2,26 % à C._; 4,075 % à D._; 11,25% à E._; 12,3 % à F._ SA et 63,375% à X._. Le TAPEM a ajouté que l'allocation des valeurs confisquées ne se ferait qu'à hauteur du montant maximal de 16 millions de francs et qu'il donnait acte à X._ de ce que celui-ci cédait sa créance à l'Etat de Genève à hauteur du montant dont l'allocation des biens et valeurs avait permis de le désintéresser. Par arrêt du 22 novembre 2010, la Chambre pénale de la Cour de Justice du canton de Genève a rejeté l'appel formé par X._ contre le jugement du TAPEM. D. X._ forme un recours en matière pénale contre cet arrêt. Principalement, il conclut à la restitution d'un million d'euros ou du montant équivalent de 1,6 million de francs et à ce que les valeurs confisquées soient allouées aux parties civiles, à hauteur du montant maximal de 14,4 millions de francs, selon la répartition suivante : 59,3 % en sa faveur; 7,45 % à A._ et B._ pris ensemble; 2,51 % à C._; 4,53 % à D._; 12,5% à E._; 13,7 % à F._ SA. Il demande que la créance compensatrice de 10 millions de francs soit allouée aux parties civiles selon la même répartition que pour les valeurs confisquées et qu'il lui soit donné acte qu'il cède sa créance à l'Etat de Genève à hauteur du montant dont l'allocation des biens et valeurs a permis de le désintéresser. A titre subsidiaire, il sollicite le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert en outre l'octroi de l'effet suspensif au recours. E. Invités à se déterminer sur le recours, le procureur, D._ et C._ ont renoncé à formuler des observations. E._, A._ et B._ s'en sont rapportés à justice. Quant à F._ SA, elle a conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet.