Faits:
A. Y._ a exercé depuis 1994 ou 1995 l'activité de gérant de fortune par le truchement de la société G._ SA dont il était l'actionnaire unique. Il s'est fait remettre par de nombreux clients des sommes d'argent en vue de procéder à des investissements et a ensuite utilisé les fonds confiés à des fins autres que celles convenues. Il a en particulier investi les fonds reçus en Espagne dans la société H._ SA, à hauteur d'un montant global de 3'357'700 euros.
B. Par arrêt du 27 juin 2008, la Cour correctionnelle sans jury de la République et canton de Genève a reconnu Y._ coupable d'abus de confiance aggravé, gestion déloyale, faux dans les titres et escroquerie. Elle l'a condamné à une peine privative de liberté de trois ans avec sursis partiel. La complice de Y._ a été condamnée à une peine privative de liberté de dix-huit mois avec sursis complet.
Les avoirs figurant sous rubrique H._ SA de l'inventaire de la faillite de G._ SA ont été restitués à trois des parties civiles à hauteur de 1,1 million d'euros, le solde étant confisqué. Divers objets, un avion Boeing 737-200 et des avoirs portés au crédit de différents comptes bancaires ont également été confisqués. La Cour correctionnelle a prononcé une créance compensatrice de 10 millions de francs à l'encontre de Y._ et de 200'000 fr. à l'encontre de la complice. Enfin, elle a réservé les droits des autres parties civiles. A cet égard, elle a observé que les questions complexes à régler en vue de l'allocation aux lésés devaient faire l'objet d'une procédure séparée devant le Tribunal d'application des peines et des mesures (ci-après : TAPEM).
C. A la suite de l'arrêt de la Cour correctionnelle, le TAPEM a été saisi de plusieurs requêtes en restitution et/ou en allocation aux lésés.
Le 10 décembre 2008, X._ a saisi le TAPEM d'une requête tendant à la restitution en sa faveur du montant de 3,04 millions de francs avec intérêts à 5 % dès le 7 mars 2003 comme part des fonds confisqués revenant de H._ SA et de 2'500 parts investies dans le fonds I._. Il a également demandé l'allocation en sa faveur, à concurrence de sa créance non indemnisée, des valeurs patrimoniales confisquées et des créances compensatrices ordonnées. Il donnait enfin acte de ce qu'il cédait à l'Etat de Genève sa créance à hauteur des valeurs allouées.
Par jugement du 31 août 2009, le TAPEM a ordonné la restitution à X._, à concurrence de 900'000 euros, des avoirs figurant sous la rubrique H._ SA de l'inventaire de la faillite de G._ SA et a rejeté, pour le surplus, les conclusions en restitution du prénommé. Ce tribunal a également prononcé l'allocation de la créance compensatrice de 10 millions de francs et des valeurs confisquées en faveur des parties civiles selon la répartition suivante : 6,7 % à A._ et B._ pris ensemble; 2,26 % à C._; 4,075 % à D._; 11,25% à E._; 12,3 % à F._ SA et 63,375% à X._. Le TAPEM a ajouté que l'allocation des valeurs confisquées ne se ferait qu'à hauteur du montant maximal de 16 millions de francs et qu'il donnait acte à X._ de ce que celui-ci cédait sa créance à l'Etat de Genève à hauteur du montant dont l'allocation des biens et valeurs avait permis de le désintéresser.
Par arrêt du 22 novembre 2010, la Chambre pénale de la Cour de Justice du canton de Genève a rejeté l'appel formé par X._ contre le jugement du TAPEM.
D. X._ forme un recours en matière pénale contre cet arrêt. Principalement, il conclut à la restitution d'un million d'euros ou du montant équivalent de 1,6 million de francs et à ce que les valeurs confisquées soient allouées aux parties civiles, à hauteur du montant maximal de 14,4 millions de francs, selon la répartition suivante : 59,3 % en sa faveur; 7,45 % à A._ et B._ pris ensemble; 2,51 % à C._; 4,53 % à D._; 12,5% à E._; 13,7 % à F._ SA. Il demande que la créance compensatrice de 10 millions de francs soit allouée aux parties civiles selon la même répartition que pour les valeurs confisquées et qu'il lui soit donné acte qu'il cède sa créance à l'Etat de Genève à hauteur du montant dont l'allocation des biens et valeurs a permis de le désintéresser. A titre subsidiaire, il sollicite le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert en outre l'octroi de l'effet suspensif au recours.
E. Invités à se déterminer sur le recours, le procureur, D._ et C._ ont renoncé à formuler des observations. E._, A._ et B._ s'en sont rapportés à justice. Quant à F._ SA, elle a conclu principalement à l'irrecevabilité du recours, subsidiairement à son rejet.

Considérant en droit:
1. Les décisions en matière de confiscation et d'allocation au lésé sont des décisions pénales (<ref-law>; arrêt 6B_53/2009 du 24 août 2009 consid. 1.2 et les réf. citées; cf. aussi <ref-ruling> consid. 1a p. 100; NIKLAUS SCHMID, Kommentar Einziehung Organisiertes Verbrechen Geldwäscherei, I, 2ème éd., 2007, n. 162 ad art. 70-72 CP). Dirigé contre un jugement final (<ref-law>) rendu par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable. Le recourant a qualité pour dénoncer une violation des art. 70 et 73 CP (<ref-law>; cf. <ref-ruling> consid. 1.9; arrêt 6B_403/2008 du 24 novembre 2008 consid. 1).
2. L'<ref-law> autorise le juge à confisquer des valeurs patrimoniales qui sont le résultat d'une infraction, si elles ne doivent pas être restituées au lésé en rétablissement de ses droits. Lorsque les valeurs à confisquer ne sont plus disponibles, il ordonne, selon l'<ref-law>, leur remplacement par une créance compensatrice. Enfin, l'<ref-law> autorise le juge à allouer au lésé, jusqu'à concurrence des dommages-intérêts fixés judiciairement les objets et valeurs patrimoniales confisqués (let. b) et les créances compensatrices (let. c).
La restitution au lésé prime sur une éventuelle confiscation (<ref-ruling> consid. 3.1.2). Elle vise, en première ligne, les objets provenant directement du patrimoine du lésé et tend au rétablissement de ses droits absolus (restitution de l'objet volé). Selon la jurisprudence, la restitution peut aussi porter sur les valeurs patrimoniales en général. En font partie les billets de banque, les devises, les effets de change, les chèques ou des avoirs en compte, qui ont été transformés à une ou plusieurs reprises en des supports de même nature, dans la mesure où leur origine et leurs mouvements peuvent être clairement établis (biens acquis en remploi proprement dits; <ref-ruling> consid. 3.1.2 et les arrêts cités). En d'autres termes, il faut que leur "trace documentaire" ("Papierspur", "paper trail") puisse être reconstituée de manière à établir leur lien avec l'infraction.
La restitution doit en effet porter sur des valeurs patrimoniales qui sont le produit d'une infraction dont le lésé a été lui-même victime. Les valeurs patrimoniales doivent être la conséquence directe et immédiate de l'infraction. Un tel lien existe en particulier lorsque l'obtention des valeurs patrimoniales constitue un avantage direct découlant de la commission de l'infraction (<ref-ruling> consid. 3c/cc). Lorsque ces conditions sont réunies, la restitution doit avoir lieu sans égard aux autres créanciers ou lésés (<ref-ruling> consid. 3.1.2).
3. Le recourant soutient que la cour cantonale a violé l'<ref-law> en refusant de lui restituer le montant d'un million d'euros provenant du chèque débité de son compte Crédit Suisse le 7 mars 2003. Selon lui, la cour cantonale a constaté les faits de manière manifestement inexacte en refusant de retenir que ce chèque avait pour destinataire final H._ SA. Il estime que l'autorité précédente s'est mise en contradiction avec les pièces produites, en particulier avec le rapport de la commission rogatoire effectuée en Espagne.
3.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer les constatations de faits que si celles-ci ont été établies en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (cf. <ref-law>), c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables. Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law> (<ref-ruling> consid. 4.1.2 et les réf. citées).
3.2 La cour cantonale a constaté que tant l'avis de débit du Crédit Suisse que le tableau récapitulatif des transferts sur l'Espagne annexé au rapport de la commission rogatoire mentionnaient un chèque d'un million d'euros débité du compte de X._ à l'ordre de J._ SL. Elle a relevé qu'aucune de ces pièces ne permettait de savoir si le bénéficiaire final du transfert était H._ SA.
Examinant un document intitulé « extracto de cuenta », les juges cantonaux ont retenu qu'il faisait état de différents virements au crédit du compte de H._ SA, dont notamment un montant d'un million d'euros en date du « 10/03 ». Ils ont constaté que cette inscription ne précisait ni l'origine de ce transfert ni la date exacte à laquelle il avait eu lieu. En effet, bien que l'extrait de compte portât la date du 8 juin 2003, il énumérait des transactions intervenues entre le 10/03 et le 19/08. Or, selon la cour cantonale, il était impossible qu'un extrait daté du 8 juin 2003 rapporte des transactions du mois d'août de la même année, de sorte qu'on ne pouvait exclure que cet extrait concernât des mouvements intervenus les années précédentes. L'autorité cantonale en a déduit que cette pièce ne permettait pas non plus d'établir un lien entre le chèque émis par le débit du compte de X._ et les avoirs confisqués figurant à l'inventaire de la faillite de Poles Investements SA sous rubrique H._.
3.3 En l'espèce, les éléments suivants ressortent du rapport de la commission rogatoire. G._ SA a investi en Espagne, dans la société H._ SA, un montant global de 3'357'500 euros (rapport p. 1) qui a été versé par plusieurs virements et chèques. Dans le récapitulatif de ces versements se trouve notamment un chèque Crédit Suisse d'un million d'euros daté du 7 mars 2003 et adressé à J._ SL (rapport p. 1 et 2 dernier paragraphe et p. 3 paragraphe 3 et 5; tableau du récapitulatif des fonds annexé au rapport). Toujours selon le rapport de la commission rogatoire, la société H._ SA s'est engagée à rembourser l'intégralité des fonds reçus de G._ SA, ce qui incluait en particulier le chèque au nom de J._ SL (rapport p. 3 paragraphe 5). A la lecture du tableau récapitulatif annexé au rapport, on constate que le versement d'un million d'euros a été débité du compte Crédit Suisse de X._. Enfin, le rapport relève que la société H._ SA démarrait à peine son activité en 2003, de sorte que, contrairement à ce qu'a retenu la cour cantonale, on pouvait exclure que les mouvements de fonds datent d'années précédentes. Sur la base de ces éléments, il apparaît ainsi clairement que le destinataire final du chèque était la société H._ SA. Par conséquent, la cour cantonale s'est mise en contradiction évidente avec des pièces du dossier et a versé dans l'arbitraire.
3.4 Dans ces circonstances, les conditions posées par l'art. 70 al. 1 in fine CP pour la restitution du montant réclamé sont réunies. En premier lieu, les fonds versés à H._ SA par Y._ - par le biais de sa société G._ SA - constituent le produit de l'infraction. En second lieu, la trace documentaire du montant réclamé a pu être reconstituée et montre que ce montant provient du patrimoine du recourant (cf. consid. 3.3). Il convient donc d'annuler l'arrêt attaqué sur ce point et de renvoyer la cause à la cour cantonale pour qu'elle ordonne aussi la restitution au recourant du montant d'un million d'euros relativement au chèque.
Il incombera par ailleurs à la cour cantonale de revoir les allocations aux lésés des valeurs confisquées et de la créance compensatrice (<ref-law>), compte tenu de cette nouvelle restitution. Le Tribunal fédéral n'est en effet pas en mesure de statuer sur cette question, les dommages-intérêts des différents lésés et les restitutions ordonnées en leur faveur ne ressortant pas de l'arrêt attaqué (<ref-law>).
4. Vu le sort du recours, les frais judiciaires sont mis pour moitié à la charge de l'intimée F._ SA - qui a conclu à l'irrecevabilité, voire au rejet du recours -, le canton de Genève n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre à une indemnité de dépens, à la charge du canton de Genève et de l'intimée F._ SA pour moitié chacun (art. 68 al. 1 et 2 LTF). La requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis par moitié, soit à hauteur de 1'000 fr., à la charge de l'intimée F._ SA.
3. Une indemnité de 3'000 fr., à payer au recourant à titre de dépens, est mise pour moitié à la charge du canton de Genève et pour moitié à la charge de F._ SA.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale.
Lausanne, le 18 juillet 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Mathys Rey-Mermet