Faits:
A. Par arrêt du 28 juin 2011, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable d'infractions à l'art. 19 ch. 1 et 2 let. a de la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (Loi sur les stupéfiants, LStup; RS 812.121), il l'a acquitté des infractions visées aux points A.1.5.1 et A.1.8 de l'acte d'accusation et l'a condamné à une peine privative de liberté de 10 ans, sous déduction de la détention avant jugement.
B. Le 8 décembre 2011, la Chambre pénale et de révision de la Cour de Justice genevoise a confirmé le premier jugement dans la mesure où il condamne X._ pour avoir organisé trois transports de cocaïne, à savoir 1'020 grammes les 9/10 mai 2009, 1 kilo les 23/24 mai 2009 et 1'183 grammes le 26 juillet 2009. Elle a annulé la première décision pour le surplus, a prononcé l'acquittement de X._ pour les autres chefs d'accusation, soit parce qu'il y avait des doublons dans les préventions, soit parce que ceux-ci n'étaient pas suffisamment établis et elle a condamné X._ à une peine privative de liberté de 7 ans, sous déduction de la détention préventive subie.
C. X._ forme un recours en matière pénale au Tribunal fédéral. Il invoque un déni de justice formel, une violation de son droit d'être entendu (art. 29 al. 1 Cst., 32 al. 2 Cst. ainsi que art. 141 al. 2 et 436 al. 1 CPP) et de la présomption d'innocence (art. 32 al. 1 Cst.; <ref-law>) ainsi qu'une violation du droit fédéral s'agissant de la fixation de la peine (art. 47 et 50 CP). Il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il demande également à être mis au bénéfice de l'assistance judiciaire.
La Chambre d'appel et de révision de la Cour de justice genevoise a renoncé à formuler des observations le 26 avril 2012. Le Ministère public genevois n'en a pas formulé dans le délai imparti.

Considérant en droit:
1. Le refus d'écarter les écoutes téléphoniques traduites dans la langue de la procédure sans mentionner qui les avait rédigées, ni si les traducteurs avaient été rendus attentifs aux sanctions pénales de l'<ref-law>, violerait, selon le recourant, son droit d'être entendu et les droits de la défense, ainsi que l'<ref-law>.
1.1 Tel que garanti par les art. 29 al. 2 Cst, le droit d'être entendu comprend, notamment, le droit pour l'intéressé de prendre connaissance du dossier et de participer à l'administration des preuves essentielles ou, à tout le moins, de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 3.2 p. 494; <ref-ruling> consid. 2b p. 56). L'accusé doit pouvoir consulter le dossier pour connaître préalablement les éléments dont dispose l'autorité et jouir ainsi d'une réelle possibilité de faire valoir ses arguments dans une procédure. Pour que cette consultation soit utile, le dossier doit être complet (<ref-ruling> consid. 4.1 p. 88 s.). Le droit d'être entendu est également garanti par l'art. 3 al. 2 let. c CPP, qui a la même portée que l'art. 29 al. 2 Cst. (cf. Michel Hottelier, in: Commentaire romand, Code de procédure pénale, 2010, n. 22 ad <ref-law>).
En matière d'écoutes téléphoniques en langue étrangère, il faut que les modalités de leur établissement soient décrites dans le dossier afin que l'accusé soit en mesure de constater qu'elles ne présentent pas de vices de forme. Il convient en particulier de mentionner qui a procédé à leur traduction et si ces personnes ont été rendues attentives aux sanctions pénales de l'<ref-law> en cas de faux rapport ou de fausse traduction (<ref-ruling> consid. 4.2 p. 89 s.).
1.2 S'agissant des pièces 95 à 129, soit les retranscriptions des conversations annexées au rapport de police du 27 octobre 2009, ainsi que des pièces 331 à 359 et 387 à 396, le moyen du recourant a été jugé contraire à l'interdiction de l'abus de droit dans la mesure où ce dernier a déclaré au juge d'instruction ne pas contester ces écoutes. Etant donné que le recourant ne s'en prend pas à cette partie de l'arrêt attaqué, son grief n'est pas recevable s'agissant des écoutes susmentionnées.
1.3 Il ressort des faits constatés que les retranscriptions des écoutes téléphoniques effectuées par les autorités genevoises (pièces 226 à 229, 236 à 247) ne mentionnent pas l'identité du traducteur et qu'il n'en résulte pas que ce dernier a été rendu attentif aux conséquences d'une fausse traduction en justice. Celles effectuées par la police fédérale (pièces 331 à 450) satisfont à ces conditions, mais pas leur traduction en français, laquelle fait tout simplement défaut s'agissant des pièces 568 à 579 (arrêt attaqué p. 13 et 16).
L'identification claire du traducteur devait permettre au recourant et au tribunal de contrôler qui avait traduit les procès-verbaux litigieux, de quelle manière et sur la base de quelles instructions. Les exigences découlant de l'<ref-ruling> n'ont pas été respectées et le droit d'être entendu du recourant a été violé.
1.4 La cour cantonale a cependant considéré que malgré cette violation, les écoutes litigieuses pouvaient être exploitées en vertu de l'<ref-law>, selon lequel les preuves qui ont été administrées d'une manière illicite ou en violation de règles de validité par les autorités pénales ne sont pas exploitables, à moins que leur exploitation soit indispensable pour élucider des infractions graves. Ces écoutes permettaient en effet d'établir en l'espèce l'implication du recourant dans un important trafic international de cocaïne, soit une infraction grave au sens de la disposition précitée.
L'<ref-law> vise les cas où une preuve a été administrée en violation d'une norme pénale ou d'une règle de validité, soit une règle qui revêt une importance telle pour la sauvegarde des intérêts légitimes de la personne concernée qu'elle ne peut atteindre son but que moyennant l'invalidation de l'acte de procédure accompli en violation de cette disposition (Message du Conseil fédéral du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2005, p. 1162/1163 ; cf aussi Bénédict/Treccani, in: Commentaire romand, Code de procédure pénale, 2010, n. 9 et 16 ad <ref-law>). Il n'est pas contesté en l'espèce que les écoutes téléphoniques ont été recueillies conformément aux dispositions légales applicables. Seules sont litigieuses les modalités de leur traduction. Celles-ci ne constituent cependant pas des règles de validité des écoutes elles-mêmes, mais sont uniquement destinées à garantir que, lors de leur utilisation, le droit d'être entendu du recourant soit respecté. L'<ref-law> n'est dès lors pas applicable en l'espèce, contrairement à ce que l'autorité cantonale a retenu à cet égard. Cette disposition ne peut ainsi pas justifier l'utilisation des écoutes dont la traduction ne respecte pas les exigences en la matière.
Le recours doit être admis pour violation du droit d'être entendu du recourant. L'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale afin qu'elle fasse procéder à une traduction des écoutes téléphoniques litigieuses qui respecte les critères posés par la jurisprudence rappelés supra (cf. consid. 1.1).
2. Pour le surplus, il convient par économie de procédure de relever ce qui suit concernant la question de la fixation de la peine, que critique le recourant.
2.1 Le recourant conteste la peine fixée. Il estime qu'en retenant au stade de la fixation de la peine que son activité illicite irait bien au-delà des trois livraisons dont il a été déclaré coupable, l'arrêt cantonal viole la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 al. 3 CPP) ainsi que les art. 47 et 50 CP. Il fait également valoir une inégalité de traitement avec son coaccusé A._.
2.2 Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
En matière de trafic de stupéfiants, il y a lieu de tenir compte de la quantité de drogue. Même si elle ne joue pas un rôle prépondérant, la quantité constitue un élément essentiel, qui perd cependant de l'importance au fur et à mesure que s'éloigne la limite à partir de laquelle le cas est grave au sens de l'<ref-law> (désormais <ref-law>; <ref-ruling> consid. 2d/cc p. 206). Le type et la nature du trafic en cause sont déterminants. Aussi l'appréciation sera différente selon que l'auteur a agi de manière autonome ou comme membre d'une organisation. Dans ce dernier cas, la nature de sa participation et sa position au sein de l'organisation doivent être prises en compte. L'étendue géographique du trafic entre également en considération: l'importation en Suisse de drogue a des répercussions plus graves que le seul transport à l'intérieur des frontières. S'agissant d'apprécier les mobiles qui ont poussé l'auteur à agir, le juge doit distinguer le cas de celui qui est lui-même toxicomane et agit pour financer sa propre consommation de celui qui participe à un trafic uniquement poussé par l'appât du gain (arrêt 6B_793/2011 du 26 janvier 2012 consid. 4.1 et les références citées).
L'<ref-law> confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 2.1 p. 19/20; <ref-ruling> consid. 6.1 p. 21).
2.3 L'arrêt cantonal retient que le recourant était un maillon supérieur d'un trafic international de cocaïne en direction de la Suisse. Il organisait des expéditions de drogues en Suisse, à destination notamment du coaccusé A._ qui assurait l'écoulement au niveau local, en vendant la drogue à des vendeurs, voire des semi-grossistes. Ce faisant, il s'assurait des revenus très importants au mépris de la santé des consommateurs tout en minimisant autant que possible les risques, assumés au premier plan par les transporteurs. Ses mobiles et son mode de faire étaient égoïstes. Les deux hommes étaient liés par un rapport de confiance, la drogue étant livrée sans contrepartie immédiate à A._, qui en payait le prix après l'avoir vendue, selon un système de compte-courant. Ses agissements se sont déroulés en mai et juillet 2009 et ont cessé grâce à l'intervention de la police au terme d'une longue et minutieuse enquête. L'intention délictueuse était intense.
2.4 A l'issue de l'appel, seules trois livraisons, pour une quantité totale de 3,2 kilos, ont pu être retenues, soit nettement moins que celles admises par les premiers juges. Ces livraisons revêtent certes une gravité certaine. L'arrêt cantonal relève cependant que le recourant était manifestement bien ancré dans le trafic de stupéfiants, son activité allant bien au-delà de ces trois livraisons, comme le démontraient les écoutes téléphoniques et la comptabilité précise tenue par le recourant.
Or, tenir compte d'un tel élément viole tant la présomption d'innocence invoquée par le recourant que l'<ref-law>, dans la mesure où les juges cantonaux, pour établir la faute du recourant, se sont non seulement fondés sur l'activité à la base de la déclaration de culpabilité, mais également sur d'autres actes encore, qui n'ont pas pu être établis au stade de la condamnation, soit sur un élément dont il ne pouvait être tenu compte lors de la fixation de la peine.
2.5 De plus, dans le contexte de la fixation de la peine, le recourant peut faire valoir une inégalité de traitement. Compte tenu toutefois des nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate (<ref-ruling> consid. 3a p. 144 et les arrêts cités; cf. aussi <ref-ruling> consid. 2e p. 52 s.).
S'il est appelé à juger les coauteurs d'une même infraction ou deux coaccusés ayant participé ensemble au même complexe de faits délictueux, le juge est tenu de veiller à ce que la différence des peines infligées aux deux intéressés soit justifiée par une différence dans les circonstances personnelles en fonction desquelles, conformément à l'<ref-law>, la peine doit être individualisée (cf. <ref-ruling> consid. 3.2 p. 193 ss; <ref-ruling> consid. 2d p. 204 ss).
En l'espèce, la motivation de l'arrêt cantonal est insuffisante pour permettre de comprendre l'importante différence de peine prononcée entre le recourant (7 ans) et le coaccusé A._ (4 ans et demi), qui est condamné pour avoir participé aux mêmes livraisons de drogue que le recourant. Il est certes admis que le recourant avait d'autres grossistes en Suisse, alors que A._ ne se fournissait qu'auprès du recourant. Cependant, s'agissant de trois livraisons, cette différence n'est pas assez significative pour justifier un tel écart de peine. L'absence de toute démarche d'introspection de la part du recourant, au contraire de A._, ou encore les antécédents du recourant condamné en Suisse à cinq reprises entre 2005 et 2006 pour séjour illégal ou violation d'une mesure de contrainte en matière de droit des étrangers et en 2008 pour séjour illégal, opposition aux actes de l'autorité et lésions corporelles, infractions qui n'ont aucun rapport avec l'activité reprochée en l'espèce au recourant, ne motivent pas non plus une telle différence.
3. Le recours doit être admis. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Conformément à l'<ref-law>, il n'est pas perçu de frais judiciaires. Le recourant qui obtient gain de cause peut prétendre à une indemnité de dépens à verser à son conseil pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF), ce qui rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 3'000 francs, à payer au conseil du recourant à titre de dépens, est mise à la charge du canton de Genève.
4. La demande d'assistance judiciaire est sans objet.
5. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 14 août 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben