Faits:
A. Par arrêt du 18 juin 2008, la Cour criminelle du Tribunal cantonal de la République et canton du Jura a reconnu X._ coupable de brigandage qualifié et d'utilisation frauduleuse d'un ordinateur en relation avec des faits qui se sont produits le 12 novembre 2002 à Hunzenschwil et Neuenhof ainsi que d'un brigandage qualifié commis le 25 novembre 2002 à St-Margrethen. Elle l'a condamné à une peine privative de liberté de deux ans et demi, complémentaire à celle de deux ans de réclusion prononcée le 17 mars 2005 pour complicité de brigandage qualifié commis à Courrendlin les 27/28 novembre 2002. La Cour criminelle du Tribunal cantonal a en revanche libéré A._ des chefs d'infraction de brigandage qualifié et d'utilisation frauduleuse d'un ordinateur en relation avec les faits qui se sont produits le 12 novembre 2002 à Hunzenschwil et Neuenhof. La décision du 18 juin 2008 repose, en bref, sur les éléments suivants.
A.a Le 12 novembre 2002, peu après 5 heures du matin, alors qu'il se rendait à son travail à la poste d'Hunzenschwil, B._ a été intercepté et maîtrisé par deux individus masqués au moment même où il ouvrait la porte de service. Il a été poussé à l'intérieur du local et ligoté. Le même sort a été réservé à C._, D._ et E._. Les employés ont été délestés de leurs valeurs et, sous la menace, contraints de communiquer le code de leur carte de crédit. Le même jour, à 6h24 et 6h25, il a été retiré, au moyen des postcards volées à D._, deux fois 1'000 francs, à un bureau postal à Neuenhof.
A.b Le 25 novembre 2002 vers 23 heures, alors que F._ s'apprêtait à quitter sa voiture qu'elle avait parquée à St-Margrethen, un inconnu a ouvert la porte côté conducteur et l'a sommée de se déplacer sur le siège passager en la menaçant avec une arme. Au même moment, une autre personne s'est installée sur le siège arrière et le conducteur a déplacé l'automobile sur une place de parc à Untervaz, localité située à quelque 73,5 kilomètres de St-Margrethen et 11 kilomètres de Coire, pour dévaliser la victime avant de l'enfermer dans le coffre de sa voiture.
A.c La Cour criminelle du Tribunal cantonal jurassien a admis la culpabilité de X._ en se fondant sur la surveillance rétroactive des téléphones portables utilisés, sur le défaut d'explication plausible et pertinente par le précité concernant la localisation de son propre appareil sur les lieux des infractions et sur sa situation financière précaire.
A.d Le 23 mars 2009, le Tribunal fédéral a rejeté le recours formé par X._ contre l'arrêt du 18 juin 2008, notamment pour violation du principe in dubio pro reo (arrêt 6B_722/2008).
B. Par arrêt du 1er octobre 2010, la Cour de cassation du Tribunal cantonal jurassien, statuant sur une demande de révision de X._ et du Ministère public, a annulé l'arrêt du 18 juin 2008 en tant qu'il déclarait l'intéressé coupable des infractions de brigandage qualifié et d'utilisation frauduleuse d'un ordinateur en relation avec les faits qui se sont produits le 12 novembre 2002 à Hunzenschwil et Neuenhof et en tant qu'il libérait A._ de celles-ci. La cause a été renvoyée à la Cour criminelle pour nouveau jugement.
La Cour de cassation du Tribunal cantonal s'est fondée, d'une part, sur une lettre de A._, adressée le 26 août 2008 au Président de la Cour criminelle, dans laquelle il déclare que le 12 novembre 2002, il était en possession du téléphone portable de X._ et, d'autre part, sur une déclaration signée par A._ le 27 mai 2009 dans laquelle il reconnaît avoir participé au brigandage d'Hunzenschwil et avoir utilisé le téléphone portable précité ce jour-là. La Cour de cassation a considéré que même si A._ était revenu sur cette déclaration en contestant devant elle avoir participé au brigandage d'Hunzenschwil et avoir été en possession du téléphone portable de X._ le jour des faits, ces éléments remettaient en cause de manière sérieuse la participation de l'intéressé au brigandage.
C. A une date indéterminée, mais postérieure à l'audience devant la Cour de cassation, A._ a juré, lors d'un entretien téléphonique enregistré par X._, que celui-ci n'était pas présent à la poste d'Hunzenschwil.
D. D.a Lors de l'audience du 1er décembre 2011 devant le Tribunal pénal du Tribunal de première instance, A._ a nié toute participation au brigandage d'Hunzenschwil et a déclaré ne pas avoir été en possession du téléphone portable de X._ le jour des faits. Il a expliqué que celui-ci allait très mal à la suite de sa condamnation et qu'il était prêt à se sacrifier pour qu'il se sente mieux. Il était alors en prison et il s'était dit qu'il pourrait y rester cinq ou six mois de plus. X._ le contactait constamment par téléphone et les déclarations qu'il avait faites avaient pour but d'en finir, d'avoir la paix et de le calmer. Il assurait cependant que X._ n'avait pas commis le brigandage car lorsqu'ils s'étaient rendu à Hunzenschwil par la suite, ils avaient eu de la peine à trouver la poste. Il avait signé la déclaration dans laquelle il avouait sa participation au brigandage après avoir été informé des conséquences pénales de celles-ci, auxquelles il n'avait cependant pas cru. X._ a quant à lui nié toute participation au brigandage. Il avait prêté son téléphone portable à A._ et lui-même avait passé la soirée avec la s?ur de celui-ci.
D.b Par jugement du 2 décembre 2011, le Tribunal pénal du Tribunal de première instance a derechef déclaré X._ coupable de brigandage qualifié et d'utilisation frauduleuse d'un ordinateur et l'a condamné à la peine privative de liberté de deux ans et demi à titre de peine complémentaire à celle prononcée le 17 mars 2005.
E. Saisie d'un appel du condamné, la Cour pénale du Tribunal cantonal jurassien a confirmé cette décision par jugement du 23 mars 2012.
F. X._ interjette un recours en matière pénale au Tribunal fédéral contre cette décision. Il conclut à son acquittement du chef des infractions de brigandage qualifié et utilisation frauduleuse d'un ordinateur pour les faits commis à Hunzenschwil et Neuenhof et à ce que la peine prononcée en relation avec les faits qui se sont produits à St-Margrethen soit réduite à une année, avec sursis et délai d'épreuve de 2 ans, le tout sous suite de frais et dépens. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation du principe in dubio pro reo. Il soutient que les déclarations de A._ le disculpant étaient suffisantes pour qu'il soit acquitté des faits qui se sont produits le 12 novembre 2002. Tel qu'il est soulevé, le grief revient à se plaindre d'une violation du principe précité en tant que règle de l'appréciation des preuves.
1.1 Comme principe présidant à l'appréciation des preuves, la présomption d'innocence, dont découle le principe in dubio pro reo, est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2c p. 37). Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire (art. 9 Cst.; sur cette notion, cf. <ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsqu'en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.1 p. 9). L'invocation de l'arbitraire suppose une argumentation claire et détaillée (<ref-law>; <ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> c. 5.1 p. 365).
En matière de révision, le tribunal qui rejuge l'affaire dans la phase du rescisoire n'est lié ni par la portée que le premier tribunal a attribué aux anciens moyens de preuve ni par l'appréciation du juge du rescindant des faits ou des moyens de preuve nouveaux (arrêt 6B_1062/2009 du 3 novembre 2010 consid. 2.2, non publié in <ref-ruling> et les références citées).
1.2 La cour cantonale a considéré qu'il n'était pas possible d'accorder du crédit aux déclarations de A._ par lesquelles il tentait de disculper le recourant. Il en ressortait qu'il avait manifestement voulu venir en aide à ce dernier dans sa procédure de recours au Tribunal fédéral, ainsi que dans la procédure en révision introduite par la suite. Ses déclarations étaient dénuées de force probante. D'une part, elles n'étaient étayées par aucun autre élément du dossier et, d'autre part, elles apparaissaient essentiellement dictées par des motifs autres que l'établissement de la réalité des faits, tels l'amitié, la pitié ou les pressions exercées par le recourant. Les différentes versions présentées par A._ et les revirements dont il s'était fait l'auteur démontraient qu'il était prêt à dire à peu près n'importe quoi. De plus, le recourant avait été incapable de fournir une explication crédible quant au fait que son téléphone portable avait été localisé à proximité d'Hunzenschwil et Neuenhof au moment des faits. Il avait repris le même mode de défense qu'il avait adopté dans une précédente affaire dans laquelle il avait déjà soutenu qu'il avait prêté son téléphone portable à un tiers, alors qu'il avait pu être prouvé qu'il était présent sur les lieux. Il avait certes tenté de fournir un alibi en prétendant avoir passé la soirée avec la s?ur de A._. Ce témoignage était toutefois dénué de force probante dans la mesure où il était intervenu neuf ans après les faits, sur insistance du recourant qui avait appelé plusieurs fois l'intéressée et lui avait fourni les éléments essentiels sur lesquels celle-ci devait témoigner. Ainsi, les déclarations inconstantes, imprécises et contradictoires de A._ n'étaient pas de nature à susciter un doute quant à la participation du recourant au brigandage d'Hunzenschwil. Les preuves recueillies en instruction et aux débats permettaient d'établir à suffisance de droit qu'il avait participé à celui-ci.
1.3 Le recourant fait valoir qu'en l'absence de témoin, de trace ADN ou d'image prise au moyen d'une caméra de surveillance, sa condamnation se fondant uniquement sur les résultats de la surveillance rétroactive de son téléphone portable reposait sur des éléments très minces. La découverte d'une nouvelle preuve, même peu importante, devait dès lors faire pencher le plateau de la balance en faveur de son innocence. A._ avait signé la déclaration du 27 mai 2009 après avoir consulté son propre conseil. Cela n'excluait certes pas que ses déclarations soient fausses, mais il n'était pas admissible de les considérer comme un simple mensonge, et cela même si A._ mentait volontiers. La cour cantonale avait raison lorsqu'elle considérait que les déclarations de ce dernier n'expliquaient pas le déroulement des faits, mais elle avait tort quand elle contestait que sa condamnation, qui ne reposait que sur la surveillance rétroactive de son téléphone portable, n'était pas ébranlée.
En affirmant, en substance, que les déclarations de A._ étaient suffisantes pour le disculper, le recourant se borne à opposer sa propre appréciation des preuves à celle de la cour cantonale. Son argumentation est largement appellatoire et, partant, irrecevable. On se limitera, en conséquence, à traiter par la suite les griefs qui n'apparaissent pas d'emblée irrecevables pour ce motif.
Le simple fait que, comme le recourant le fait valoir, les déclarations de A._ se distinguaient des précédentes, puisqu'il n'avait jamais admis sa propre participation à un brigandage ou qu'il avait mentionné au téléphone le nom d'un individu dont il n'avait jamais fait état auparavant, n'est pas de nature à démontrer que ses propos selon lesquels le recourant n'avait pas participé au brigandage du 12 novembre 2002 seraient conformes à la vérité. Il ne suffit en particulier pas, au regard des exigences de motivation de l'<ref-law>, de prétendre que la mention de ce nouveau nom constituait un indice de la véracité des déclarations de A._, et non de leur fausseté comme l'avait retenu la cour cantonale, ou de demander quel aurait été l'intérêt du précité d'inventer ce nom pour démontrer l'arbitraire de la décision attaquée. En outre, même si A._ voulait éviter de donner à la justice des indications qui pourraient être utilisées par la suite contre lui ou contre des tiers, il était néanmoins nécessaire qu'il fournisse certains détails pour que ses dires puissent être jugés crédibles.
Le recourant n'explique pas en quoi il serait arbitraire de retenir que les déclarations de A._ le disculpant pouvaient être motivées par les pressions qu'il exerçait, celui-ci ayant déclaré que le recourant le contactait constamment par téléphone, ce que l'intéressé ne conteste pas, et qu'il voulait qu'il le laisse tranquille. La cour cantonale n'a en outre pas retenu que les déclarations de A._ n'étaient pas crédibles au motif qu'elles étaient dictées par la peur de celui-ci. Le recourant ne peut donc se prévaloir, pour tenter de démontrer l'arbitraire de la décision attaquée, du fait que l'intéressé était en prison, où il n'avait rien à craindre, au moment où l'entretien téléphonique a été enregistré.
Le recourant ne critique par ailleurs pas la décision cantonale en tant qu'elle considère que les revirements dont A._ s'était fait l'auteur démontraient qu'il était prêt à dire à peu près n'importe quoi.
Le recourant ne peut être suivi lorsqu'il affirme que la cour cantonale ne pouvait exclure toute valeur probante aux déclarations de A._ alors que la Cour de cassation les avaient considérées comme suffisantes pour admette la révision, ce qui était extrêmement rare. En effet, au stade du rescindant, la simple vraisemblance que le nouveau moyen de preuve est propre à ébranler l'état de fait sur lequel était fondé le jugement suffit (<ref-ruling> consid. 1 p. 73).
Enfin, la cour cantonale a relevé que le recourant avait déjà affirmé dans une précédente affaire qu'il avait prêté son téléphone portable à un tiers, alors qu'il avait pu être prouvé qu'il était présent sur les lieux où une infraction avait été commise. L'intéressé ne démontre pas de manière conforme à l'<ref-law> qu'il était arbitraire de considérer que ses explications à cet égard n'étaient dès lors pas crédibles en l'espèce et que sa condamnation pouvait reposer sur les résultats de la surveillance rétroactive de son appareil mobile. Le recourant admet en outre que le témoignage de la s?ur de A._ n'a pas grande force probante, de sorte qu'il n'est pas de nature à démontrer que le recourant n'était pas sur les lieux du brigandage le 12 novembre 2002.
En définitive, le recourant n'a pas démontré qu'il était arbitraire de considérer que les déclarations de A._ selon lesquelles le recourant n'était pas présent à la poste d'Hunzenschwil au moment du brigandage n'étaient pas crédibles et que les preuves figurant à la procédure étaient suffisantes pour le déclarer coupable des infractions commises le 12 novembre 2002. Le recours doit être rejeté dans la mesure où il est recevable.
2. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton du Jura.
Lausanne, le 8 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben