Faits: A. Par jugement du 10 décembre 2009, le Tribunal correctionnel jurassien a notamment libéré X._ de la prévention d'incendie intentionnel, infraction prétendument commise le 30 juin 2008 à la rue A._ à B._. Il l'a en revanche reconnu coupable d'incendie intentionnel pour avoir, à la même date, bouté le feu à l'immeuble en construction "C._" sis à la rue D._ à B._. Il l'a condamné à une peine privative de liberté de 12 mois avec sursis pendant 2 ans et à payer à l'Etablissement cantonal d'assurance immobilière et de prévention (ci-après ECA) la somme de 118'400 fr. à titre de dommages-intérêts. B. Par arrêt du 3 novembre 2010, la Cour pénale du Tribunal cantonal jurassien a constaté que le jugement de première instance était entré en force dans la mesure où il libère X._ de la prévention d'incendie intentionnel commise à la rue A._ à B._ et statue sur certains points de frais et dépens. Pour le surplus, elle a confirmé ce jugement. Les faits à l'origine de cette condamnation sont en substance les suivants. Le 30 juin 2008 aux environs de 5 h., l'immeuble locatif en construction "C._", sis à la rue D._ à B._, a été la proie des flammes. Il a été établi que le feu s'était déclaré dans un appartement du rez-de-chaussée dans lequel étaient entreposés des plaques et des rouleaux d'isolation, qui ont presque entièrement brûlé. La police a conclu que seule une intervention humaine délibérée pouvait être à l'origine du sinistre. La cour cantonale a admis, au bénéfice du doute, que X._, probablement mû par la curiosité, s'était introduit dans l'immeuble en question le 30 juin 2008 à 4 h. 45 environ. Il voulait monter à l'étage et a cherché les escaliers. La lumière du jour n'étant pas encore suffisante et l'immeuble n'étant pas éclairé, il a allumé ce qu'il avait sous la main, savoir un journal, pour voir plus clair. Après avoir constaté qu'il n'y avait pas d'escaliers, il a décidé de quitter les lieux et a laissé tomber par terre sa torche improvisée sans plus s'en préoccuper. Il a rejoint l'ami qui l'attendait devant l'immeuble et s'est empressé de lui dire "Viens, on part", de telle manière que celui-ci a immédiatement pensé qu'il y avait un problème. La cour cantonale a admis que X._ ne pouvait pas ne pas avoir perçu le grave risque d'incendie causé par son comportement et que sa volonté de s'éloigner rapidement de l'immeuble montre bien qu'il avait constaté le début d'incendie ou pour le moins qu'il s'était rendu compte du risque concret qu'il avait créé. C. X._ forme un recours en matière pénale contre cet arrêt. Il invoque une violation de l'art. 263 CP et soutient que l'élément subjectif de l'incendie intentionnel n'est pas réalisé, de sorte que seul l'incendie par négligence peut entrer en considération, dans la mesure où l'art. 263 CP n'est pas applicable. Partant, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et à sa libération, l'ensemble des conclusions civiles retenues à son encontre étant rejetées. A titre éventuel, il conclut à ce que la cause soit renvoyée à l'autorité cantonale pour qu'elle statue à nouveau ou à ce qu'il soit déclaré coupable d'incendie par négligence. Il sollicite en outre l'assistance judiciaire.