Faits: A. X._ a exploité jusqu'à trois magasins à l'enseigne "Y._", du 10 juillet 2001 au 3 septembre 2002, le dernier magasin ayant été ouvert le 19 janvier 2002. Une grande partie de ses ventes, soit environ 70%, était constituée de chanvre destiné à être fumé par les acheteurs. Il ressort des analyses effectuées que le taux de THC des échantillons examinés variait entre 5 et 11%. La quantité exacte de chanvre écoulée n'a pas pu être déterminée, mais la vente s'effectuait généralement par sachet de 5 grammes pour un prix de 25 francs et le chiffre d'affaires total réalisé dans les trois magasins entre juillet 2001 et fin août 2002 s'élève à environ 142'400 francs. En outre, dans la cadre d'une enquête menée en 2004 dans le canton de Neuchâtel contre deux individus mêlés à un trafic de cocaïne, la police a découvert que X._ faisait partie de leurs clients et qu'il revendait une partie de la drogue obtenue. Ainsi, entre le 1er janvier 2004 et le 24 novembre 2004, il a acquis une quantité de 520 grammes de cocaïne, dont il a revendu au moins 165 grammes bruts, soit 57,75 grammes purs. Par jugement du 21 janvier 2010, le Tribunal correctionnel de première instance du Jura a reconnu X._ coupable d'infractions graves à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et il l'a condamné à une peine privative de liberté de 15 mois, dont 6 mois fermes et 9 mois avec sursis et délai d'épreuve de 3 ans. Cette peine a été déclarée partiellement complémentaire à celle de 17 mois d'emprisonnement prononcée par le Tribunal cantonal jurassien le 29 janvier 2003 pour infractions simples et graves à la LStup pour des faits commis entre le 1er juin 1999 et le 12 mars 2002 et complémentaire à la peine pécuniaire de 15 jours-amende résultant du jugement du Tribunal du district de Sierre du 20 août 2008 pour dommages à la propriété, tentative de menaces et injure, commis les 10 et 17 octobre 2007. B. Statuant sur appel de X._ et du Ministère public, la Cour pénale du Tribunal cantonal du Jura a confirmé le jugement du 21 janvier 2010 par arrêt du 25 novembre 2010. C. X._ forme un recours en matière pénale contre cette dernière décision, concluant à l'annulation de la peine prononcée à son encontre et à ce qu'une peine assortie du sursis complet soit fixée, subsidiairement, à ce que la cause soit renvoyée à l'autorité cantonale pour nouvelle décision. Invités à se déterminer, la Cour pénale du Tribunal cantonal et le Ministère public n'ont pas formulé d'observations.