Faits:
A. X._ a exploité jusqu'à trois magasins à l'enseigne "Y._", du 10 juillet 2001 au 3 septembre 2002, le dernier magasin ayant été ouvert le 19 janvier 2002. Une grande partie de ses ventes, soit environ 70%, était constituée de chanvre destiné à être fumé par les acheteurs. Il ressort des analyses effectuées que le taux de THC des échantillons examinés variait entre 5 et 11%. La quantité exacte de chanvre écoulée n'a pas pu être déterminée, mais la vente s'effectuait généralement par sachet de 5 grammes pour un prix de 25 francs et le chiffre d'affaires total réalisé dans les trois magasins entre juillet 2001 et fin août 2002 s'élève à environ 142'400 francs.
En outre, dans la cadre d'une enquête menée en 2004 dans le canton de Neuchâtel contre deux individus mêlés à un trafic de cocaïne, la police a découvert que X._ faisait partie de leurs clients et qu'il revendait une partie de la drogue obtenue. Ainsi, entre le 1er janvier 2004 et le 24 novembre 2004, il a acquis une quantité de 520 grammes de cocaïne, dont il a revendu au moins 165 grammes bruts, soit 57,75 grammes purs.
Par jugement du 21 janvier 2010, le Tribunal correctionnel de première instance du Jura a reconnu X._ coupable d'infractions graves à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et il l'a condamné à une peine privative de liberté de 15 mois, dont 6 mois fermes et 9 mois avec sursis et délai d'épreuve de 3 ans. Cette peine a été déclarée partiellement complémentaire à celle de 17 mois d'emprisonnement prononcée par le Tribunal cantonal jurassien le 29 janvier 2003 pour infractions simples et graves à la LStup pour des faits commis entre le 1er juin 1999 et le 12 mars 2002 et complémentaire à la peine pécuniaire de 15 jours-amende résultant du jugement du Tribunal du district de Sierre du 20 août 2008 pour dommages à la propriété, tentative de menaces et injure, commis les 10 et 17 octobre 2007.
B. Statuant sur appel de X._ et du Ministère public, la Cour pénale du Tribunal cantonal du Jura a confirmé le jugement du 21 janvier 2010 par arrêt du 25 novembre 2010.
C. X._ forme un recours en matière pénale contre cette dernière décision, concluant à l'annulation de la peine prononcée à son encontre et à ce qu'une peine assortie du sursis complet soit fixée, subsidiairement, à ce que la cause soit renvoyée à l'autorité cantonale pour nouvelle décision.
Invités à se déterminer, la Cour pénale du Tribunal cantonal et le Ministère public n'ont pas formulé d'observations.

Considérant en droit:
1. Les faits reprochés au recourant se sont produits entre 2001 et 2002 ainsi qu'en 2004. Ils sont ainsi antérieurs à l'entrée en vigueur, le 1er janvier 2007, de la loi fédérale du 13 décembre 2002 modifiant la partie générale du code pénal suisse (RO 2006 3459, 3535). Le nouveau droit, qui élève à vingt-quatre mois la limite pour l'octroi du sursis (<ref-law>), fixée à dix-huit mois selon l'ancien droit (art. 41 ch. 1 al. 1 aCP), est plus favorable au recourant en l'espèce (cf. infra consid. 2.3.2) et il est dès lors seul applicable à titre de lex mitior (<ref-law>).
2. Le recours ne porte que sur la peine.
2.1 La cour cantonale a qualifié la faute de l'intéressé de moyenne à grave, considérant que les infractions retenues à l'encontre de celui-ci portaient sur des quantités importantes de cannabis et de cocaïne et avaient été commises par métier en ce qui concernait la vente de chanvre, que la première procédure ouverte à son encontre et sa condamnation ne l'avaient pas dissuadé de commettre de nouvelles infractions à la loi sur les stupéfiants, mais également que sa responsabilité était légèrement diminuée et que sa situation actuelle était favorable. La cour cantonale a ensuite estimé que si les faits qui se sont déroulés du 10 juillet 2001 au 3 septembre 2002 avaient été jugés en même temps que les infractions qui ont fondé sa condamnation du 29 janvier 2003 à une peine d'emprisonnement de 17 mois, une peine privative de liberté de 24 mois aurait à tout le moins été prononcée. En outre, si le Tribunal du district de Sierre avait connu de l'infraction commise en 2004, il aurait prononcé une peine privative de liberté globale de 18 mois. Une peine privative de liberté de 25 mois devrait donc être infligée au recourant ([24 mois - 17 mois] + 18 mois). Le principe de célérité (art. 29 al. 1 Cst., 6 par. 1 CEDH et 14 par. 3 let. c Pacte ONU II) avait cependant été violé puisque, d'une part, plus de deux ans s'étaient écoulés entre le renvoi en jugement du recourant et la décision du 21 janvier 2010 et, d'autre part, les derniers actes punissables remontaient à 2004. Dès lors, la gravité de la violation dudit principe n'étant que relative, une réduction de la peine de 40% au plus était justifiée. La peine privative de liberté de 15 mois prononcée par le Tribunal correctionnel était dès lors adéquate.
2.2 Le recourant reproche en premier lieu à l'autorité cantonale d'avoir déclaré que la peine privative de liberté de 15 mois prononcée était complémentaire à la peine pécuniaire à laquelle il avait été condamné par le Tribunal de district de Sierre le 20 août 2008, une peine ne pouvant être complémentaire à une autre d'un genre différent.
2.2.1 Si le juge doit prononcer une condamnation pour une infraction que l'auteur a commise avant d'avoir été condamné pour une autre infraction, il fixe la peine complémentaire de sorte que l'auteur ne soit pas puni plus sévèrement que si les diverses infractions avaient fait l'objet d'un seul jugement (<ref-law>). Le prononcé d'une peine complémentaire suppose que les conditions d'une peine d'ensemble au sens de l'<ref-law> sont réunies (<ref-ruling> consid. 4b p. 244 et les références citées). Une peine additionnelle ne peut ainsi être infligée que lorsque la nouvelle peine et celle qui a déjà été prononcée sont du même genre. Des peines d'un genre différent doivent en revanche être infligées cumulativement car le principe d'absorption n'est alors pas applicable (arrêt 6B_26/2011 du 20 juin 2011 consid. 3.9.4; 6B_2/2011 du 29 avril 2011 consid. 4.2.4; 6B_460/2010 du 4 février 2011, destiné à la publication, consid. 4.3.1).
2.2.2 Dans la mesure où la cour cantonale prononçait une peine privative de liberté - seule envisageable pour sanctionner les infractions graves à la loi sur les stupéfiants commises par le recourant (cf. art. 19 ch. 1 et ch. 2 let. a aLStup, dans sa teneur en vigueur jusqu'au 1er juillet 2011; <ref-law>) - elle ne pouvait déclarer celle-ci complémentaire à la peine pécuniaire du 20 août 2008, mais devait infliger une peine indépendante.
Cela étant, le recourant ne conteste pas la quotité de sa peine. Il ne soutient d'aucune manière que l'irrégularité dénoncée aurait conduit dans le cas d'espèce à une sanction plus sévère que celle qui aurait dû lui être infligée si la peine prononcée n'avait pas été déclarée complémentaire et que ladite peine serait ainsi contraire au droit fédéral. Tel n'est d'ailleurs pas le cas compte tenu de l'ensemble des éléments retenus par la cour cantonale (cf. supra consid. 2.1) et du fait qu'une peine d'ensemble est nécessairement moins lourde que des peines indépendantes. Il ne se justifie dès lors pas d'annuler la décision entreprise et de renvoyer la cause à l'autorité précédente au seul motif que la peine privative de liberté de 15 mois a été déclarée complémentaire à une peine pécuniaire (cf. arrêt 6B_26/2011 du 20 juin 2011 consid. 3.9.4; 6B_785/2009 du 23 février 2010 consid. 5.5. in fine; <ref-ruling> consid 2c p. 105 et les références citées).
2.3 Le recourant soutient ensuite que la cour cantonale a violé les règles en matière de sursis. Elle n'aurait pas tenu compte du fait que la peine prononcée était partiellement complémentaire à celle du 29 janvier 2003 et elle lui aurait ainsi refusé à tort un sursis complet puisque la durée de la peine à prendre en considération était inférieure à 24 mois.
2.3.1 En cas de concours rétrospectif, la peine complémentaire ne peut être assortie du sursis à l'exécution si la durée totale de la ou des peines infligées auparavant, ajoutée à celle de la peine complémentaire, excède la durée maximale compatible avec l'octroi du sursis. Pareillement, lorsqu'il y a lieu de prononcer une peine partiellement complémentaire, le sursis ne peut être accordé si la partie complémentaire à la ou aux peines précédentes, ajoutée à celles-ci, dépasse la durée maximale compatible avec l'octroi du sursis. Il en va ainsi même si la ou les peines précédentes étaient assorties du sursis à l'exécution et que celui-ci n'est pas révoqué (<ref-ruling> consid. 1 p. 69 s. et les arrêts cités; arrêt 6B_941/2009 du 21 janvier 2010 consid. 3.2, publié in: SJ 2010 I p. 329).
2.3.2 La décision attaquée indique que "eu égard à la quotité de la peine à prendre en compte (peine complémentaire), seule la question du sursis partiel doit être examinée". Elle ne précise pas quelle est cette quotité. Il peut cependant être déduit de la formulation utilisée que la cour cantonale a tenu compte de l'entier de la peine de 15 mois, à laquelle elle a ajouté celle de 17 mois résultant de l'arrêt du Tribunal cantonal jurassien du 29 janvier 2003, faute de quoi on ne comprendrait pas comment la limite de vingt-quatre mois pour accorder le sursis complet (<ref-law>) pourrait être dépassée.
La cour cantonale a ainsi omis de tenir compte du fait que la peine prononcée n'est que partiellement complémentaire à celle d'emprisonnement du 29 janvier 2003 et qu'il ne devait pas en être intégralement tenu compte afin de déterminer si le recourant pouvait bénéficier du sursis. La partie complémentaire de la peine a été évaluée à sept mois par l'autorité cantonale pour les faits qui se sont déroulés du 10 juillet 2001 au 3 septembre 2002 ([24 mois - 17 mois]; cf. supra consid. 2.1), ce qui n'est pas contesté par le recourant. Après déduction de la part de 40% retenue afin de tenir compte de la violation du principe de célérité et ajout de la peine déjà prononcée de 17 mois, la durée de la peine à prendre en considération s'élève à 21,2 mois, ainsi que l'a calculé le recourant. Celle-ci est donc inférieure à vingt-quatre mois et l'autorité cantonale ne pouvait pas exclure le sursis complet au motif que la limite prévue par l'<ref-law> était dépassée. Elle a ainsi violé le droit fédéral en excluant d'emblée un sursis complet. L'arrêt attaqué doit par conséquent être annulé et la cause renvoyée à l'autorité cantonale afin qu'elle statue à nouveau sur la question du sursis.
3. Il n'est pas perçu de frais judiciaires (<ref-law>). Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens qui lui seront versés par le canton du Jura (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à la Cour pénale du Tribunal cantonal du Jura pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais.
3. Le canton du Jura versera au recourant une indemnité de dépens de 3'000 fr.
4. Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton du Jura.
Lausanne, le 18 juillet 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Mathys Rieben