Faits :
A.
Le 24 octobre 2014, X._ a été interpelé alors qu'il était passager d'une voiture faisant office de véhicule ouvreur d'une autre automobile. Dans l'un des pneus de celle-ci était dissimulé l'équivalent de 1'136 grammes de substance pure d'amphétamines et de 318,8 grammes de substance pure de MDMA. Il est également reproché à X._ d'avoir organisé le convoi des Pays-Bas vers A._.
B.
Par jugement du 7 mars 2017, le Tribunal pénal du Tribunal de première instance du canton du Jura a condamné X._ pour infraction grave et infraction simple à la LStup à une peine privative de liberté ferme de 36 mois, sous déduction de 167 jours de détention subis avant jugement.
C.
Par jugement du 19 septembre 2017, la Cour pénale du Tribunal cantonal du canton du Jura a rejeté l'appel formé par X._ et l'appel joint interjeté par le ministère public contre ce jugement et confirmé celui-ci.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 19 septembre 2017. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision et à être condamné à une peine privative de liberté de 36 mois, avec sursis partiel pendant 2 ans pour 30 mois, la peine privative de liberté ferme étant de 6 mois, sous déduction de 167 jours de détention avant jugement. Il requiert qu'il soit constaté que le jugement précité est pour le surplus entré en force. Subsidiairement, il sollicite l'annulation du jugement du 19 septembre 2017 et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Invités à se déterminer sur le recours, l'autorité précédente et le ministère public ont conclu à son rejet.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (<ref-ruling> consid. 1.1 p. 503).
Il résulte de ce qui précède que les faits allégués par le recourant qui ne résultent pas du jugement attaqué et ne sont pas accompagnés d'un grief d'arbitraire sont irrecevables.
2.
Le recourant ne conteste que le refus de l'autorité précédente d'assortir la peine privative de liberté de 36 mois prononcée d'un sursis partiel. Il invoque une violation de l'obligation de motiver posée par l'<ref-law> ainsi qu'une violation de l'<ref-law>.
2.1. Aux termes de cette disposition, le juge peut suspendre partiellement l'exécution d'une peine privative de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur (al. 1). La partie à exécuter ne peut excéder la moitié de la peine (al. 2). Tant la partie suspendue que la partie à exécuter doivent être de six mois au moins. Les règles d'octroi de la libération conditionnelle (<ref-law>) ne s'appliquent pas à la partie à exécuter (al. 3).
L'octroi d'un sursis partiel suppose, comme l'octroi du sursis complet (<ref-law>), l'absence de pronostic défavorable (<ref-ruling> consid. 7.4 p. 77 s.). Si le pronostic sur le comportement futur de l'auteur n'est pas défavorable, la loi impose un sursis au moins partiel à l'exécution de la peine (<ref-ruling> consid. 5.3.1 p. 10; plus récemment arrêt 6B_166/2017 du 16 novembre 2017 consid. 4.1). Le sursis total, respectivement partiel, est en effet la règle dont on ne peut s'écarter qu'en présence d'un pronostic défavorable. Il prime en cas d'incertitude (cf. <ref-ruling> consid. 2.1 p. 186; <ref-ruling> consid. 4.4.2). En revanche, un pronostic négatif exclut le sursis partiel. S'il n'existe aucun espoir que le sursis puisse avoir une quelconque influence sur l'auteur, la peine doit être exécutée intégralement (<ref-ruling> consid. 5.3.1 p. 10; plus récemment arrêt 6B_166/2017 précité consid. 4.1).
Pour émettre un pronostic sur le comportement futur de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les é léments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5). Le juge dispose d'un large pouvoir d'appréciation dans l'émission du pronostic. Le Tribunal fédéral n'intervient que s'il en a abusé (<ref-ruling>40 consid. 4.2 p. 143: plus récemment arrêt 6B_166/2017 précité consid. 4.1). Selon la jurisprudence, le défaut de prise de conscience de la faute peut justifier un pronostic défavorable (arrêts 6B_953/2017 du 28 mars 2018 consid. 5.2; 6B_186/2017 du 5 septembre 2017 consid. 1.1).
S'agissant de l'application de l'<ref-law>, le juge doit motiver sa décision de manière suffisante (cf. <ref-law>). Sa motivation doit permettre de vérifier s'il a tenu compte de tous les éléments pertinents et comment ils ont été appréciés (cf. <ref-ruling> consid. 2.1 p. 186).
2.2. En l'occurrence, l'autorité précédente a constaté que lors de son audition du 25 octobre 2014 par le ministère public, le recourant avait déclaré avoir déjà consommé de la marijuana mais n'avoir jamais pris d'autres stupéfiants. Il n'avait alors pas de domicile fixe et travaillait " un peu ". Il n'avait pas de compte bancaire et dormait dans un squat de A._. Lors de l'audience d'appel du 19 septembre 2017, le recourant a indiqué travailler depuis le 1er janvier 2017 à 100% à B._ et réaliser par cette activité un revenu mensuel de 3'800 francs (il y travaillait déjà de février à décembre 2016 à un taux de 40%, cf. procès-verbal d'audience du 17 septembre 2017, p. 3). Lors de l'audience d'appel, le recourant déclarait également ne plus consommer de cannabis et avoir changé son mode de vie.
S'agissant du sursis partiel, l'autorité précédente a jugé qu'un pronostic défavorable devait être posé. Le recourant avait été condamné à des peines pécuniaires et privative de liberté ferme pour des faits en relation avec les stupéfiants, quand bien même il ne s'agirait que de cannabis. Cela ne lui avait manifestement pas permis de prendre conscience de ses actes et de s'amender. Le recourant avait fait l'objet de condamnation pour trois délits et trois contraventions à la LStup dans un laps de temps de six ans (2009: peine privative de liberté de 144 jours et amende de 400 fr. pour lésions corporelles simples, dommages à la propriété, émeute, délit et contravention à la LStup; 2011: peine pécuniaire de 90 jours-amende, à 30 fr. le jour, pour délit à la LStup; 2013: peine pécuniaire de 30 jours-amende, à 30 fr. le jour, pour délit et contravention à la LStup; 2015: peine pécuniaire de 30 jours-amende, à 30 fr. le jour, et amende de 300 fr. pour incitation à l'entrée/sortie ou au séjour illégal et contravention à la LStup). Le recourant s'était à nouveau approché du milieu des stupéfiants à un degré encore plus important, comme le démontrait le jugement attaqué. La peine privative de liberté prononcée en 2009 et les peines pécuniaires ultérieures auxquelles le recourant avait été condamné n'avaient ainsi eu aucun effet sur le comportement qu'il aurait dû adopter. Il s'était au contraire adonné à un trafic de stupéfiants international concernant cette fois des drogues dures, ce qui illustrait le comportement du recourant. Son attitude en procédure, en partic ulier sa ténacité à nier les faits, démontrait également qu'il n'avait pas pris conscience de ses actes. Au niveau de sa situation personnelle, celle-ci n'apparaissait plus précaire dès lors que la source de revenu du recourant était a priori fixe et qu'il habitait désormais dans son propre appartement. Néanmoins, ces circonstances ne permettaient pas à elles seules l'octroi d'un sursis partiel au vu de l'intensité délictueuse dont il avait fait preuve. Le fait que la dernière instruction ouverte à l'encontre du recourant ait été clôturée par une ordonnance de classement n'était pas déterminant. Cette circonstance ne pouvait avoir qu'une influence limitée, dans la mesure où il est attendu de tout citoyen qu'il ne commette pas d'infraction, cela d'autant plus que les dernières infractions (art. 116 LEtr et <ref-law>), objets de la dernière condamnation du recourant du 11 novembre 2015, avaient été commises jusqu'au 15 septembre 2015, soit alors qu'il avait connaissance de la présente procédure.
2.3. Une telle motivation est suffisante au regard de l'<ref-law>. Le grief de violation de cette disposition est infondé.
Cela dit, le pronostic à poser pour trancher de la question du sursis doit porter sur le comportement futur prévisible de l'auteur. Or il est manifeste que l'autorité précédente a donné, dans l'établissement de ce pronostic, une portée trop importante aux précédentes condamnations du recourant et aux faits qui lui ont valu la condamnation objet de la présente procédure, sans tenir compte, suffisamment, de la manière dont le recourant semblait avoir repris en main sa vie, passant d'une existence entre travail précaire et nuits en squat, sans compte bancaire ni ressource fixe, à une vie apparemment stable, travaillant à 100 % et ayant son propre appartement. Au moment de l'audience d'appel, le recourant avait ainsi clairement beaucoup à perdre si la peine était prononcée à titre ferme dans son intégralité. Afin de maintenir sa situation actuelle et ne pas retomber dans la précarité qu'il connaissait avant, il avait également tout intérêt à ne pas récidiver pendant un délai d'épreuve. Ces éléments empêchaient de nier que le sursis partiel puisse avoir une influence, positive, sur le recourant. Ils parlaient clairement en faveur d'un pronostic à tout le moins non défavorable. Le poids donné aux antécédents du recourant pour refuser tout sursis est en outre d'autant plus excessif que ceux-ci concernent des actes beaucoup moins graves que ceux ayant conduit à la peine au sujet de laquelle le sursis partiel se pose. Enfin, le fait que le recourant n'ait pas commis de nouvelles infractions depuis le 16 septembre 2015 est certes dénué de pertinence dans la fixation de la peine, dès lors qu'un tel comportement correspond à ce que l'on doit pouvoir attendre de tout un chacun (cf. arrêts 6B_987/2017 du 12 février 2018 consid. 4.3.2; 6B_1428/2016 du 3 octobre 2017 consid. 4.2). Il doit en revanche être pris en considération dans l'établissement du pronostic nécessaire à l'application de l'<ref-law>, dès lors que l'absence de constat d'infraction durant deux ans est un signe allant à l'encontre d'un pronostic défavorable. Au vu des circonstances d'espèce et notamment de la manière dont le recourant a repris sa vie en main, son refus d'admettre les faits ainsi que ses condamnations pénales passées ne suffisaient pas pour poser un pronostic défavorable conduisant au refus de tout sursis. Celui-ci viole l'<ref-law>. La question du sursis partiel devra par conséquent être réexaminée en considération des circonstances personnelles du recourant au moment du nouveau jugement.
3.
Le recours devra ainsi être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour qu'elle se prononce à nouveau sur la question de l'octroi d'un sursis partiel.
Il ne sera pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Jura versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton du Jura.
Lausanne, le 30 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod