Faits :
A.
Par ordonnance du 28 février 2014, le Ministère public du canton de Fribourg a classé la procédure ouverte contre X._ pour infraction à la LStup. Cette autorité a mis les frais de procédure par 1'203 fr. 55 à la charge de X._ et lui a refusé l'octroi d'une indemnité pour ses frais de défense ou pour tort moral.
B.
Par arrêt du 13 juin 2014, la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours formé contre cette ordonnance par X._.
C.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il requiert, avec suite de frais et dépens, l'annulation de cette décision, la mise des frais de première instance à la charge de l'Etat, l'octroi en sa faveur d'une indemnité de 4'500 fr. pour les dépenses occasionnées dans le cadre de l'enquête pénale par l'exercice de ses droits de procédure, ainsi que d'une indemnité de 1'522 fr. 80 pour la procédure de recours.

Considérant en droit :
1.
Le recourant invoque que la mise à sa charge des frais de procédure de première instance et le refus en sa faveur d'une indemnité au sens de l'art. 429 al. 1 let. a CPP pour cette procédure violent cette disposition, de même que les art. 32 al. 1 Cst., 6 par. 2 CEDH, 423 al. 1, 426 al. 2 et 430 al. 1 let. a CPP.
1.1. L'art. 426 al. 2 CPP prévoit que lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte. Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais ou le refus d'une indemnité, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'art. 41 CO. Le fait reproché doit constituer une violation claire de la norme de comportement (<ref-ruling> consid. 1b p. 334 et les références citées). Il doit en outre se trouver dans une relation de causalité adéquate avec l'ouverture de l'enquête ou les obstacles mis à celle-ci (<ref-ruling> consid. 2c p. 170 s. et plus récemment arrêt 6B_832/2014 du 24 avril 2015 consid. 1.2). Une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation (<ref-ruling> consid. 2c p. 171).
1.2. En vertu de l'art. 430 al. 1 let. a CPP, l'autorité pénale peut réduire ou refuser l'indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (art. 429 al. 1 let. a CPP) lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci.
La question de l'indemnisation du prévenu (art. 429 CPP) doit être traitée en relation avec celle des frais (art. 426 CPP). Si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue. En revanche, si l'Etat supporte les frais de la procédure pénale, le prévenu a en principe droit à une indemnité selon l'art. 429 CPP (<ref-ruling> consid. 2.4.2 p. 357).
1.3. En l'espèce, la cour cantonale a constaté que du matériel servant à cultiver du chanvre destiné à être utilisé comme stupéfiant avait été retrouvé chez le recourant, que celui-ci était parfaitement conscient du caractère illicite d'une telle production, qu'il avait toutefois choisi de ne pas détruire le matériel en question, mais de l'entreposer dans divers endroits de son exploitation. La présence de ce matériel, même démonté entièrement, était propre à faire naître le soupçon d'une culture illicite de chanvre et, dès lors, l'ouverture d'une enquête pénale. Le recourant avait ainsi créé consciemment et sans nécessité l'apparence qu'une infraction avait été ou pourrait avoir été commise. Ce comportement était susceptible de provoquer l'intervention des autorités répressives et l'ouverture d'une procédure pénale et, dès lors, de causer à la collectivité le dommage que constituent les frais liés à une instruction pénale ouverte inutilement. L'autorité précédente a dès lors jugé que les art. 426 al. 2 CPP et 430 al. 1 let. a CPP étaient applicables.
1.4. Il n'est pas reproché au recourant d'avoir cultivé, produit ou vendu des stupéfiants, mais uniquement d'avoir conservé chez lui des parties de matériel qui auraient pu y servir. Comme le relève le recourant, la motivation de l'arrêt attaqué n'indique pas quelle norme résultant de l'ordre juridique suisse, telle que définie ci-dessus ad consid. 1.1, aurait été violée par un tel comportement. Dans ces circonstances, le Tribunal fédéral ne peut contrôler la bonne application du droit fédéral, en particulier des art. 426 al. 2 et 430 al. 1 let. a CPP. Il convient donc d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité précédente afin qu'elle motive sa décision (art. 112 al. 3 LTF). Dans cette configuration, le Tribunal fédéral peut procéder au renvoi sans avoir préalablement ordonné un échange d'écritures (<ref-ruling> consid. 3.4.2 p. 296).
2.
Le recours doit être admis et l'arrêt annulé.
L'Etat de Fribourg, qui succombe, est dispensé des frais judiciaires (art. 66 al. 4 LTF). Il versera des dépens au recourant qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il est statué sans frais.
3.
L'Etat de Fribourg versera au recourant une indemnité de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 28 août 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod