Faits :
A.
Par jugement du 6 juin 2013, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ du chef de prévention d'infraction grave à la LStup. Il l'a condamné pour infraction et contravention à la LStup à une peine privative de liberté de dix-huit mois, sous déduction de 113 jours de détention avant jugement, et à une amende de 1'500 francs. Il a suspendu l'exécution d'une partie de la peine privative de liberté portant sur neuf mois et fixé le délai d'épreuve à cinq ans. En cas de non-paiement fautif de l'amende, la peine privative de liberté de substitution était fixée à quinze jours. Cette autorité a renoncé à révoquer le sursis accordé le 30 novembre 2005 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois. Elle a dit que X._ est le débiteur de l'État de Vaud d'une créance compensatrice de 5'000 fr., mis une partie des frais de la cause à sa charge, par 30'810 fr. 85, et ordonné la confiscation et la dévolution à l'État, à hauteur de 35'810 fr. 85, d'avoirs bancaires de l'intéressé.
B.
Par jugement du 14 janvier 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et admis partiellement l'appel joint du ministère public. Elle a modifié le jugement du 6 juin 2013 en ce sens qu'elle a libéré X._ du chef de prévention d'infraction grave à la LStup, elle l'a condamné pour infraction et contravention à la LStup à une peine privative de liberté ferme de dix-huit mois, sous déduction de 113 jours de détention avant jugement, et à une amende de 1'500 francs. En cas de non-paiement fautif de l'amende, la peine privative de liberté de substitution était fixée à quinze jours. Cette autorité a renoncé à révoquer le sursis accordé le 30 novembre 2005 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois. Elle a dit que X._ est le débiteur de l'État de Vaud d'une créance compensatrice de 25'000 fr., mis une partie des frais de la cause à sa charge, par 30'810 fr. 85, et ordonné la confiscation et la dévolution à l'État, à hauteur de 50'810 fr. 85, d'avoirs bancaires de l'intéressé. Les frais d'appel ont été mis pour trois quarts à la charge de X._, le solde étant laissé à la charge de l'État.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 14 janvier 2014. Il conclut principalement à son annulation et au renvoi de la cause à l'autorité précédente pour complément d'instruction dans le sens des considérants et nouveau jugement. Subsidiairement, il requiert que la peine privative de liberté prononcée soit ramenée à huit mois au plus et assortie du sursis, que la créance compensatrice mise à sa charge en faveur de l'État de Vaud soit arrêtée à 5'000 fr. et que la part des frais de justice mise à sa charge pour les instances précédentes soit réduite dans une proportion fixée à dire de justice. Il produit une pièce nouvelle et sollicite l'assistance judiciaire.
Interpellés, l'autorité précédente a renoncé à se déterminer, le ministère public a conclu au rejet. X._ a répliqué.

Considérant en droit :
1.
Dès lors qu'elle ne résulte pas de l'arrêt attaqué, la pièce nouvelle est irrecevable (<ref-law>).
2.
Le recourant invoque une violation de l'<ref-law> ainsi qu'une appréciation des preuves et une constatation des faits arbitraires.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. D'après la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou heurte de manière choquante le sentiment de la justice et de l'équité. Pour que cette décision soit annulée, il faut qu'elle se révèle arbitraire non seulement dans ses motifs mais aussi dans son résultat (<ref-ruling> consid. 6.1 p. 205).
La présomption d'innocence, garantie par les <ref-law> et 32 al. 1 Cst., ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
2.2. Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266).
2.3. Le recourant s'en prend au fait retenu par l'autorité précédente qu'il aurait mis sur pied plusieurs cultures indoor de cannabis à S._ "à tout le moins depuis 2008 et jusqu'en novembre 2011" (jugement attaqué, p. 14 ch. 3.1). Il estime qu'aucun élément du dossier ne permettait de retenir de culture sur quatre ans.
Le jugement attaqué ne l'explique en effet pas. Les éléments au dossier cités par le recourant (déclarations du recourant et de sa compagne, facture d'électricité) ne permettent pas de retenir la mise sur pied d'une culture indoor avant le 1er novembre 2010. De plus, les locaux de S._ ont été perquisitionnés les 28 et 29 septembre 2011 et le recourant détenu provisoirement du 28 septembre 2011 au 18 janvier 2012. On ne voit dès lors pas que l'on puisse lui reprocher une activité délictuelle à S._ avant le 1er novembre 2010 et après le 28 septembre 2011.
Le recourant affirme que ce constat erroné aurait des conséquences sur le jugement attaqué. Tel n'apparaît toutefois pas être le cas. Tout d'abord, si la durée pendant laquelle le recourant a procédé à des cultures indoor à S._ apparaît certes plus courte que celle constatée par l'autorité précédente, les quantités de chanvre cultivé retenues à charge du recourant correspondent à celles admises pendant la durée reconnue par le recourant, soit 600 plants de chanvre ayant permis la production de 3'000 g de cannabis (jugement attaqué, p. 14 ch. 3.1 et p. 22 reprenant les premières déclarations du recourant lors de son audition du 28 septembre 2011). Le recourant ne présente pas de grief d'arbitraire recevable au regard de l'<ref-law> s'agissant de ces dernières constatations. Ensuite, la lecture du jugement entrepris ne permet pas de penser que l'autorité précédente se serait fondée, notamment pour fixer la peine ou décider du refus du sursis, sur l'existence d'une culture indoor à S._ avant novembre 2010 ou après septembre 2011. Faute pour la décision d'être insoutenable dans son résultat, le grief d'arbitraire soulevé est infondé, dans la mesure où il est recevable.
2.4. Le recourant remet en cause le constat qu'il a vendu en 2009 1'200 g de cannabis provenant d'une plantation intérieure (jugement attaqué, p. 15, premier paragraphe). Faute de motivation suffisante (<ref-law>), son grief est irrecevable.
2.5. L'autorité précédente a retenu que le recourant avait réalisé, entre 2008 et 2011, à son domicile de T._, trois cultures extérieures, obtenant environ 2'100 g de cannabis. Il a revendu 300 g de cette marchandise à des tiers pour un chiffre d'affaires compris entre 1'200 et 2'000 fr. (jugement attaqué, p. 15, deuxième paragraphe).
Le recourant estime qu'une activité délictueuse en 2008 à "T._ (xxx) " n'est pas établie (recours, p. 7 s.). Lors de l'audience de première instance, le recourant avait déclaré avoir effectué au à xxx trois cultures extérieures, sur trois années différentes, sauf erreur avec une année de pause entre chaque culture. Il a également déclaré qu'il était possible qu'il ait commencé à cultiver à cet endroit en 2008 (jugement de première instance, p. 13). Ses déclarations, qui correspondaient à celles faites à la police, permettent à elles seules de considérer qu'il n'était pas arbitraire de retenir que le recourant avait également réalisé des cultures extérieures de chanvre en 2008. Que la quantité vendable de marchandises cultivées durant cette année n'ait pas été précisément déterminée ne rend pas cette constatation insoutenable. Le grief d'arbitraire sur ce point doit être rejeté.
2.6. Il ne sera pour le surplus pas tenu compte des faits invoqués par le recourant, qui ne ressortent pas du jugement entrepris, sans que l'arbitraire de leur omission ne soit exposé conformément aux exigences posées par l'<ref-law>.
3.
Le recourant soutient que la renonciation à analyser la teneur en THC des produits saisis lors des perquisitions, malgré ses demandes, était arbitraire et inacceptable. Il invoque l'ordonnance du DFI du 30 mai 2011 sur les tableaux des stupéfiants, des substances psychotropes, des précurseurs et des adjuvants chimiques (OTStup-DFI; RS 812.121.11), entrée en vigueur le 1er juillet 2011, dont l'annexe fixe à 1% le THC minimum pour que du chanvre ou des plantes de chanvre soient qualifiés de stupéfiants. Il estime que cette nouvelle réglementation impose dans chaque cas particulier et pour autant que cela soit réalisable de procéder à des analyses pour définir la teneur en THC des produits cultivés ou vendus.
3.1.
3.1.1. Jusqu'au 30 juin 2011, l'art. 1 al. 2 let. a ch. 4 aLStup considérait le chanvre comme stupéfiant. L'art. 8 al. 1 let. d aLStup interdisait quant à lui la culture, l'importation, la fabrication ou la mise dans le commerce du chanvre en vue d'en extraire des stupéfiants, et la résine de ses poils glanduleux (haschisch). L'art. 19 al. 1 aLStup sanctionnait d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire celui qui, sans droit, cultivait du chanvre en vue de la production de stupéfiants.
Toute détention ou vente de chanvre n'était pas punissable. Selon la jurisprudence, les différentes formes commerciales du chanvre n'étaient considérées comme des stupéfiants au sens de la loi que si la teneur en THC était supérieure à la limite légale, à savoir 0,3 %, tel que fixé dans l'annexe 4 de l'ordonnance du 7 décembre 1998 de l'OFAG sur le catalogue des variétés de céréales, de pommes de terre, de plantes fourragères, de plantes oléagineuses et à fibres ainsi que de betteraves (RS 916.151.6) abrogée au 1er juillet 2013 (cf. <ref-ruling> consid. 1 p. 200). En outre, pour que la culture ou la vente de chanvre soit punissable, il fallait que le but visé soit effectivement l'extraction de stupéfiants (<ref-ruling> consid. 1.1 p. 86).
Selon la jurisprudence développée avant le 1er juillet 2011, l'absence d'analyse du chanvre aux fins de déterminer quelle était sa teneur en THC ne suffisait pas à exclure qu'il pouvait être consommé comme stupéfiant. L'analyse du chanvre, en tant qu'elle permettait de déterminer sa teneur en THC et, partant, son effet psychotrope, était sans doute le moyen le plus adéquat et le plus sûr pour établir s'il pouvait être consommé comme stupéfiant. Il ne s'agissait toutefois que d'un moyen de preuve parmi d'autres. La réalisation de l'élément objectif de l'infraction pouvait aussi être admise sur la base d'un ensemble d'éléments ou d'indices convergents propres à l'établir de manière suffisante. A titre d'exemple, la jurisprudence mentionnait les éléments ou indices suivants: l'auteur admet lui-même que le chanvre qu'il cultive ou vend peut être consommé comme stupéfiant, il est établi que des personnes qui ont acquis le chanvre l'ont consommé comme stupéfiant, l'auteur écoule ses produits à des prix nettement plus élevés que ceux des mêmes produits dépourvus d'effet psychotrope, il vend également des objets habituellement utilisés par des fumeurs de drogue, etc. (arrêt 6S.363/2001 du 27 juin 2001 consid. 1b).
3.1.2. Depuis le 1er juillet 2011, il n'est plus nécessaire de démontrer qu'une culture est destinée à l'extraction de stupéfiants. L'<ref-law> sanctionne ainsi celui qui, sans droit, cultive, fabrique ou produit de toute autre manière des stupéfiants. Aux termes de l'<ref-law>, sont des stupéfiants les substances et préparations qui engendrent une dépendance et qui ont des effets de type morphinique, cocaïnique ou cannabique et celles qui sont fabriquées à partir de ces substances ou préparations ou qui ont un effet semblable à celles-ci. Le Département fédéral de l'intérieur établit la liste des stupéfiants, des substances psychotropes, des précurseurs et des adjuvants chimiques; à cet effet, il se fonde en principe sur les recommandations des organisations internationales compétentes (<ref-law>). L'art. 8 al. 1 let. d LStup interdit la culture, l'importation, la fabrication ou la mise dans le commerce des stupéfiants ayant des effets de type cannabique.
Se fondant sur l'<ref-law>, le Département fédéral de l'intérieur a établi, le 30 mai 2011, l'OTStup-DFI. Entrée en vigueur le 1er juillet 2011, elle qualifie de stupéfiants le cannabis, soit la plante de chanvre ou parties de plante de chanvre présentant une teneur totale moyenne en THC de 1,0 % au moins et tous les objets et préparations présentant une teneur totale en THC de 1,0 % au moins ou fabriqués à partir de chanvre présentant une teneur totale en THC de 1,0 % au moins (<ref-law> et le tableau a à d de son annexe 1).
Ni la LStup dans sa version en vigueur depuis le 1er juillet 2011, ni l'OTStup-DFI n'impose de méthode pour déterminer si le THC atteint une teneur de 1,0%. Contrairement à ce que le recourant soutient, la seule indication dans l'OTStup-DFI - et plus seulement dans la jurisprudence fondée sur l'annexe 4 de l'ordonnance de l'OFAG précitée -, d'un taux plancher ne saurait imposer de procéder à l'analyse du THC des produits litigieux, sous peine que ceux-ci ne puissent être qualifiés de stupéfiants. Même en l'absence de calcul scientifique du taux, l'élément objectif de l'infraction peut être considéré comme réalisé sur la base d'un ensemble d'éléments ou d'indices convergents propres à l'établir de manière suffisante, comme le prévoyait la jurisprudence exposée ci-dessus.
3.2. En l'espèce, l'autorité précédente a en substance retenu que les produits cultivés et vendus avaient été consommés comme stupéfiants par le recourant et par des tiers. De plus, le recourant avait loué un local et l'avait aménagé, consentant ainsi des investissements considérables pour ses cultures. Elle a constaté, au vu de ces circonstances, qu'il ne faisait aucun doute que l'activité du recourant tombait sous le coup de l'art. 19 ch. 1 aLStup et 19 al. 1 LStup dans ses teneurs en vigueur tant avant qu'après le 1er juillet 2011, ce même en l'absence d'analyse du taux en THC des plants saisis (jugement attaqué p. 20 let. 3.2). Elle a donc admis que le chanvre cultivé ou vendu avant le 1er juillet 2011 avait une teneur en THC supérieure à 0,3% et visait l'extraction de stupéfiants et que celui cultivé ou vendu après cette date avait une teneur en THC supérieure à 1%.
3.3. Le recourant n'attaque cette appréciation que s'agissant des produits saisis en septembre 2011, soit 63 branches de chanvre séchées issues de la culture de S._, 137 plants de cannabis saisis à S._, 22 plants cultivés à T._ et 240 g brut de cannabis (jugement attaqué, p. 14). Il ne formule aucun grief quant aux activités antérieures à cette période, de sorte qu'il n'y a pas lieu d'y revenir.
A l'encontre de l'appréciation cantonale, le recourant rappelle qu'il est lui-même un consommateur de cannabis sous diverses formes. Cela n'enlève rien au fait constaté qu'il vendait sa production, qu'elle vienne de S._ ou de T._, pour être consommée comme stupéfiants, le jugement entrepris ne retenant aucune autre utilisation. Le recourant relève qu'il "ne s'agit pas d'une seule et unique culture uniforme, mais de différentes cultures pratiquées dans différents lieux avec différentes méthodes" (recours, p. 8 s.). Une telle affirmation est insuffisante à démontrer qu'il était arbitraire d'admettre que le taux de THC décisif était atteint. Le recourant allègue que "le prix de vente de certains produits paraît en outre très bas et, dans certains cas, la marchandise peinait visiblement à trouver preneur" (recours, p. 9). Ce dernier fait ne ressort pas du jugement entrepris, sans que le recourant n'invoque l'arbitraire de son omission, ni même quelle preuve l'établirait. Rien n'indique en outre que cette affirmation concerne les produits saisis et que la difficulté de vente invoquée tienne à la teneur insuffisante en THC. Que le recourant ait prévu de vendre la marchandise cultivée à T._ entre 3 et 5 fr. le gramme (jugement attaqué, p. 14 s.) n'est pas non plus suffisant à démontrer l'arbitraire de la constatation que cette marchandise avait une teneur moyenne en THC supérieure ou égale à 1%. A cet égard, on relève que le recourant a reconnu "fumer" tant la marchandise produite à S._ que celle produite à T._ (procès-verbal du 28 septembre 2011, p. 5), élément qui renforce encore la constatation que les produits saisis en septembre 2011 constituaient des stupéfiants.
Assisté depuis le début de la procédure, le recourant affirme n'avoir cessé de requérir une analyse des produits saisis (recours, p. 9). Il n'indique ni quand ni auprès de quelle autorité il aurait entrepris une telle demande et il n'appartient pas au Tribunal fédéral de le rechercher lui-même dans le dossier. A tout le moins doit-on constater qu'une telle requête n'a pas été formulée lors de la procédure d'appel (jugement attaqué, p. 13 a contrario). La critique est ainsi irrecevable faute d'épuisement des instances cantonales (<ref-law>). Quoi qu'il en soit, il résulte de ce qui précède que le grief d'arbitraire quant à la constatation de la teneur en THC des produits saisis est infondé.
4.
Le recourant estime que les ventes liées à la plantation "indoor" en 2009 doivent être appréhendées sous l'angle de l'<ref-law> dès lors que le bénéfice dégagé ne servait qu'à financer sa consommation.
L'<ref-law> sanctionne celui qui, sans droit, aura consommé intentionnellement des stupéfiants ou celui qui aura commis une infraction à l'<ref-law> pour assurer sa propre consommation.
La jurisprudence a adopté une conception restrictive de l'<ref-law>. L'application de cette circonstance atténuante spéciale est exclue dès que les infractions à l'<ref-law> conduisent des tiers à faire usage de stupéfiants (<ref-ruling> consid. 3b p. 203). Celui qui, ne serait-ce que pour satisfaire ses propres besoins, se livre au trafic, vend ou permet à autrui, soit à des consommateurs potentiels, de se procurer de la drogue, ne peut bénéficier de l'<ref-law> (<ref-ruling> consid. 3d p. 204).
Dès lors que le recourant a vendu une partie du chanvre pour prétendument assurer sa consommation, il ne peut se prévaloir de l'<ref-law>.
5.
Le recourant se plaint que les autorités précédentes ne l'aient pas soumis à une nouvelle expertise psychiatrique. Il invoque le caractère ancien de celle du 20 août 2004 posant le diagnostic de trouble de la personnalité dyssociale et conduisant à retenir une diminution de responsabilité de très légère à légère. Il soulève une violation des art. 19 et 20 CP.
5.1. En vertu de l'<ref-law>, l'autorité d'instruction ou le juge ordonne une expertise s'il existe une raison sérieuse de douter de la responsabilité de l'auteur.
L'autorité doit ordonner une expertise non seulement lorsqu'elle éprouve effectivement des doutes quant à la responsabilité de l'auteur, mais aussi lorsque, d'après les circonstances du cas particulier, elle aurait dû en éprouver, c'est-à-dire lorsqu'elle se trouve en présence d'indices sérieux propres à faire douter de la responsabilité pleine et entière de l'auteur (<ref-ruling> consid. 3.3 p. 147; arrêt 6B_130/2012 du 22 octobre 2012 consid. 2.3 non reproduit aux <ref-ruling>). Le juge peut cependant se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. Dans ce contexte, il y a lieu de respecter le principe de la proportionnalité. L'élément déterminant n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps. Suivant les circonstances, il est également possible de se contenter d'un complément apporté à une expertise précédente (<ref-ruling> consid. 4.3 p. 254). Savoir si les circonstances se sont modifiées depuis la première expertise relève du fait (<ref-ruling> consid. 2a p. 238; <ref-ruling> consid. 2 p. 99 s.). Déterminer si les circonstances nouvelles dûment constatées imposent de réitérer l'expertise est une question d'appréciation, soit de droit (<ref-ruling> consid. 2 p. 163). Ces principes s'appliquent tant en matière de mesures (cf. <ref-law>) que lorsqu'il s'agit d'examiner la responsabilité pénale au sens des art. 19 et 20 CP.
5.2. Le recourant motive son grief par les circonstances qui auraient changé depuis 2004. Dès lors qu'il se fonde sur des faits qui s'écartent de ceux constatés dans le jugement entrepris, sans démontrer l'arbitraire de leur omission, son grief est irrecevable. Il en va notamment de sa consommation de cannabis, qu'il invoque être de 200 g par mois, sur la base de ses seules déclarations en audience d'appel, alors que le jugement attaqué retient une consommation d'un gramme par jour. Le recourant soutient être désormais suivi sur le plan psychiatrique, attestation médicale du Dr A._ du 1er juin 2012 (pièce 180/1) à l'appui. Un tel suivi ne résulte pas du jugement entrepris et est clairement contredit par les déclarations du recourant qui indiquait lors de l'audience de première instance du 4 juin 2013 ne plus avoir vu ce psychiatre depuis une année. Le recourant affirme que la rente AI dont il bénéficie lui aurait été versée pour des motifs psychiatriques. Un tel motif n'est pas documenté. Le recourant n'y fait en outre pas mention lors des débats d'appel, invoquant à cette occasion uniquement des problèmes intestinaux (jugement attaqué, p. 6).
Au final, les seuls éléments nouveaux avérés depuis l'expertise de 2004 sont le constat d'une consommation irrégulière par le recourant de cocaïne et l'aveu d'une consommation de cannabis "sous toutes ses formes" plus importante que celle admise en 2004. De tels éléments ne justifiaient pas de considérer, sous peine d'arbitraire, que l'état psychiatrique du recourant avait fondamentalement changé entre 2004 et 2013. Ils n'imposaient en tout cas pas la mise en oeuvre d'une nouvelle expertise psychiatrique, mesure que le recourant, assisté dès le début de la procédure pénale par un conseil d'office, n'indique pas avoir demandée avant son recours en matière pénale auprès de la Cour de céans.
Le grief de violation de l'<ref-law> est ainsi infondé. Dès lors qu'une faculté plus réduite que celle retenue dans le jugement entrepris, p. 13 et 25 (cf. recours, p. 4 in fine), n'est pas établie, le grief de violation de l'<ref-law> ne peut lui également, dans la mesure de sa recevabilité, qu'être rejeté.
6.
Le recourant critique la quotité de la peine privative de dix-huit mois prononcée. Il y voit une violation de l'<ref-law>.
6.1. Les règles générales régissant la fixation de la peine ont été rappelées dans les arrêts publiés aux <ref-ruling> et 134 IV 17. Il y est renvoyé. S'agissant plus particulièrement de la peine à prononcer dans le cadre d'un trafic de stupéfiants, il est aussi fait référence aux arrêts 6B_107/2013 du 15 mai 2013 consid. 2.1.1 et 6B_921/2010 du 25 janvier 2011 consid. 2.1.
6.2. L'autorité précédente a constaté que le recourant avait cultivé en deux lieux distincts, et sur plusieurs années pour T._, du chanvre lui permettant d'obtenir plus de 5 kg de cannabis. Il a vendu une partie de cette production, ajoutée à celle acquise dans un troisième site, soit un total de 2'860 g de cannabis pour un chiffre d'affaires de 25'800 francs. 22 plants de chanvre ont en outre été saisis à son domicile, censés permettre une production de 4'400 grammes. Depuis le 21 août 2009, le recourant a consommé du cannabis à raison d'environ 1 g par jour et, de manière irrégulière, un total de 20 g de cocaïne (jugement attaqué, p. 14, 15 et 23).
L'autorité précédente a estimé que la gravité objective des faits était moyenne puisqu'il s'agissait de réprimer une activité délictueuse portant sur la culture de 7'260 g de chanvre (2'860 g et 4'400 g). D'un point de vue subjectif, en revanche le délit était grave. La vente était notamment destinée aux jeunes d'un village et le mobile s'apparentait peut-être pas exclusivement mais principalement à celui de l'appât du gain. Les minimisations du prévenu aggravaient encore ce constat. Son casier judiciaire était chargé d'une lourde condamnation et il avait agi en état de récidive spéciale. Les infractions étaient en concours. Au vu de l'ensemble de ces éléments, l'autorité précédente a retenu que la culpabilité du recourant devait être qualifiée de lourde et cela même si l'on tenait compte d'une responsabilité légèrement diminuée. La peine prononcée par les premiers juges était adéquate au vu de la culpabilité et de la situation personnelle du recourant. Elle devait être confirmée (jugement attaqué, p. 25 s.).
6.3. Le recourant estime que l'autorité de première instance, bien que constatant que sa responsabilité pénale était très légèrement diminuée, n'en avait pas tenu compte dans la fixation de la peine. En prenant en considération cette légère diminution de responsabilité tout en prononçant la même peine, l'autorité précédente aurait en réalité aggravé celle de base de 25% par rapport à celle prononcée en première instance. Il invoque l'<ref-ruling> consid. 6 selon lequel une diminution légère de responsabilité correspondrait en règle générale à une réduction de la peine de l'ordre de 25% et l'autorité qui entend s'écarter de cet ordre de grandeur devrait le motiver.
L'autorité d'appel n'a pas à "confirmer" la peine prononcée en première instance. Disposant d'un plein pouvoir d'examen en fait et en droit (cf. <ref-law>) sur les points attaqués (<ref-law>), en l'espèce notamment la quotité de la peine, elle doit examiner librement, en sa qualité de juridiction d'appel, les critères posés par l'<ref-law> et refixer la peine. La question de savoir si la peine prononcée par l'autorité précédente contrevient à l'<ref-law> doit ainsi être examinée à la lumière des différents critères à prendre en considération selon cette disposition et la jurisprudence développée en la matière et non par rapport à celle prononcée en première instance. Le grief est infondé à cet égard.
Pour le surplus, la jurisprudence ne s'applique plus telle quelle : en cas de diminution de la responsabilité pénale, le juge doit, d'abord, décider, sur la base des constatations de fait de l'expertise, dans quelle mesure la responsabilité pénale de l'auteur doit être restreinte sur le plan juridique et comment cette diminution de la responsabilité se répercute sur l'appréciation de la faute. Ensuite, le juge doit déterminer la peine hypothétique qui correspond à cette faute. La peine ainsi fixée peut enfin être modifiée en raison de facteurs liés à l'auteur (<ref-ruling> consid. 5.5 s. p. 59 s.). L'atténuation de la faute due à une responsabilité pénale limitée peut être compensée par d'autres éléments comme les mauvais antécédents (cf. <ref-ruling> consid. 2b p. 103 s.).
6.4. Le recourant estime arbitraire de retenir comme circonstance à charge que sa production était destinée aux jeunes du village.
Il ressort des dépositions des témoins cités par le recourant à l'appui de ce moyen que B._ avait 19 ans lorsqu'il a commencé à se fournir en cannabis auprès du recourant. Les autres personnes entendues étaient toutes âgées de 20 à 30 ans. Trois d'entre elles ont attesté que le recourant fournissait des stupéfiants à "des jeunes de U._", ce que le recourant a lui-même admis, dans ces termes, lors de son audition du 15 décembre 2011. Au vu de ces éléments, la constatation litigieuse n'est pas arbitraire.
La retenir comme circonstance à charge du recourant ne viole pas non plus l'<ref-law>. Rien ne permet au surplus de penser, comme le recourant le soutient, qu'il se serait agi de la principale circonstance à charge. En effet, l'autorité précédente a retenu également à ce titre le mobile du recourant, soit l'appât du gain. Le recourant a obtenu un tel gain, qui s'est élevé en trois ans à quelque 25'000 fr., alors qu'il détenait en banque, lors de son arrestation, des avoirs supérieurs à 100'000 fr. et ne supportait que peu de charges. Ce n'est donc pas qu'il avait besoin de l'argent rapporté par son trafic pour vivre ou pour financer sa propre consommation. Il souhaitait juste amasser plus d'argent, ce aux dépens des jeunes de son village. A cela s'ajoute la circonstance de la récidive. Le recourant avait été condamné le 30 novembre 2005 à une peine privative de liberté de dix-huit mois avec sursis pendant quatre ans pour notamment infraction et contravention à la LStup. Il avait alors été reconnu coupable d'avoir dérobé du chanvre dans un champ, d'en avoir cultivé, consommé et vendu occasionnellement à des copains et des connaissances (pièce 17, p. 23; <ref-law>). Le recourant a récidivé dès 2008, soit à peine plus de deux ans après cette condamnation, adoptant le même comportement qui avait conduit à sa condamnation, mais dans des proportions plus importantes. Ces éléments permettaient de retenir sans violation de l'<ref-law> que la faute du recourant était moyenne, même en présence d'une responsabilité légèrement diminuée.
6.5. Le recourant conteste l'existence d'un concours entre une infraction simple à la LStup et une contravention à la LStup, sanctionnées par des peines distinctes.
Le recourant a été condamné pour plusieurs comportements distincts constituant des infractions à la LStup, notamment la culture indoor de chanvre à S._ entre fin novembre 2010 et fin septembre 2011, la culture outdoor de chanvre à T._ entre 2008 et 2011, l'acquisition dans un troisième lieu de stupéfiants en 2009. Ces comportements constituent des infractions distinctes qui entrent en concours au sens de l'<ref-law>. Le grief est infondé.
6.6. Que cela soit sous l'ancien ou le nouveau droit, l'infraction réprimée par l'<ref-law> est sanctionnée d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. En présence d'un concours, la peine privative de liberté peut être augmentée jusqu'à un maximum de quatre ans et demi (<ref-law>).
Peu après sa condamnation pour des faits similaires, le recourant a récidivé, prenant les mesures nécessaires soit pour se procurer de la drogue auprès de tiers, soit pour la produire lui-même, ce de plusieurs façons et de manière de plus en plus professionnelle. Il a ensuite vendu lui-même cette drogue à proximité de son domicile, sans aucun effort et sans égard aux conséquences de ses actes sur la santé des jeunes à qui il procurait ces stupéfiants. Sa situation personnelle n'avait rien de difficile, vivant chez son amie sans payer de loyer et sans problème d'argent, vu notamment ses importantes économies. Les problèmes médicaux lourds dont il se prévaut ne sont aucunement établis, respectivement pertinents ici, si ce n'est ceux conduisant à retenir une légère diminution de responsabilité. Sa consommation de stupéfiants n'avait rien de décisif, malgré ce qu'il tente de faire croire aujourd'hui. Dans ces circonstances, le prononcé d'une peine privative de liberté de dix-huit mois ne procède pas d'un abus du large pouvoir d'appréciation conféré au juge par l'<ref-law>.
6.7. Le recourant invoque néanmoins que sa peine serait exagérément sévère au vu de trois cas jugés par le Tribunal fédéral.
Dans le cadre de la fixation de la peine, le recourant peut faire valoir une inégalité de traitement. Compte tenu toutefois des nombreux paramètres qui interviennent dans cette décision, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate. Il ne suffit pas que le recourant puisse citer un ou deux cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (<ref-ruling> consid. 3a p. 144 et les références citées). Les disparités en cette matière s'expliquent normalement par le principe de l'individualisation des peines, voulu par le législateur. Elles ne suffisent pas en elles-mêmes pour conclure à un abus du pouvoir d'appréciation (<ref-ruling> consid. 3.1 p. 193).
Le recourant cite l'arrêt 6S.358/2006 du 2 novembre 2006. Il s'agit apparemment de l'arrêt 6S.398/2006 rendu le même jour. Comme l'indique cette décision, ad consid. 2, les comparaisons fondées uniquement sur les quantités de stupéfiants ne sont d'emblée pas pertinentes, car celles-ci ne sont qu'un élément parmi d'autres pour fixer la peine (<ref-ruling> consid. 2b/aa); en outre, pour ce qui est des cas examinés par le Tribunal fédéral, le rejet d'un recours du condamné contre la quotité de la peine signifie uniquement que la peine n'a pas été considérée trop sévère, mais non pas qu'une peine plus sévère n'eût pas aussi été encore compatible avec le large pouvoir d'appréciation qu'accorde l'art. 63 aCP. Ces considérations valent ici mutatis mutandis.
Dans la cause 6S.398/2006, les actes reprochés étaient sensiblement différents de ceux retenus à l'encontre du recourant. L'intéressé n'avait en outre pas d'antécédents spécifiques et celui existant n'avait conduit qu'à une peine privative de liberté de six mois. Pour le surplus, il avait uniquement été examiné si la peine prononcée en première instance n'était pas excessive, non si elle aurait pu être augmentée. Le recourant ne peut rien tirer de cet arrêt.
L'<ref-ruling> traite d'un trafic de 300 kg de haschisch. L'intéressé s'est contenté de transporter cette drogue, mais non d'organiser sa fabrication, d'y procéder, puis de la vendre. Une infraction de recel a également été commise. Des circonstances atténuantes ont été retenues, à savoir la bonne réputation et les aveux de l'intéressé, circonstances absentes ici. Il n'apparaît en outre pas que ce dernier aurait des antécédents, qui plus est spécifiques. Les deux cas ne sont pas comparables.
Quant à l'<ref-ruling>, la quotité de la peine n'a pas été examinée, de sorte que le recourant ne saurait rien en tirer ici.
7.
Le recourant se plaint que le sursis ne lui ait pas été accordé.
7.1. Aux termes de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits (al. 1). En cas de condamnation dans les cinq ans qui précèdent l'infraction à une peine privative de liberté ferme ou avec sursis de six mois au moins, le sursis n'est possible qu'en présence de circonstances particulièrement favorables (al. 2).
Dans ce dernier cas, la présomption d'un pronostic favorable, respectivement du défaut d'un pronostic défavorable, ne s'applique plus, la condamnation antérieure constituant un indice faisant craindre que l'auteur puisse commettre d'autres infractions. L'octroi du sursis n'entre donc en considération que si, malgré l'infraction commise, on peut raisonnablement supposer, à l'issue de l'appréciation de l'ensemble des facteurs déterminants, que le condamné s'amendera. Le juge doit examiner si la crainte de récidive fondée sur l'infraction commise peut être compensée par les circonstances particulièrement favorables, soit des circonstances qui empêchent que l'infraction antérieure ne détériore le pronostic. Tel sera notamment le cas si l'infraction à juger n'a aucun rapport avec l'infraction antérieure ou que les conditions de vie du condamné se sont modifiées de manière particulièrement positive (<ref-ruling> consid. 4.2.3 p. 7).
Lorsque l'hypothèse visée par l'<ref-law> est réalisée, un sursis partiel au sens de l'<ref-law> est exclu (arrêt 6B_492/2008 du 19 mai 2009 consid. 3.1.3 non publié in <ref-ruling>).
7.2. Il résulte des constatations non arbitraires de l'autorité précédente qu'en 2009 le recourant a acquis 1'500 g de cannabis, dont il a consommé 300 g et vendu le solde pour un chiffre d'affaires de 12'000 francs. Dès 2008, il a également réalisé des cultures de chanvre à T._. Le recourant a perpétré ces infractions dans les cinq ans qui ont suivi sa condamnation pénale du 30 novembre 2005 à une peine privative de liberté de dix-huit mois avec sursis. Conformément à l'<ref-law>, le sursis, respectivement le sursis partiel, ne pouvait donc être accordé dans la présente cause qu'en présence de circonstances particulièrement favorables. L'application de cette disposition n'a dans les conditions d'espèce rien d'inéquitable ou d'inapproprié.
7.3. L'autorité précédente a estimé qu'on ne pouvait retenir de circonstances particulièrement favorables, le recourant, déjà condamné, ayant continué de minimiser les faits qui lui étaient reprochés tout au long de la procédure (jugement attaqué, p. 26).
Le recourant ne discute pas ce raisonnement. Il invoque en sa faveur l'écoulement du temps entre le jugement de 2005 et celui attaqué ainsi que le choc que la détention préventive subie aurait eu sur lui. Dans son cas, on ne peut toutefois que constater que la récidive est spécifique. A cela s'ajoute que malgré l'écoulement du temps et la détention subie, le recourant n'a pas fait en sorte de présenter lors de son jugement de circonstances particulièrement favorables. Il n'en invoque pas dans son recours. Dans ces conditions, le prononcé d'une peine ferme ne viole ni l'art. 42, ni l'<ref-law>.
8.
Le recourant conteste le montant de la créance compensatrice.
8.1. En vertu de l'<ref-law>, le juge prononce la confiscation des valeurs patrimoniales qui sont le résultat d'une infraction ou qui étaient destinées à décider ou à récompenser l'auteur d'une infraction, si elles ne doivent pas être restituées au lésé en rétablissement de ses droits. Aux termes de l'art. 71 al. 1 1ère phrase CP, lorsque les valeurs patrimoniales à confisquer ne sont plus disponibles, le juge ordonne leur remplacement par une créance compensatrice de l'État d'un montant équivalent. En règle générale, le montant de la créance compensatrice doit être arrêté selon le principe des recettes brutes (cf. <ref-ruling> consid. 4b bb p. 9; <ref-ruling> consid. 2a p. 20). Ce principe n'est cependant pas absolu. Dans tous les cas, il y a lieu de respecter le principe de la proportionnalité. Ainsi, l'<ref-law> prévoit que le juge peut renoncer totalement ou partiellement à la créance compensatrice s'il est à prévoir qu'elle ne serait pas recouvrable ou qu'elle entraverait sérieusement la réinsertion de la personne concernée. Le juge doit procéder à une appréciation globale de la situation de l'intéressé. Le cas échéant, il devra tenir compte du fait que le délinquant a dû emprunter une somme importante pour se lancer dans le trafic de stupéfiants ou qu'il doit subir une lourde peine privative de liberté. Une réduction ou une suppression de la créance compensatrice n'est admissible que dans la mesure où l'on peut réellement penser que celle-ci mettrait concrètement en danger la situation sociale de l'intéressé et que des facilités de paiement ne permettraient pas d'y remédier (ATF <ref-ruling> consid. 2a p. 20 s.).
8.2. L'autorité précédente s'est certes trompée en pensant confirmer la créance compensatrice prononcée en première instance (cf. jugement attaqué, p. 27). L'autorité de première instance avait fixé un montant de 5'000 fr., qui a été porté à 25'000 fr. par la cour d'appel. Ce nonobstant, cette dernière autorité est restée dans le cadre des conclusions formulées dans l'appel joint du ministère public, qui demandait un montant de 40'000 francs. L'autorité précédente a motivé le chiffre de 25'000 fr. en se fondant sur les recettes brutes réalisées par le recourant par les ventes de stupéfiants, estimées à 25'800 fr., et par conséquent arrêté le montant de la créance compensatrice à celui-ci, arrondi à 25'000 fr. (jugement attaqué, p. 26 s. ch. 6.1 s.). Au vu des avoirs bancaires du recourant et de ses revenus, l'autorité précédente a estimé que le paiement de cette créance compensatrice n'exposait pas le recourant à un danger concret de désocialisation. Elle a dès lors refusé de réduire son montant (jugement attaqué, p. 27).
8.3. Le recourant reproche à l'autorité précédente de s'être exclusivement basée, pour calculer les bénéfices retenus, sur des estimations et non sur des mises en cause précises. L'autorité précédente s'est fondée, pour retenir les estimations critiquées, sur les premières déclarations du recourant à la police, qu'elle a jugées probantes (jugement attaqué, p. 20 s.). Le recourant ne démontre pas l'arbitraire de cette appréciation, se bornant à se référer à celle différente sur ce point de l'autorité de première instance. Le Tribunal fédéral est par conséquent lié par la valeur probante donnée aux premières déclarations du recourant et par les chiffres que l'autorité précédente en a tirés. Pour le surplus, tenir compte d'estimations, fondées sur les aveux de l'intéressé, au lieu de mises en cause précises de tiers, assez rares à obtenir en pratique, n'est ni arbitraire, ni par principe contraire à l'<ref-law>. Le grief est infondé.
8.4. Le recourant invoque devoir supporter plusieurs dizaines de milliers de francs de frais de justice. Il s'agit de 30'810 fr. 85 pour la première instance et 9'022 fr. pour la seconde instance. Même en y ajoutant les 13'000 fr. de frais de justice dont le recourant a fait état aux débats d'appel (jugement attaqué, p. 13), il lui restera sur ses avoirs bancaires arrêtés à plus de 100'000 fr. (idem, p. 14), après déduction de ces montants et de la créance compensatrice, plus de 20'000 francs. Ses revenus mensuels s'élèvent quant à eux à plus de 4'300 fr., à savoir une rente AI mensuelle de 1'850 fr. et une rente mensuelle de sa caisse de pension de l'ordre de 2'500 fr. à 2'600 fr. (idem, p. 13). De telles circonstances ne justifiaient pas la réduction du montant de la créance compensatrice prononcée.
9.
Le recourant conteste la quotité des frais de justice mis à sa charge. A l'appui de ce grief, il se borne à invoquer qu'ils devront être déduits pour tenir compte des faits qui seront finalement retenus à sa charge et du fait que diverses mesures d'instruction (expertise graphologique par exemple) n'avaient aucune utilité dans le cadre de la procédure et qu'elles ont généré des coûts importants. Le premier argument est infondé, l'existence de constatations arbitraires ayant été écartée. Le deuxième argument est quant à lui irrecevable, faute d'être suffisamment motivé au sens des exigences posées par les art. 42 al. 2 et 106 al. 2 LTF.
10.
Le recours doit être rejeté dans la mesure où il est recevable. Il résulte de la situation personnelle du recourant, telle qu'exposée ci-dessus ad consid. 8.4, qu'il ne remplit pas l'exigence d'impécuniosité posée par l'<ref-law>, de sorte que l'assistance judiciaire doit lui être refusée. Le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 mai 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod