Faits:
A.
Par jugement du 24 août 2012, le Tribunal criminel du Littoral et du Val-de-Travers a condamné X._ pour crimes, délits et contraventions à la LStup, à une peine privative de liberté de 20 mois et a révoqué les sursis accordés le 21 novembre 2005 par le Verhöramt Nidwalden et le 20 novembre 2008 par le Bezirksgericht Zürich. Deux coprévenus, soit A._ et B._, ont également été condamnés, dans le cadre de la même affaire, pour des infractions à la LStup.
B.
Statuant sur l'appel formé par X._, la Cour pénale du Tribunal cantonal neuchâtelois l'a rejeté par jugement du 8 juillet 2013.
En bref, il en ressort qu'il est reproché à X._ d'avoir, avec B._, cultivé, dans une halle à C._, du chanvre, produisant 18 kilos de marijuana et d'en avoir vendu 13 kilos, réalisant un chiffre d'affaires de 77'800 fr. et un bénéfice de 20'000 francs. Il lui est également reproché d'avoir consommé une quantité indéterminée de marijuana.
Le 19 décembre 2011, X._ a été appréhendé à la clinique D._ et conduit à Neuchâtel où il a été entendu par la police, sans la présence d'un avocat. En substance, il a, lors de son interrogatoire, reconnu les faits qui lui sont reprochés. Lors de l'audience de jugement du 24 août 2012, il a modifié ses premières déclarations et a contesté intégralement les faits reprochés, sous réserve de sa consommation de marijuana.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert, par ailleurs, l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale y a renoncé se référant aux considérants de son arrêt et le Ministère public a conclu à son rejet, sans formuler d'observations.

Considérant en droit:
1.
Le recourant procède en allemand. Ce choix n'impose pas de déroger à la règle selon laquelle la langue de la procédure est généralement celle de la décision attaquée (<ref-law>), soit le français.
2.
Le recourant fait grief à la cour cantonale d'avoir violé les art. 130 let. b et c et 131 al. 3 CPP. En substance, le recourant soutient que la cour cantonale se serait principalement fondée sur ses déclarations à la police du 19 décembre 2011 pour le condamner. Lors de cet interrogatoire, il n'était pas assisté d'un avocat alors que tel aurait dû être le cas, les conditions posées à l'art. 130 let. b et c étant selon lui remplies. Par conséquent, le jugement entrepris devrait être annulé.
2.1.
2.1.1. L'<ref-law> définit les cas de défense obligatoire. En particulier, le prévenu doit avoir un défenseur s'il encourt une peine privative de liberté de plus d'un an ou une mesure entraînant une privation de liberté (let. b); ou si en raison de son état physique ou psychique ou pour d'autres motifs, il ne peut pas suffisamment défendre ses intérêts dans la procédure et ses représentants légaux ne sont pas en mesure de le faire (let. c).
Selon l'<ref-law>, en cas de défense obligatoire, la direction de la procédure pourvoit à ce que le prévenu soit assisté aussitôt d'un défenseur (al. 1). Si les conditions requises pour la défense obligatoire sont remplies lors de l'ouverture de la procédure préliminaire, la défense doit être mise en oeuvre après la première audition par le ministère public et, en tout état de cause, avant l'ouverture de l'instruction (al. 2). Les preuves administrées avant qu'un défenseur ait été désigné, alors même que la nécessité d'une défense aurait dû être reconnue, ne sont exploitables qu'à condition que le prévenu renonce à en répéter l'administration (al. 3).
2.1.2. Aux termes de l'<ref-law>, le ministère public ouvre une instruction lorsqu'il ressort du rapport de police, des dénonciations ou de ses propres constatations des soupçons suffisants laissant présumer qu'une infraction a été commise (let. a); lorsqu'il ordonne des mesures de contrainte (let. b); lorsqu'il est informé par la police conformément à l'<ref-law> (let. c). En application de l'al. 3, le ministère public ouvre l'instruction par une ordonnance dans laquelle il désigne le prévenu et l'infraction qui lui est imputée. L'ordonnance n'a pas à être motivée ni notifiée. Elle n'est pas sujette à recours.
Il existe une controverse sur le moment à partir duquel le prévenu doit être assisté d'un avocat dans le cadre de la procédure préliminaire. Toutefois, l'ensemble de la doctrine s'accorde à dire que, si les conditions pour une défense obligatoire sont remplies, le ministère public doit veiller à ce que le prévenu soit assisté d'un avocat à tout le moins au moment où il rend son ordonnance d'ouverture d'instruction au sens de l'<ref-law> ( NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2 e éd. 2013, n o 2 ad <ref-law>; MOREILLON/PAREIN-REYMOND, Petit Commentaire, Code de procédure pénale, 2013, n os 6-7 ad <ref-law>; NIKLAUS RUCKSTUHL, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n o 5 ad <ref-law>; HARARI/ALIBERTI, in Commentaire romand, Code de procédure pénale suisse, 2011, n o 7 ad <ref-law>; VIKTOR LIEBER, in Kommentar zur Schweizerischen Strafprozessordnung, Donatsch/Hansjakob/Lieber [éd.], 2010, n o 7 ad <ref-law>).
2.1.3. L'audition du prévenu est prévue aux <ref-law>. Ces dispositions figurent au Titre 4 du CPP intitulé « moyens de preuves ». L'audition du prévenu constitue un moyen de preuve. Lorsque l'audition se déroule alors qu'une ordonnance d'ouverture d'instruction a été rendue (<ref-law>) et qu'un cas de défense obligatoire était identifiable, l'<ref-law> rend en principe inexploitable l'audition du prévenu sans un défenseur, sauf si le prévenu renonce à la répétition de l'audition.
2.2. Aux termes de l'<ref-law>, est notamment puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire celui qui, sans droit, cultive, fabrique ou produit de toute autre manière des stupéfiants (let. a); celui qui, sans droit, entrepose, expédie, transporte, importe, exporte des stupéfiants ou les passe en transit (let. b); celui qui, sans droit, aliène ou prescrit des stupéfiants, en procure de toute autre manière à un tiers ou en met dans le commerce (let. c); celui qui, sans droit, possède, détient ou acquiert des stupéfiants ou s'en procure de toute autre manière (let. d); celui qui prend des mesures aux fins de commettre une des infractions visées aux let. a à f (let. g).
L'<ref-law> prévoit les cas aggravés pour lesquels une peine privative de liberté d'un an au moins doit être prononcée. Il en va notamment ainsi de l'auteur qui agit comme membre d'une bande formée pour se livrer de manière systématique au trafic illicite de stupéfiants (let. b) ou qui se livre au trafic par métier et réalise ainsi un chiffre d'affaires ou un gain important (let. c).
L'affiliation à une bande est réalisée lorsque deux ou plusieurs auteurs manifestent expressément ou par actes concluants la volonté de s'associer en vue de commettre ensemble plusieurs infractions indépendantes, même si elles ne sont pas encore déterminées (<ref-ruling> consid. 2 p. 159). Cette jurisprudence s'applique aussi en matière de stupéfiants (<ref-ruling> consid. 5.2 p. 137).
L'auteur agit par métier lorsqu'il résulte du temps et des moyens qu'il consacre à ses agissements délictueux, de la fréquence des actes pendant une période déterminée, ainsi que des revenus envisagés ou obtenus, qu'il exerce son activité coupable à la manière d'une profession, même accessoire. Il faut que l'auteur aspire à obtenir des revenus relativement réguliers représentant un apport notable au financement de son genre de vie et qu'il se soit ainsi, d'une certaine façon, installé dans la délinquance (<ref-ruling> consid. 2.1 p. 254). Est important un chiffre d'affaires de 100'000 francs (<ref-ruling> consid. 3.1 p. 190 ss) et un gain de 10'000 francs (<ref-ruling> consid. 2.2 p. 255 s.).
2.3. Il ressort du dossier cantonal que le procureur a ordonné, par décision du 9 décembre 2011, l'ouverture d'une instruction pénale au sens de l'<ref-law> contre le recourant « pour avoir à Zurich et en tout autre endroit de Suisse, cultivé d'importantes quantités de chanvre et vendu, notamment à A._, d'importantes quantités de stupéfiants » (pièce 1, p. 1 dossier cantonal). Il a en outre délivré un mandat d'investigation à la police au sens de l'<ref-law> afin, notamment, que le recourant soit entendu sur les faits reprochés (pièce 3, p. 11 s. dossier cantonal). Selon le rapport de police du 8 février 2012, dans le cadre d'investigations menées contre A._ pour trafic de stupéfiants, l'enquête avait permis d'établir que celui-ci était en affaires avec le recourant et B._ dès le mois de juin 2011. Le 16 novembre 2011, B._ a été arrêté alors qu'il était en discussion avec A._ et que 5 kilos de marijuana se trouvaient dans sa voiture (pièce 2, p. 2 ss dossier cantonal). Lors de son audition du 6 décembre 2011, B._ a notamment expliqué que la culture indoor de chanvre à C._ et les ventes de marijuana avaient été faites en commun avec le recourant. Le trafic portait sur plusieurs kilos de marijuana et le bénéfice dépassait 10'000 francs (cf. audition B._ du 6 décembre 2011, pièce 22, p. 92 ss dossier cantonal). Sur la base de cette mise en cause et des écoutes téléphoniques, le recourant a été entendu le 19 décembre 2011 par la police. Il ressort de son procès-verbal d'audition qu'il était entendu en qualité de prévenu dans le cadre d'une enquête concernant « des infractions LStup - pour avoir à Zurich et en tout autre endroit de Suisse, cultivé du chanvre et en avoir vendu d'importantes quantités » (pièce 11. p. 22 ss dossier cantonal).
Une instruction a ainsi été formellement ouverte contre le recourant le 9 décembre 2011. Au vu des informations à disposition du ministère public, le recourant était, à tout le moins dès ce moment, soupçonné de réaliser les conditions du cas grave au sens de l'art. 19 al. 2 let. b et c LStup. La peine privative de liberté à laquelle il s'exposait en cas de condamnation était de minimum un an. Il remplissait donc les conditions d'une défense obligatoire au sens de l'<ref-law>, qui était, au vu des informations à disposition de la police et du ministère public au moment de l'audition du recourant, d'emblée reconnaissable. En application de l'art. 131 al. 1 et 2 CPP, il appartenait au ministère public de pourvoir à ce que le recourant soit assisté d'un défenseur à tout le moins au moment de rendre l'ordonnance d'ouverture d'instruction.
Lors de l'audience de jugement du 24 août 2012, le recourant a été réentendu (pièce 339, p. 1359 ss dossier cantonal). A cette occasion, il est revenu sur ses déclarations du 19 décembre 2011 et a contesté l'ensemble des faits reprochés, sous réserve de sa consommation de marijuana. Dès lors que l'administration de la preuve a été répétée et que la nécessité d'une défense aurait dû être reconnue, l'audition du recourant du 19 décembre 2011 était inexploitable en application de l'<ref-law>. L'autorité de jugement devait donc écarter ces déclarations et ne pouvait les utiliser comme moyen de preuve pour condamner le recourant. Le jugement attaqué devra être annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. Il lui incombera de procéder à une nouvelle appréciation des preuves, sans l'audition du 19 décembre 2011.
3.
Le recourant obtient gain de cause. Il ne supporte pas de frais (art. 65 al. 2 et 66 al. 1 LTF). Il peut prétendre à de pleins dépens (<ref-law>). La requête d'assistance judiciaire est sans objet (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, le jugement attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Neuchâtel versera au conseil du recourant une indemnité de 3000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 17 février 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet