Faits: A. Par jugement du 24 août 2012, le Tribunal criminel du Littoral et du Val-de-Travers a condamné X._ pour crimes, délits et contraventions à la LStup, à une peine privative de liberté de 20 mois et a révoqué les sursis accordés le 21 novembre 2005 par le Verhöramt Nidwalden et le 20 novembre 2008 par le Bezirksgericht Zürich. Deux coprévenus, soit A._ et B._, ont également été condamnés, dans le cadre de la même affaire, pour des infractions à la LStup. B. Statuant sur l'appel formé par X._, la Cour pénale du Tribunal cantonal neuchâtelois l'a rejeté par jugement du 8 juillet 2013. En bref, il en ressort qu'il est reproché à X._ d'avoir, avec B._, cultivé, dans une halle à C._, du chanvre, produisant 18 kilos de marijuana et d'en avoir vendu 13 kilos, réalisant un chiffre d'affaires de 77'800 fr. et un bénéfice de 20'000 francs. Il lui est également reproché d'avoir consommé une quantité indéterminée de marijuana. Le 19 décembre 2011, X._ a été appréhendé à la clinique D._ et conduit à Neuchâtel où il a été entendu par la police, sans la présence d'un avocat. En substance, il a, lors de son interrogatoire, reconnu les faits qui lui sont reprochés. Lors de l'audience de jugement du 24 août 2012, il a modifié ses premières déclarations et a contesté intégralement les faits reprochés, sous réserve de sa consommation de marijuana. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert, par ailleurs, l'assistance judiciaire. Invités à se déterminer sur le recours, la cour cantonale y a renoncé se référant aux considérants de son arrêt et le Ministère public a conclu à son rejet, sans formuler d'observations.