Faits : A. Par jugement du 7 novembre 2014, le Tribunal criminel des Montagnes et du Val-de-Ruz a condamné X._ pour infractions graves à la LStup (RS 812.121) et infractions à la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) à une peine privative de liberté de six ans, sous déduction de 394 jours de détention subie avant jugement. B. Par jugement du 27 mai 2015, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel joint du Ministère public de la République et canton de Neuchâtel et a admis partiellement l'appel de X._ en ce sens qu'elle a réduit à cinq ans et neuf mois la peine privative de liberté. En bref, il en ressort que X._, non-consommateur, a acquis et revendu, du 1 er septembre 2012 jusqu'à son arrestation le 10 octobre 2013, 2'699,5 grammes d'héroïne et 623,5 grammes de cocaïne. Il est en outre entré et a séjourné illégalement en Suisse entre le 1 er septembre 2012 et le 10 octobre 2013. C. Le Ministère public de la République et canton de Neuchâtel forme un recours en matière pénale au Tribunal fédéral contre le jugement du 27 mai 2015. Principalement, il conclut, avec suite de frais, à sa réforme en ce sens que la peine privative de liberté infligée à X._ soit augmentée à sept ans et demi. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision. Par ordonnance du 20 mai 2016, le Président de la Cour de droit pénal du Tribunal fédéral a admis la requête d'assistance judiciaire formée par X._. La cour cantonale a renoncé à se déterminer et s'est référée à son jugement. X._ a conclu au rejet du recours. Ses déterminations ont été adressées à la cour cantonale et au ministère public pour information.