Faits :
A.
X._ a été déféré au Tribunal correctionnel de l'arrondissement de Lausanne par acte d'accusation du 17 décembre 2013 dressé par le Ministère public de l'arrondissement de Lausanne.
Comparaissant à l'audience de première instance assisté de son défenseur d'office, X._ a reconnu l'ensemble des faits qui lui étaient reprochés. Vu les aveux consentis et la nature de la cause, il a été convenu entre les parties d'appliquer, après la clôture de la procédure probatoire, la procédure simplifiée par analogie. Le procès-verbal d'audience mentionne ce qui suit:
" (...) Mme la Procureure propose que le prévenu soit libéré du chef d'accusation d'escroquerie (cas 3) et reconnu coupable d'abus de cartes-chèques et de cartes de crédit, de gestion fautive (cas 1) et de faux dans les titres (cas 2 et 3). Elle propose une peine de 18 mois d'emprisonnement, dont 12 mois avec sursis pendant 5 ans, la révocation du sursis accordé au prévenu par le tribunal de police de céans le 6 juin 2011 et la prise en charge par le prévenu de l'ensemble des frais.
Me Boschetti explique la situation à son client qui se déclare d'accord ".
X._ a signé le procès-verbal sous le texte susmentionné.
B.
Par jugement du 31 mars 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ du chef d'accusation d'escroquerie et constaté qu'il s'était rendu coupable d'abus de cartes-chèques et de cartes de crédit, de gestion fautive et de faux dans les titres. Il l'a condamné à une peine privative de liberté de 18 mois, dont 6 mois fermes et 12 mois avec sursis durant 5 ans. Il a en outre révoqué le sursis accordé à X._ par le Tribunal de police de l'arrondissement de Lausanne le 6 juin 2011.
C.
En temps utile, X._ a annoncé faire appel de ce jugement, puis déposé une déclaration d'appel motivée dans laquelle il a contesté la quotité de la peine et la révocation du sursis antérieur.
D.
Par jugement du 28 mai 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a déclaré l'appel de X._ irrecevable au motif qu'il ne remplissait pas les conditions de l'<ref-law>.
E.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à sa réforme, en ce sens que son appel est déclaré recevable. Subsidiairement, il requiert son annulation et le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire.
Invités à se déterminer sur le recours, la cour cantonale y a renoncé, se référant aux considérants de son jugement, cependant que le ministère public a conclu à son admission.

Considérant en droit :
1.
Le recourant invoque une violation des <ref-law>, relatifs à la procédure simplifiée.
1.1. En vertu de l'<ref-law>, jusqu'à la mise en accusation, le prévenu qui a reconnu les faits déterminants pour l'appréciation juridique ainsi que, au moins dans leur principe, les prétentions civiles, peut demander l'exécution d'une procédure simplifiée au ministère public. L'acte d'accusation contient entre autres la mention du fait que les parties renoncent à une procédure ordinaire ainsi qu'aux moyens de recours en acceptant l'acte d'accusation (art. 360 al. 1 let. h CPP). Le ministère public notifie l'acte d'accusation aux parties. Celles-ci doivent déclarer dans un délai de dix jours si elles l'acceptent ou si elles le rejettent (<ref-law>). Lors des débats, le tribunal interroge le prévenu et constate s'il reconnaît les faits fondant l'accusation et si sa déposition concorde avec le dossier (<ref-law>). Il ne procède à aucune administration des preuves (<ref-law>). A l'issue des débats, le tribunal apprécie librement si l'exécution de la procédure simplifiée est conforme au droit et justifiée, si l'accusation concorde avec le résultat des débats et le dossier et, enfin, si les sanctions sont appropriées (<ref-law>). Enfin, en déclarant appel du jugement rendu en procédure simplifiée, une partie peut faire valoir uniquement qu'elle n'accepte pas l'acte d'accusation ou que le jugement ne correspond pas à l'acte d'accusation (<ref-law>).
1.2. En bref, la cour cantonale a jugé que l'arrangement intervenu entre les parties en cours d'audience de première instance était susceptible de déployer les effets de la procédure simplifiée. La manière de procéder du Tribunal correctionnel était en effet conforme au but des <ref-law> et satisfaisait aux exigences procédurales posées par les art. 360 et 361 CPP, hormis la question du moment auquel l'arrangement était intervenu. La cour cantonale a toutefois considéré que cette question, de nature purement formelle, ne portait pas sur l'objet de la procédure, respectivement sur le contenu du jugement. Elle a encore relevé qu'en voulant soumettre leur cas à une telle procédure, dont l'application par analogie était expressément prévue dans leur convention, les parties avaient manifestement entendu régler le sort de la cause pénale en en stipulant toutes les modalités. Partant, elle en a conclu que la procédure simplifiée était applicable en l'espèce et que les seuls moyens susceptibles d'être soulevés en appel étaient ceux autorisés par l'<ref-law>. Au demeurant, elle a estimé que le comportement du recourant, tendant, d'une part, à invoquer certaines règles formelles de la procédure simplifiée pour se prévaloir de l'absence de validité de la transaction judiciaire et, d'autre part, à contester en appel des faits admis à l'audience de jugement, relevait de l'abus de droit.
1.3. Le recourant et l'intimé soutiennent que la procédure simplifiée ne peut pas être mise en oeuvre au-delà de la mise en accusation. Ils estiment, par conséquent, que la cour cantonale a violé les <ref-law> en considérant que la procédure simplifiée était applicable par analogie dans le cas d'espèce, soit à l'issue de la procédure probatoire des débats de première instance. Il n'est pas nécessaire de trancher cette question, car le recours doit de toute manière être admis pour les motifs exposés ci-dessous.
1.4. Le recourant fait valoir, en substance, qu'il ressort du dossier de la cause, notamment de la mise en accusation et du jugement de première instance, que toute la procédure a été régie par les règles relatives à la procédure ordinaire. La cour cantonale a ainsi violé les <ref-law>, plus particulièrement l'<ref-law>, en retenant que l'action publique dirigée à son encontre était régie par la procédure simplifiée, respectivement en déclarant son appel irrecevable.
En premier lieu, il ressort du dispositif du jugement rendu le 31 mars 2014, que celui-ci mentionne, à titre de voie de droit, l'appel ordinaire de l'<ref-law> et non l'appel restreint de l'<ref-law>. En deuxième lieu, s'il ressort du procès-verbal d'audience que le recourant a apposé sa signature sous la proposition de jugement du ministère public et sous la phrase indiquant qu'il acceptait la procédure simplifiée par analogie, il n'en demeure pas moins que le tribunal ne l'a pas interrogé une nouvelle fois pour s'assurer du fait que la proposition qui lui était soumise était le fruit d'une volonté librement formée. Enfin, en troisième lieu, le jugement motivé laisse apparaître que l'audition du recourant a eu lieu avant l'accord intervenu avec le ministère public; elle s'apparente donc davantage à un moyen de preuve qu'à une audition au sens de l'<ref-law>. Les premiers juges se sont par ailleurs livrés à une discussion des faits ainsi qu'à l'examen de la culpabilité du recourant. S'agissant de la peine, si celle-ci correspond certes à celle proposée par le ministère public, ils n'ont toutefois pas examiné si cette dernière était adéquate, mais ont procédé à un examen des éléments pertinents en vue de fixer la sanction, à l'instar de ce qui se fait dans le cadre d'un jugement relevant de la procédure ordinaire. Le jugement discute aussi du sursis partiel. Enfin, il ne contient aucune mention quant à une renonciation des parties à une procédure ordinaire ainsi qu'aux moyens de recours qui y sont liés (cf. art. 360 al. 1 let. h CPP). Tous ces éléments impliquent de retenir que le Tribunal correctionnel a appliqué la procédure ordinaire. Partant, la cour cantonale a violé le droit fédéral en retenant que les règles régissant la procédure simplifiée, dont la voie d'appel limitée de l'<ref-law>, étaient applicables en l'espèce.
Le recours doit être admis. L'arrêt attaqué doit être annulé et la cause renvoyée à la cour cantonale afin qu'elle traite l'appel dont elle a été saisie.
2.
Le recourant, qui obtient gain de cause, ne supporte pas de frais (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (<ref-law>), ce qui rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 novembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj