Faits:
A. Par jugement du 7 février 2012, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour brigandage, injure, violation simple des règles de la circulation routière, vol d'usage, conduite sans permis de conduire et contravention à la LStup, à 30 mois de peine privative de liberté sous déduction de 256 jours de détention avant jugement. Il a ordonné un traitement psychiatrique ambulatoire et le placement de X._ dans un établissement pour jeunes adultes.
B. Par jugement du 1er mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel de X._, annulé le placement dans un établissement pour jeunes adultes et confirmé le jugement de première instance pour le surplus.
En bref, il ressort les éléments suivants de ce jugement.
Le 28 mai 2011, vers 4h15, X._ a interpellé un groupe de jeunes pour leur réclamer leurs effets personnels. Il a empoigné C._ et D._ et les a menacés de mort. Il s'est emparé du téléphone portable de C._. Comme D._ ne se pliait pas à ses ordres, X._ l'a insulté et l'a giflé une dizaine de fois. Il s'est ensuite approché de B.Y._, qui arrivait sur les lieux, pour lui réclamer ses affaires. Pour tenter de calmer la situation, D._ a remis à X._ un paquet de cigarettes et un sachet contenant du cannabis et du pollen de cette plante. Cette tentative a été vaine et X._ a giflé à plusieurs reprises B.Y._ à qui il a pris son téléphone portable. Voyant la situation dégénérer, A.Y._ a remis son porte-monnaie à X._ qui lui a encore réclamé les clés de son véhicule. Celles-ci étant restées au contact, A.Y._ a conduit X._ jusqu'à sa voiture. A ce moment, D._ a suggéré à A.Y._ de retirer sa carte SIM de son téléphone avant de le remettre à X._, ce qui lui a valu une nouvelle volée de gifles et des menaces de mort. X._ a ordonné à toutes les personnes présentes de monter dans le coffre de la voiture sous la menace de leur couper la tête. C._ a toutefois réussi à s'échapper ce qui a provoqué de nouvelles menaces de mort de la part de X._. La police est ensuite arrivée sur les lieux et a interpellé ce dernier. Le test à l'éthylomètre a révélé une alcoolémie de 1.06 g o/oo à 4h35.
Dans le cadre de la présente cause, X._ a été soumis à une expertise psychiatrique. L'expert a conclu que ce dernier souffrait d'un trouble de la personnalité dyssocial et de retard mental léger. Ce trouble pouvait être considéré comme grave dans la mesure où il influençait massivement le comportement de X._. L'expert a également retenu une dépendance à l'alcool. Il a estimé que l'association du grave trouble de la personnalité avec un déficit intellectuel et l'effet de l'alcool et du cannabis était de nature à diminuer la capacité de se déterminer par rapport au caractère illicite de l'acte de manière légère à moyenne. Il a estimé le risque de récidive comme élevé.
Le casier judiciaire de X._ fait état d'une condamnation en 2008 à trois jours de peine privative de liberté pour brigandage et divers infractions à la LCR, d'une condamnation en 2010 à 24 mois de peine privative de liberté et à une mesure institutionnelle pour jeunes adultes, pour voies de fait, vol, vol d'importance mineure, brigandage, dommages à la propriété, injure, menaces, contrainte, violation de domicile, faux dans les certificats, circulation sans permis de conduire et délit contre la LStup et une condamnation en 2011 à 20 jours de peine privative de liberté pour vol.
C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à son acquittement du chef d'accusation de brigandage et à sa condamnation à 10 mois de peine privative de liberté. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.
Invités à déposer des observations sur le recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants du jugement.
Considérant en droit:
1. Le recourant soutient que la cour cantonale aurait arbitrairement retenu qu'il avait pris les téléphones portables de C._ et B.Y._, alors qu'en réalité ceux-ci les lui auraient remis. Dès lors qu'il n'aurait rien soustrait aux différents lésés, son comportement ne serait pas constitutif d'un brigandage. Il ne pourrait en outre pas être condamné pour extorsion n'ayant pas été mis en accusation devant l'autorité pour cette infraction.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. ATF 136 II 304 consid. 2.4, p. 313). La notion d'arbitraire a été rappelée récemment dans l'ATF 137 I 1 consid. 2.4 p. 5, auquel on peut donc se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais dans son résultat.
1.2 L'analyse de la critique factuelle formée par le recourant implique préalablement de déterminer les éléments pertinents au regard des infractions discutées.
1.2.1 Aux termes de l'art. 140 CP, celui qui aura commis un vol en usant de violence à l'égard d'une personne, en la menaçant d'un danger imminent pour la vie ou l'intégrité corporelle ou en la mettant hors d'état de résister sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire de 180 jours-amende au moins (ch. 1 al. 1).
Le brigandage est une forme aggravée du vol qui se caractérise par les moyens que l'auteur a employés (ATF 133 IV 207 consid. 4.2 p. 210; 124 IV 102 consid. 2 p. 104). Comme dans le cas du vol, l'auteur soustrait la chose, c'est-à-dire, qu'il en prend la maîtrise sans le consentement de celui qui l'avait précédemment. A la différence du voleur, qui agit clandestinement ou par surprise, l'auteur recourt à la contrainte pour soustraire la chose d'autrui. La violence est toute action physique immédiate sur le corps de la personne, qui doit défendre la possession de la chose (ATF 133 IV 207 consid. 4.3.1 p. 211). Au lieu de la violence, l'auteur peut employer la menace d'un danger imminent pour la vie ou l'intégrité corporelle, à l'exclusion d'autres biens juridiquement protégés. La menace doit être sérieuse, même si la victime ne l'a pas crue. Elle peut intervenir par actes concluants (cf. BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd. 2010, no 6 ad art. 140 CP, p. 261). Il importe peu que la victime ait été mise dans l'incapacité de se défendre; il suffit que l'auteur ait recouru aux moyens indiqués et que le vol ait été consommé (ATF 133 IV 207 consid. 4.3.1 p. 211).
1.2.2 Selon l'art. 156 CP, celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura déterminé une personne à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers, en usant de violence ou en la menaçant d'un dommage sérieux, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire (ch. 1). Si l'auteur a exercé des violences sur une personne ou s'il l'a menacée d'un danger imminent pour la vie ou l'intégrité corporelle, la peine sera celle prévue à l'art. 140 (ch. 3).
Pour que cette infraction soit objectivement réalisée, il faut que l'auteur, par un moyen de contrainte, ait déterminé une personne à accomplir un acte portant atteinte à son patrimoine ou à celui d'un tiers. Dans le cas aggravé (156 ch. 3 CP), les moyens de contrainte sont les mêmes que ceux du brigandage.
1.2.3 La distinction entre le brigandage et l'extorsion qualifiée au sens de l'art. 156 ch. 3 CP ne se situe pas dans le point de savoir si l'auteur « prend » ou « se fait remettre ». Bien plutôt, l'élément déterminant est la possibilité pour la victime d'empêcher le résultat par son refus. Ainsi, dans le cas d'une extorsion, l'auteur est, au moins en partie, tributaire de la participation de la victime. Si cette dernière refuse, elle s'expose à la réalisation de la menace ou à la violence, mais préservera son patrimoine. Tel est par exemple le cas lorsque l'auteur contraint la victime à donner la combinaison d'un coffre. Dans le cas d'un brigandage, la victime, si elle refuse de collaborer, s'expose à une double atteinte, c'est-à-dire la réalisation de la menace ou de la violence et l'atteinte à son patrimoine, l'auteur n'ayant pas besoin de sa collaboration pour s'emparer de la chose. Tel est par exemple le cas de l'auteur qui se rend dans un commerce et réclame le contenu de la caisse qu'il se fait remettre alors qu'il lui aurait suffit de se servir dans ladite caisse (de cet avis: STRATENWERTH/JENNY/BOMMER, Schweizerisches Strafrecht, Besonderer Teil I, 7e éd. 2010, § 17 no 7, p. 455 s; NIGGLI/RIEDO, in Basler Kommentar, Strafrecht, 2e éd. 2007, no 178 ad art. 140 CP; ANDREAS DONATSCH, Strafrecht III, 9e éd. 2008, p. 264 ss; TRECHSEL ET AL., Schweizerisches Strafgesetzbuch Praxiskommentar, 2008, no 18 ad. art. 156 CP; BERNARD CORBOZ, op. cit., no 4 ad art. 156 CP, p. 398; DUPUIS ET AL., Petit commentaire du Code pénal, 2012, no 13 et 29 ad art. 156 CP; OLIVIER PECORINI, Le brigandage et l'extorsion par brigandage d'une chose mobilière en droit pénal suisse, 1995, p. 117 s.; d'un avis divergeant: PHILIPPE WEISSENBERGER, in Basler Kommentar, Strafrecht, 2e éd. 2007, no 26 ss et 50 ad art. 156 CP).
1.3 La cour cantonale a apprécié les différents témoignages et a retenu que le recourant avait lui-même pris les téléphones portables de C._ et B.Y._. Savoir si la cour cantonale a arbitrairement retenu ce point peut demeurer indécis dès lors qu'il n'est pas de nature à faire apparaître la solution retenue comme arbitraire dans son résultat. En effet, contrairement à ce que soutient le recourant, le critère de la remise par la victime de son bien à l'auteur n'est pas, à lui seul, déterminant pour exclure un brigandage. Ainsi, même si l'on retenait la version du recourant selon laquelle il s'est fait remettre les téléphones portables, son comportement remplit tous les éléments constitutifs du brigandage. A la suite des menaces de mort répétées et des coups donnés, il a obtenu la remise des biens dont il aurait pu lui-même s'emparer. L'arbitraire dans l'appréciation des preuves dont il se plaint n'est donc pas de nature à faire apparaître la solution retenue comme arbitraire dans son résultat. La condamnation du recourant pour brigandage n'est en outre pas contraire au droit fédéral.
2. Le recourant prétend qu'un brigandage ne peut pas être retenu à sa charge s'agissant de D._. Les substances remises, à savoir 3 g de cannabis et des cubes de pollen de cannabis, étant illicites, elles ne peuvent appartenir à autrui et donc faire l'objet d'un brigandage.
Il ne ressort pas du jugement entrepris que le recourant aurait été condamné précisément pour un brigandage commis à l'encontre de D._, les éléments le concernant étant intégrés à la description des faits par la cour cantonale afin de relater le déroulement des événements de la soirée du 28 mai 2011. Au demeurant, s'il est exact que, dans les circonstances d'espèce, le cannabis et le pollen ne pouvaient pas faire l'objet d'un brigandage (cf. ATF 124 IV 102 consid. 2 p. 104 s.), le recourant oublie que D._ lui a également remis son paquet de cigarettes, dont la détention est licite. A tout le moins pour cet objet, le recourant s'est rendu coupable de brigandage à l'égard de D._.
3. Le recourant soutient que la peine serait arbitrairement sévère.
3.1 Les art. 47 et 50 CP codifient la jurisprudence relative à la fixation et à la motivation de la peine rendue en application de l'art. 63 aCP, laquelle conserve ainsi sa valeur, de sorte qu'on peut s'y référer (cf. ATF 134 IV 17 consid. 2.1 p. 19 s. et les arrêts cités). Il suffit au reste de rappeler que, pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Sa décision sur ce point ne viole le droit fédéral que s'il est sorti du cadre légal, s'il s'est fondé sur des critères étrangers à l'art. 47 CP, s'il a omis de prendre en considération des éléments prévus par cette disposition ou s'il a abusé de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (ATF 136 IV 55 consid. 5.6 p. 60 et l'arrêt cité).
3.2 Selon l'art. 19 al. 2 CP, le juge atténue la peine si, au moment d'agir, l'auteur ne possédait que partiellement la faculté d'apprécier le caractère illicite de son acte ou de se déterminer d'après cette appréciation. Les principes qui président à la fixation de la peine en cas de diminution de la responsabilité ont été développés à l'arrêt publié aux ATF 136 IV 55. Partant de la gravité objective de l'acte (objektive Tatschwere), le juge doit apprécier la faute (subjective; subjektives Tatverschulden). Il doit mentionner, dans le jugement, les éléments qui augmentent ou diminuent la faute dans le cas concret et qui permettent d'apprécier la faute en relation avec l'acte. Le législateur mentionne plusieurs critères, qui jouent un rôle important pour apprécier la faute et peuvent même conduire à diminuer celle-ci de telle manière qu'il convient de prononcer une peine inférieure au cadre légal ordinaire de la peine. Parmi ceux-ci, figure notamment la diminution de la responsabilité au sens de l'art. 19 CP. Dans ce cas, contrairement à la lettre de la disposition et en modification de la jurisprudence antérieure (ATF 134 IV 132 consid. 6.1 p. 136 s.), il s'agit de diminuer la faute et non la peine; la réduction de la peine n'est que la conséquence de la faute plus légère (ATF 136 IV 55 consid. 5.5 p. 59 s.).
3.2.1 Le juge dispose également d'un large pouvoir d'appréciation lorsqu'il détermine l'effet de la diminution de la responsabilité sur la faute (subjective) au vu de l'ensemble des circonstances. Il peut appliquer l'échelle habituelle: une faute (objective) très grave peut être réduite à une faute grave en raison d'une diminution légère de la responsabilité. La réduction pour une telle faute (objective) très grave peut conduire à retenir une faute moyenne à grave en cas d'une diminution moyenne et à une faute légère à moyenne en cas de diminution grave. Sur la base de cette appréciation, le juge doit prononcer la peine en tenant compte des autres critères de fixation de la peine. Un tel procédé permet de tenir compte de la diminution de la responsabilité, sans lui attribuer une signification trop vaste (ATF 136 IV 55 consid. 5.6 p. 62).
3.2.2 En bref, le juge doit procéder comme suit en cas de diminution de la responsabilité pénale: dans un premier temps, il doit décider, sur la base des constatations de fait de l'expertise, dans quelle mesure la responsabilité pénale de l'auteur doit être restreinte sur le plan juridique et comment cette diminution de la responsabilité se répercute sur l'appréciation de la faute. La faute globale doit être qualifiée et, au regard de l'art. 50 CP, le juge doit expressément mentionner le degré de gravité à prendre en compte. Dans un deuxième temps, il lui incombe de déterminer la peine hypothétique, qui correspond à cette faute. La peine ainsi fixée peut ensuite être, le cas échéant, modifiée en raison de facteurs liés à l'auteur (Täterkomponente) ainsi qu'en raison d'une éventuelle tentative selon l'art. 22 al. 1 CP (ATF 136 IV 55 consid. 5.7 p. 62 s.).
3.3 Le recourant ne prétend pas que le jugement attaqué serait fondé sur des critères étrangers à l'art. 47 CP, ni que des éléments d'appréciation prévus par cette disposition auraient été omis. Il n'apparaît par ailleurs pas que tel serait le cas. Il soutient toutefois que la peine infligée serait exagérément sévère dès lors que la cour cantonale n'aurait pas suffisamment tenu compte de la diminution de responsabilité du recourant. Il lui reproche à cet égard de ne pas avoir appliqué la méthode développée à l'ATF 136 IV 55 telle qu'exposée supra (consid. 3.2).
3.4 S'agissant de la fixation de la peine, la cour cantonale a, après avoir exposé les éléments retenus à charge et à décharge par les juges de première instance, conclu que la peine de 30 mois ferme infligée par ces derniers était adéquate et qu'elle ne relevait ni d'un abus, ni d'un excès du pouvoir d'appréciation.
3.5 Outre que cette approche méconnaît le libre pouvoir d'examen dont dispose la cour cantonale, aussi en matière de fixation de la peine (cf. art. 398 al. 2 CPP; LUZIUS EUGSTER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, no 1 ad art. 398 CPP; MARKUS HUG, in Kommentar zur Schweizerische Strafprozessordnung, Donatsch/Hansjakob/Lieber (éd.), 2010, no 20 ad art. 398 CPP p. 1921), elle est contraire à la jurisprudence précitée (supra 3.2). En effet, conformément à cette dernière, la cour cantonale aurait d'abord dû apprécier juridiquement l'expertise psychiatrique et déterminer ainsi le degré de diminution de responsabilité retenu. Elle aurait ensuite dû exposer, en partant de la gravité objective de l'acte, dans quelle mesure la diminution de responsabilité retenue se répercutait sur l'appréciation de la faute, ainsi que les autres éléments qui augmentaient ou diminuaient la faute dans le cas concret et qui permettaient d'apprécier la faute en relation avec l'acte. Dans un dernier temps, elle aurait dû tenir compte des facteurs liés à l'auteur (Täterkomenente).
Du jugement attaqué, on comprend que la cour cantonale a retenu une diminution de responsabilité légère à moyenne. On ne comprend toutefois pas comment la diminution retenue se répercute sur l'appréciation de la faute. En outre, la cour cantonale mêle des éléments permettant d'apprécier la faute dans le cas concret, tels que la motivation et le mode d'exécution de l'infraction, avec les facteurs liés au recourant, tels que ses antécédents, son âge et son comportement au cours de la procédure. La motivation de la cour cantonale ne permet pas de vérifier la bonne application du droit fédéral. Il convient dès lors d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité précédente.
4. Le recours doit être partiellement admis. Pour le surplus, il est rejeté. Vu le sort du recours, une partie des frais sera supportée par le recourant (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière. Ce dernier a requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton (art. 64 al. 2 et 68 al. 1 LTF). Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (art. 64 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Pour le surplus, le recours est rejeté.
2. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3. La demande d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
4. Une indemnité de 1500 fr., à verser au conseil du recourant à titre de dépens, est mise à la charge du canton de Vaud.
5. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Livet