Faits:
A. A.a En février 2010, X._, né le 14 mars 1992, a exigé de A._ qu'il lui remette la somme de 1'600 francs, à défaut de quoi, il lui couperait la tête. Il a faussement prétexté que son amie, qui avait précédemment eu une relation avec A._, avait dû avorter à la suite de celle-ci et qu'il avait dû avancer les frais ainsi causés. A._ a remis à X._, le 28 février 2010, la somme de 1'000 francs. Ce dernier a alors exigé 1'000 francs supplémentaires.
A.b Le 9 ou 10 mars 2010, A._ a remis la somme de 1'000 francs à X._, lequel était accompagné à cette occasion de deux amis, dont le dénommé B._.
A.c X._ a par la suite envoyé plusieurs messages sur le téléphone portable de A._ dans lesquels il le menaçait et exigeait une nouvelle rencontre. Celle-ci a eu lieu le 13 avril 2010. A cette occasion, X._, à nouveau accompagné de B._, a exigé 2'050 francs. Compte tenu du refus de A._ de les lui remettre, il a asséné à celui-ci deux gifles et un coup de tête. Il a ensuite exigé la somme de 3'000 francs, menaçant l'intéressé de tuer sa famille et son amie. Il a sorti un couteau qu'il a posé sur la gorge de A._, qui ne pouvait pas bouger, étant adossé au dossier du banc sur lequel il était assis. Ce dernier n'a toutefois pas remis l'argent demandé et il a porté plainte.
B. Par jugement du 23 août 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour extorsion et chantage, tentative d'extorsion et de chantage qualifiés et menaces à une peine privative de liberté de trois ans, dont six mois fermes et le solde avec sursis pendant quatre ans.
C. La Cour d'appel pénale du Tribunal cantonal vaudois a, par jugement du 16 novembre 2011, rejeté l'appel dont le condamné l'avait saisie et confirmé la première décision.
D. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à ce qu'il soit condamné à une peine privative de liberté de 18 mois, assortie du sursis complet. Il sollicite l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant conteste le refus qu'il s'est vu adresser de faire entendre son psychiatre et le directeur de l'Organisme pour le perfectionnement scolaire, la transition et l'insertion professionnelle (OPTI) qu'il a fréquenté entre avril 2008 et juin 2009 alors que ceux-ci auraient pu apporter un autre éclairage pour apprécier sa culpabilité que les seules attestations écrites produites.
La cour cantonale a constaté que le dossier contenait les rapports complets du psychiatre ainsi que du directeur de l'OPTI, dont le recourant s'était satisfait en première instance. Au vu de leur teneur, ces rapports la renseignaient pleinement et l'audition de leur auteur n'était pas nécessaire. Elle a tenu compte à décharge, lors de la fixation de la peine, de ces attestations favorables au recourant.
Le recourant n'invoque, à l'appui de son grief, la violation d'aucun principe constitutionnel ou norme de procédure. Il ne critique pas l'appréciation que les autorités cantonales ont fait des attestations produites ni n'explique en quoi l'audition de leur auteur aurait modifié cette appréciation. Il n'indique pas sur quels points les rapports produits auraient pu être précisés ou complétés et ainsi apporter un autre éclairage que celui déjà donné par les pièces figurant à la procédure. Il n'explique pas en quoi l'autorité précédente aurait méconnu le droit en procédant comme elle l'a fait. Le grief est irrecevable faute d'une motivation suffisante (art. 42 al. 2 LTF et 106 al. 2 LTF).
2. Le recourant conteste la quotité de la peine prononcée à son encontre.
2.1 Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
2.1.1 La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution (objektive Tatkomponente); du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur (subjektive Tatkomponente). A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même (Täterkomponente), à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (ATF 134 IV 17 consid. 2.1 p. 19; 129 IV 6 consid. 6.1 p. 20; arrêt 6B_759/2011 du 19 avril 2012 consid. 1.1).
2.1.2 L'art. 47 CP confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'art. 47 CP, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (ATF 136 IV 55 consid. 5.6 p. 61; 134 IV 17 consid. 2.1 p. 19; 129 IV 6 consid. 6.1 p. 21 et les références citées).
2.2 La cour cantonale a estimé que la culpabilité du recourant était très lourde. Il résultait des faits que celui-ci avait menacé le plaignant d'un dommage sérieux à plusieurs reprises afin de se faire remettre de l'argent, puis il avait utilisé la violence physique et placé un couteau sous la gorge du plaignant, le mettant ainsi en danger de mort. Il convenait ainsi de tenir compte de la violence et de la répétition des actes commis. Le mobile de l'auteur était par ailleurs futile et crapuleux puisqu'il avait faussement invoqué devoir payer les frais d'avortement de son amie alors qu'il s'était acheté un ordinateur avec l'argent obtenu. Il n'avait démontré aucune prise de conscience de la gravité de ses actes et tenté de minimiser les infractions commises, tant en première qu'en seconde instance, contestant avoir placé la lame du couteau sous la gorge du plaignant, ce qui était en contradiction avec ses précédentes déclarations ainsi que celles de son comparse et du plaignant. Il y avait également lieu de tenir compte du concours d'infractions (art. 49 al. 1 CP). A décharge, le contexte familial difficile dans lequel se trouvait le recourant à la suite des violences subies au Kosovo a été retenu, ainsi que le fait qu'une partie des infractions avait été commise alors que l'intéressé était mineur, le dédommagement du plaignant et la resocialisation du recourant. La cour cantonale a indiqué également qu'il y avait lieu de tenir compte des rapports du psychiatre du recourant et du directeur de l'OPTI, qui n'avaient été que très partiellement analysés par le Tribunal correctionnel alors qu'il était important de s'y référer. Enfin, les infractions d'extorsion et de chantage qualifiés avaient été uniquement tentées, ce qui justifiait une atténuation de la peine, qui aurait autrement été de cinq ans au moins en vertu de l'art. 156 ch. 3 CP puisque le fait de placer une lame sur la gorge d'autrui constituait une mise en danger de la vie. Cette atténuation devait cependant être limitée puisque la réduction de la peine devait être d'autant plus faible que le résultat de l'infraction était proche et que les conséquences de l'acte étaient graves.
2.2 La cour cantonale a estimé que la culpabilité du recourant était très lourde. Il résultait des faits que celui-ci avait menacé le plaignant d'un dommage sérieux à plusieurs reprises afin de se faire remettre de l'argent, puis il avait utilisé la violence physique et placé un couteau sous la gorge du plaignant, le mettant ainsi en danger de mort. Il convenait ainsi de tenir compte de la violence et de la répétition des actes commis. Le mobile de l'auteur était par ailleurs futile et crapuleux puisqu'il avait faussement invoqué devoir payer les frais d'avortement de son amie alors qu'il s'était acheté un ordinateur avec l'argent obtenu. Il n'avait démontré aucune prise de conscience de la gravité de ses actes et tenté de minimiser les infractions commises, tant en première qu'en seconde instance, contestant avoir placé la lame du couteau sous la gorge du plaignant, ce qui était en contradiction avec ses précédentes déclarations ainsi que celles de son comparse et du plaignant. Il y avait également lieu de tenir compte du concours d'infractions (art. 49 al. 1 CP). A décharge, le contexte familial difficile dans lequel se trouvait le recourant à la suite des violences subies au Kosovo a été retenu, ainsi que le fait qu'une partie des infractions avait été commise alors que l'intéressé était mineur, le dédommagement du plaignant et la resocialisation du recourant. La cour cantonale a indiqué également qu'il y avait lieu de tenir compte des rapports du psychiatre du recourant et du directeur de l'OPTI, qui n'avaient été que très partiellement analysés par le Tribunal correctionnel alors qu'il était important de s'y référer. Enfin, les infractions d'extorsion et de chantage qualifiés avaient été uniquement tentées, ce qui justifiait une atténuation de la peine, qui aurait autrement été de cinq ans au moins en vertu de l'art. 156 ch. 3 CP puisque le fait de placer une lame sur la gorge d'autrui constituait une mise en danger de la vie. Cette atténuation devait cependant être limitée puisque la réduction de la peine devait être d'autant plus faible que le résultat de l'infraction était proche et que les conséquences de l'acte étaient graves.
2.3 2.3.1 Le recourant fait valoir que s'il encourrait une peine minimale de cinq ans au vu des infractions qui lui étaient reprochées, rien n'interdisait cependant, "pour tenir compte de l'ensemble des circonstances objectives et personnelles du cas, de procéder à une atténuation plus large que celle retenue, à teneur de l'art. 48a CP". Une peine maximale de deux ans aurait ainsi dû être prononcée et une peine de 18 mois aurait été appropriée.
Le recourant ne soutient pas que la cour cantonale n'aurait pas procédé à une atténuation de la peine alors même qu'elle en avait l'obligation, mais uniquement que cette atténuation est insuffisante. Il n'indique cependant pas quelle circonstance aurait justifié en l'espèce une atténuation plus importante. Son affirmation selon laquelle une peine plus faible aurait dû être prononcée n'est pas de nature à expliquer, à elle seule, en quoi la cour cantonale aurait abusé de son pouvoir d'appréciation en fixant la durée de la peine privative de liberté à trois ans plutôt qu'une durée moindre. Le grief doit être rejeté dans la mesure où il est recevable.
2.3.2 Le recourant fait valoir qu'il a commis une partie des actes qui lui sont reprochés alors qu'il n'était pas encore majeur et qu'une peine plus clémente aurait été prononcée à son encontre s'il avait été jugé par le Tribunal des mineurs, comme cela avait été le cas pour B._. Cela créait une différence de traitement incompréhensible.
Le recourant ne conteste pas, à juste titre, la compétence des autorités pour majeurs pour le juger. La cour cantonale a par ailleurs mentionné, comme élément à décharge, que le recourant avait commis une partie des actes qui lui étaient reprochés alors qu'il était mineur. Cette circonstance a donc été prise en compte.
Au surplus, selon la jurisprudence, compte tenu des nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate. Les disparités en cette matière s'expliquent normalement par le principe de l'individualisation des peines, voulu par le législateur (ATF 135 IV 191 consid. 3.1 p. 193). Des différences de traitement entre plusieurs accusés comparaissant devant le même tribunal à raison des mêmes faits doivent quant à elles être fondées sur des motifs pertinents. Il ne faut pas créer un écart trop important entre deux coaccusés qui ont participé ensemble au même complexe de faits délictueux (ATF 135 IV 191 consid. 3.2 p. 193). Il ne ressort pas des faits constatés que B._ aurait participé à l'ensemble des actes commis par le recourant. Il n'accompagnait pas celui-ci lorsqu'il a réclamé une première fois de l'argent, puis lorsqu'il se l'est fait remettre. Il n'a pas contacté le plaignant au moyen de son téléphone portable, il ne l'a pas frappé, ni menacé verbalement ou avec un couteau. Il apparaît que son rôle s'est limité à être présent sur les lieux lors de deux des rendez-vous fixés à A._ par le recourant. La situation de B._ n'est dès lors pas comparable à celle de ce dernier, qui ne peut ainsi tirer aucun argument du fait qu'une peine plus légère a, selon ses explications, été prononcée contre son acolyte. L'apport de la procédure pénale le concernant ne se justifiait ainsi pas, contrairement à ce que le recourant soutient.
2.4 En définitive, il n'apparaît pas que la cour cantonale aurait omis de prendre en considération des éléments d'appréciation prévus par l'art. 47 CP ou se serait fondée sur des critères étrangers à cette disposition. Au vu de l'ensemble des circonstances à charge et à décharge prises en compte à juste titre par la cour cantonale (cf. supra consid. 2.2), auxquelles il y a lieu de se référer, la peine privative de liberté de trois ans qui a été prononcée n'est pas exagérément sévère au point de constituer un abus du pouvoir d'appréciation. Le grief du recourant tendant à une réduction de sa peine doit être rejeté dans la mesure où il est recevable.
3. Le recourant réclame l'octroi du sursis complet.
3.1 Le sursis complet peut être accordé pour des peines privatives de liberté de six mois au moins et deux ans au plus (art. 42 al. 1 CP). Cette condition objective d'octroi du sursis n'est pas remplie en l'espèce puisque la peine prononcée est de trois ans.
3.2 Le sursis partiel peut être accordé pour les peines privatives de liberté d'un an au moins et de trois ans au plus afin de tenir compte de façon appropriée de la faute de l'auteur (art. 43 al. 1 CP). La partie à exécuter ne peut excéder la moitié de la peine (art. 43 al. 2 CP) et doit être de six mois au moins (art. 43 al. 3 CP). La partie ferme de la peine infligée au recourant correspond à cette durée minimale et elle ne peut donc être réduite. Le grief du recourant relatif au sursis doit être rejeté.
4. Comme les conclusions du recourant étaient manifestement dénuées de chance de succès, il doit être débouté de sa demande d'assistance judiciaire (art. 64 al. 1 LTF a contrario) et supporter les frais de justice, qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben