Faits: A. A.a En février 2010, X._, né le 14 mars 1992, a exigé de A._ qu'il lui remette la somme de 1'600 francs, à défaut de quoi, il lui couperait la tête. Il a faussement prétexté que son amie, qui avait précédemment eu une relation avec A._, avait dû avorter à la suite de celle-ci et qu'il avait dû avancer les frais ainsi causés. A._ a remis à X._, le 28 février 2010, la somme de 1'000 francs. Ce dernier a alors exigé 1'000 francs supplémentaires. A.b Le 9 ou 10 mars 2010, A._ a remis la somme de 1'000 francs à X._, lequel était accompagné à cette occasion de deux amis, dont le dénommé B._. A.c X._ a par la suite envoyé plusieurs messages sur le téléphone portable de A._ dans lesquels il le menaçait et exigeait une nouvelle rencontre. Celle-ci a eu lieu le 13 avril 2010. A cette occasion, X._, à nouveau accompagné de B._, a exigé 2'050 francs. Compte tenu du refus de A._ de les lui remettre, il a asséné à celui-ci deux gifles et un coup de tête. Il a ensuite exigé la somme de 3'000 francs, menaçant l'intéressé de tuer sa famille et son amie. Il a sorti un couteau qu'il a posé sur la gorge de A._, qui ne pouvait pas bouger, étant adossé au dossier du banc sur lequel il était assis. Ce dernier n'a toutefois pas remis l'argent demandé et il a porté plainte. B. Par jugement du 23 août 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour extorsion et chantage, tentative d'extorsion et de chantage qualifiés et menaces à une peine privative de liberté de trois ans, dont six mois fermes et le solde avec sursis pendant quatre ans. C. La Cour d'appel pénale du Tribunal cantonal vaudois a, par jugement du 16 novembre 2011, rejeté l'appel dont le condamné l'avait saisie et confirmé la première décision. D. X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à ce qu'il soit condamné à une peine privative de liberté de 18 mois, assortie du sursis complet. Il sollicite l'octroi de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.