Faits:
A. Par jugement du 6 février 2009, le Tribunal criminel de l'arrondissement de l'Est vaudois a reconnu Y._ coupable d'assassinat, de brigandage qualifié, d'incendie intentionnel qualifié, d'atteinte à la paix des morts et de contravention à la loi fédérale sur les stupéfiants. Il a condamné l'intéressé à une peine privative de liberté de vingt ans, sous déduction de 980 jours de détention préventive, et ordonné un traitement institutionnel en milieu carcéral.
B. Statuant le 8 mai 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par Y._ et confirmé le jugement de première instance. L'arrêt cantonal repose, pour l'essentiel, sur les faits suivants:
B.a Aux alentours du 25 mai 2006, X._ et son compagnon B._ ont fait la connaissance de C._. Le 28 mai suivant, dans l'après-midi, ce dernier a invité le couple dans son appartement, à Montreux-Clarens. Il a déclaré détenir de la cocaïne et s'est vanté de ses prouesses sexuelles, exhibant des godemichés et une paire de menottes. En outre, il a confié aux jeunes gens sa carte bancaire et son code d'accès pour qu'ils prélèvent 100 fr. à son intention. Le couple a donné l'argent à C._ et lui a restitué sa carte bancaire, après avoir toutefois enregistré le code d'accès.
Le 29 mai 2006, en fin d'après-midi, D._ a reçu la visite de son frère, Y._, dans son studio de la Tour-de-Peilz, avant d'être aussi rejoint par B._ et X._. Celle-ci a relaté aux deux frères la récente expérience impliquant C._. La conversation n'a négligé ni la cocaïne que détiendrait ce dernier ni sa carte bancaire. B._, Y._ et X._ ont alors décidé de s'en prendre à l'intéressé. Les trois jeunes gens se sont rendus au domicile de C._, non sans l'avoir au préalable avisé de leur arrivée. Les deux hommes avaient bu de manière significative, mais l'alcool n'avait pas affecté leur motricité; la jeune fille était sobre.
Croyant recevoir uniquement le couple dont il avait fait la connaissance quelques jours auparavant, C._ a lancé ses clés depuis la fenêtre. Y._ s'est caché et a pénétré le dernier dans l'appartement. B._ a entamé une polémique avec le maître des lieux au sujet de l'incident de la veille et/ou des intentions libidineuses de ce dernier envers sa compagne. Y._ a donné un coup de boule à son hôte et l'a cloué au sol. Disant s'amuser, il a tenu les poignets de sa victime et les a fait mouvoir latéralement, ce qui l'a amenée à se gifler elle-même.
X._ a fait main-basse sur les menottes, dont elle savait la clé perdue, puis en a enserré les poignets de la victime et lui a infligé plusieurs coups de pied dans les parties génitales. Un coup de poing asséné par B._ a provoqué l'éclatement du globe oculaire droit de la victime; des coups portés à la tête, d'abord avec une bouteille et ensuite avec un haltère, lui ont occasionné des saignements. X._ a versé du vin et du parfum contenant de l'alcool pour attiser la douleur des plaies. La victime a fini par révéler l'emplacement de sa carte bancaire, dont X._ a pris possession. Un sachet de poudre blanche déniché par les intrus ne contenait pas de cocaïne.
La victime était à ce moment encore en vie. Les agresseurs ont alors pris la décision de la tuer pour se mettre à l'abri de sa déposition à leur encontre. L'intention homicide a été, de son propre aveu, formulée en premier par Y._, qui a précisé que X._ avait aussi voulu la disparition de la victime jusqu'à proposer de procéder personnellement à la mise à mort. B._ a choisi un couteau aigu dans la cuisine et est revenu vers la victime, toujours maintenue par Y._. Il a lacéré la joue du blessé et lui a donné deux coups profonds dans l'abdomen et/ou le thorax. Les trois participants en ont convenu.
A 0h21, B._ a appelé D._ et a transmis le téléphone à son frère, Y._. Les deux frères sont alors convenus de la venue de celui-là, qui est arrivé au domicile de la victime en compagnie d'un tiers. Peu après, les deux nouveaux venus ont quitté les lieux en compagnie de X._, qui, à 0h54, a utilisé la carte bancaire de la victime pour retirer 400 fr. d'un distributeur automatique.
Pendant ce temps, Y._ et B._ ont achevé de tuer la victime; celui-là l'a maintenue derechef au sol, celui-ci lui a asséné de nombreux coups de couteau, dont six au coeur, un au poumon gauche et trois au foie. La victime était décédée lors du retour de X._ et de ses deux compagnons peu après le retrait des billets. Les cinq protagonistes ont alors abandonné les lieux en fermant le logement à clé, puis ont regagné le studio de D._. Celui-ci a consacré l'entier du butin à l'achat de cocaïne, consommée par les cinq acolytes.
Le 1er juin 2006, les cinq comparses se sont réunis pour convenir d'éliminer la dépouille de leur victime afin d'effacer les traces de leur acte. Passé minuit, de retour sur les lieux et après avoir envisagé de déménager le cadavre, B._ et Y._ ont arrosé le corps de liquide inflammable et ont répandu du combustible dans le logement. Ils ont allumé plusieurs foyers, avant de quitter l'appartement en renonçant à avertir les pompiers.
B.b Y._, né en 1984, frère cadet de D._, né en 1983, a mené à terme un apprentissage de cuisiner, achevé à l'âge de 21 ans. A l'automne 2005, il a suivi une formation à l'Ecole hôtelière de Genève. Une expertise psychiatrique a posé le triple diagnostic de personnalité dyssociale, de dépendance à l'alcool, ainsi que d'utilisation nocive pour la santé de cocaïne et de cannabis sous forme d'abus répétés. Ce trouble n'affecte pas la conscience de l'expertisé, à savoir sa faculté d'apprécier le caractère illicite de son acte, mais altère légèrement sa volonté, à savoir sa faculté de se déterminer d'après cette appréciation. Le risque de récidive est présent.
C. Contre l'arrêt cantonal, Y._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt attaqué en ce sens qu'il est condamné à une peine privative de liberté réduite et, à titre subsidiaire, à son annulation. En outre, il sollicite l'assistance judiciaire.
D. Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant reproche à la cour cantonale d'être tombée dans l'arbitraire en suivant les conclusions de l'expert et en niant l'influence de l'effet de groupe sur sa responsabilité pénale (art. 19 CP). Selon lui, il existerait des contradictions entre l'expertise, son complément et les conclusions respectives, de sorte que la cour cantonale aurait dû s'écarter de l'expertise et de son complément et demander un second complément d'expertise.
1.1 Savoir si une expertise déjà disponible est convaincante est une question d'interprétation des preuves (ATF 106 IV 97 consid. 2b p. 99 s.), que le Tribunal fédéral ne peut revoir que sous l'angle de l'arbitraire. Lorsque l'autorité cantonale juge l'expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (ATF 107 IV 7 consid. 5).
1.2 Dans son rapport principal, reçu le 6 mars 2007 par les autorités pénales, l'expert a conclu que le recourant possédait la faculté d'apprécier le caractère illicite de son acte, mais que son trouble de la personnalité aggravé par un état d'intoxication éthylique a eu pour conséquence qu'il ne possédait pas pleinement la faculté de se déterminer d'après cette appréciation. Dans la partie intitulée "statut psychiatrique", il exposait au demeurant que le recourant avait un trouble de l'identité et de la peine à se situer par rapport aux autres et à s'affirmer (expertise p. 11); il n'en tirait cependant aucune conclusion spécifique quant à la responsabilité pénale du recourant.
A la requête du recourant, le juge d'instruction a demandé à l'expert de se prononcer sur l'effet que pouvait avoir eu le groupe sur la responsabilité pénale du recourant. L'expert a déposé un rapport complémentaire, en date du 24 avril 2007. Il y niait toute influence de l'effet de groupe sur la responsabilité pénale du recourant. Il expliquait que "sa propension à être influencé par les autres n'est pas suffisamment grave ou importante pour constituer en soi un trouble ou une maladie psychiatrique et que sa structure de personnalité était suffisamment constituée pour qu'il puisse différencier ce qui vient de lui ou des autres".
Les explications données par l'expert dans son rapport complémentaire sont convaincantes. La cour de céans ne voit pas de contradiction entre l'expertise, le complément et leurs conclusions. Le recourant souffre certes d'un trouble de l'identité, mais celui-ci n'est pas suffisamment grave pour influer sur sa responsabilité pénale. La cour cantonale ne saurait donc être accusée d'être tombée dans l'arbitraire en suivant les conclusions de l'expert et en refusant d'ordonner un nouveau complément d'expertise. Mal fondé, le grief soulevé doit être rejeté.
2. Le recourant soutient que la cour cantonale serait également tombée dans l'arbitraire en retenant qu'il n'avait pas la capacité à accomplir une formation professionnelle complémentaire et, partant, en refusant d'ordonner son placement dans un établissement pour jeunes adultes (art. 61 CP).
2.1 Selon l'art. 61 CP, le juge n'ordonnera le placement dans un établissement pour jeunes adultes que s'il est à prévoir que cette mesure détournera l'auteur de nouvelles infractions en relation avec les troubles dont il souffre (art. 61 al. 1 let. b CP). Le jeune délinquant doit être accessible à des actions socio-thérapeutique et socio-pédagogique (ATF 125 IV 237 consid. 6b p. 240; TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, Praxiskommentar, n. 9 ad art. 61 CP; MARIANNE HEER, Basler Kommentar, Strafrecht I, n. 35 ad art. 61 CP).
Savoir si, sur la base de l'expertise, la cour cantonale était fondée à retenir que le recourant n'avait pas la capacité d'accomplir une formation professionnelle relève de l'établissement des faits, que le Tribunal fédéral ne peut revoir que si ceux-ci sont entachés d'arbitraire. On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (voir p. ex.; ATF 135 V 2 consid. 1.3 p. 4/5; 134 I 140 consid. 5.4 p. 148). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat.
2.2 En l'espèce, l'expert a constaté que le recourant n'avait pas de retard dans ses connaissances scolaires de base et que son niveau d'intelligence était dans la moyenne (expertise, p. 18, question 14). Malgré ces éléments favorables, il a toutefois considéré que, même si le recourant en avait la volonté, il n'avait pas actuellement les capacités d'accomplir une formation professionnelle complémentaire, en raison des graves troubles du comportement issus de sa personnalité pathologique (expertise, p. 18, question 15).
Les conclusions de l'expertise ne sont pas contradictoires. L'incapacité à accomplir une formation professionnelle du recourant est due à ses troubles de comportement, et non à un défaut d'intelligence ou à un retard dans ses connaissances scolaires. La cour cantonale n'est donc pas tombée dans l'arbitraire en retenant que le recourant n'avait pas la capacité d'accomplir une formation professionnelle. Au demeurant, c'est à juste titre qu'elle s'est fondée sur l'incapacité actuelle du recourant pour refuser de le placer dans un établissement pour jeunes adultes. Si l'état du recourant évolue et qu'une mesure au sens de l'art. 61 CP paraît mieux adaptée, le juge d'application des peines pourra toujours ordonner une telle mesure (art. 62c al. 6 CP; art. 28 al. 4 let. g de la loi vaudoise sur l'exécution des condamnations pénales, LEP, RSV 340.01).
3. Le recourant se plaint de la sévérité de la peine qui lui a été infligée. Il reproche à la cour cantonale de s'être substituée aux premiers juges et d'avoir pallié le défaut de motivation du jugement de première instance. Ceux-ci n'auraient pas pris en considération tous les éléments pertinents et n'auraient pas indiqué le poids de chacun des éléments dans la fixation de la peine.
3.1 Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
Les critères, énumérés de manière non exhaustive par cette disposition, correspondent à ceux fixés par l'art. 63 aCP et la jurisprudence élaborée en application de cette disposition (ATF 134 IV 17 consid. 2.1). Cette jurisprudence conserve toute sa valeur, de sorte que l'on peut continuer à s'y référer (voir ATF 129 IV 6 consid. 6.1 p. 21; 127 IV 101 consid. 2a p. 103; 117 IV 112 consid. 1, 116 IV 288 consid. 2a et les références citées). L'art. 47 CP confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'art. 47 CP, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (ATF 134 IV 17 consid. 2.1; 129 IV 6 consid. 6.1 et les références citées).
L'art. 50 CP prescrit au juge d'indiquer les circonstances pertinentes pour la fixation de la peine et leur importance. Le juge doit exposer dans sa décision les éléments essentiels relatifs à l'acte et à l'auteur qu'il prend en compte, de manière à ce que l'on puisse vérifier que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens atténuant ou aggravant. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté, mais le juge n'est nullement tenu d'exprimer en chiffres ou en pourcentage l'importance qu'il accorde à chacun des éléments qu'il cite (ATF 127 IV 101 consid. 2c p. 105 et les arrêts cités). Plus la peine est élevée, plus la motivation doit être complète (ATF 117 IV 112 consid. 2b/cc p. 117).
3.2 Le jugement de première instance, auquel renvoie l'arrêt attaqué, insiste sur la gravité des infractions commises (assassinat en concours avec brigandage qualifié). Il mentionne l'absence de toute prise de conscience de la part du recourant et ses antécédents judiciaires. Il souligne la gravité de l'acte commis et la violence du recourant; celui-ci est un homme glacé, sans scrupule et indifférent au sort d'autrui. En sa faveur, les premiers juges mentionnent sa date de naissance, son parcours de vie difficile, sa formation, son bon comportement en détention et sa responsabilité diminuée. La cour cantonale s'est ralliée à cette analyse, précisant que les premiers juges avaient tenu compte des vicissitudes de l'enfance du recourant et de son jeune âge en mentionnant sa date de naissance.
La motivation des premiers juges et de la cour cantonale permet de suivre le raisonnement adopté. Elle est détaillée et mentionne les éléments pertinents. Le recourant ne cite du reste aucun élément pertinent que les autorités cantonales auraient omis ou dont elles auraient tenu compte à tort. Contrairement à ce que soutient le recourant, les juges cantonaux ne se sont pas substitués aux premiers juges, mais ont suivi leur raisonnement en précisant que ceux-ci avaient tenu compte de son jeune âge (par la mention de sa date de naissance) et des vicissitudes de son enfance. Il reste à examiner si la peine est exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
3.3 Le recourant s'est notamment rendu coupable d'assassinat (art. 112 CP), de brigandage qualifié (art. 140 ch. 4 CP) et d'incendie intentionnel qualifié (art. 221 al. 2 CP). Il a ravi la vie d'autrui avec cruauté et froideur. En sa défaveur, on peut mentionner l'absence de prise de conscience de l'horreur de son acte, ses antécédents judiciaires et le concours d'infractions. En sa faveur, il faut tenir compte de la responsabilité diminuée, de son jeune âge, de son parcours de vie difficile et de son bon comportement en détention.
Au vu de l'ensemble de ces éléments, la faute du recourant ne peut qu'être qualifiée de très grave; elle justifie une très lourde peine. La peine privative de vingt ans n'apparaît dès lors pas sévère à un point tel qu'il faille conclure à un abus du large pouvoir d'appréciation accordé à la cour cantonale. En ordonnant un placement en institution au sens de l'art. 59 CP, la cour cantonale a au demeurant offert au recourant l'opportunité de faire en sorte de ne pas subir l'entier de cette peine, puisque l'art. 59 CP peut lui permettre de sortir avant, s'il accepte d'entrer dans le processus thérapeutique.
4. Le recours doit ainsi être rejeté.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 4 décembre 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Kistler Vianin