Faits:
A. Par jugement du 22 février 2011, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a reconnu X._ coupable d'escroquerie par métier et de faux dans les titres. Il lui a infligé une peine de réclusion de trois ans et demi, sous déduction de la détention préventive, précisant que cette peine était complémentaire à celle prononcée le 23 janvier 2008 par le Juge d'instruction du Valais central. En outre, il a révoqué le sursis accordé le 17 mai 2001 à X._ par le Tribunal correctionnel de l'Est vaudois et ordonné l'exécution de la peine de cinq mois d'emprisonnement. Enfin, il s'est prononcé sur les conclusions des parties civiles.
B. Statuant le 12 septembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a très partiellement admis l'appel formé par X._ en ce sens que le sursis accordé le 17 mai 2001 n'était pas révoqué et que la peine de trois ans et demi était complémentaire à celle infligée le 23 janvier 2008 par le Juge d'instruction du Valais central et partiellement complémentaire à celle infligée le 17 mai 2001 par le Tribunal correctionnel de l'Est vaudois.
C. Contre ce dernier jugement, X._ dépose un recours en matière pénale et un recours constitutionnel subsidiaire devant le Tribunal fédéral. Il dénonce une violation du droit d'être entendu au sens de l'art. 3 al. 2 let. c CPP, des art. 343 al. 3 et 389 al. 2 et 3 CPP relatifs à l'administration des preuves et de l'art. 47 CP concernant la fixation de la peine. Il conclut, principalement, à la réforme du jugement attaqué en ce sens qu'il est condamné à une peine n'excédant pas la durée de sa détention préventive et, subsidiairement, à l'annulation du jugement attaqué et au renvoi de la cause devant l'autorité précédente pour complément d'instruction et nouveau jugement. En outre, il sollicite l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le jugement attaqué a été rendu, en dernière instance cantonale, dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale au sens des art. 78 ss LTF, de sorte que le recours constitutionnel subsidiaire est exclu (art. 113 LTF). Il convient donc d'examiner l'ensemble des griefs soulevés par le recourant dans la procédure du recours en matière pénale.
2. Le recourant dénonce une violation de l'art. 389 al. 2 CPP. Il reproche à la cour cantonale d'avoir refusé de réentendre les témoins, dont les dépositions n'avaient pas été verbalisées en première instance, comme le permettait l'ancien code de procédure pénale vaudois alors applicable. Se référant à l'art. 343 al. 3 CPP relatif aux débats de première instance, il soutient que la cour cantonale est tenue de répéter l'administration des preuves lorsque la preuve a été correctement administrée et qu'il s'agit de garantir la connaissance directe du moyen de preuve nécessaire au prononcé du jugement.
2.1 Selon l'art. 389 al. 1 CPP, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance.
L'art. 389 al. 2 CPP prévoit que l'administration des preuves du tribunal de première instance est répétée dans trois hypothèses, à savoir lorsque les dispositions en matière de preuves ont été enfreintes, lorsque l'administration des preuves est incomplète ou lorsque les pièces relatives à l'administration des preuves ne semblent pas fiables.
L'art. 389 al. 3 CPP règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours.
L'art. 389 CPP figure au Titre 9 intitulé "voie de recours". Il s'agit donc d'une disposition générale qui vaut pour l'autorité d'appel, le terme "recours" employé dans cette disposition étant générique.
2.2 2.2.1 Le recourant ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Dans le cas particulier, le recourant soutient que les preuves ont été administrées en violation des règles fédérales sur les preuves, en particulier de l'art. 389 al. 2 CPP.
Dans l'hypothèse d'une violation du droit fédéral, la critique doit être formulée en respectant les exigences de l'art. 42 LTF. Selon cette disposition, les mémoires doivent être rédigés dans une langue officielle, indiquer les conclusions, les motifs et les moyens de preuve, et être signés. Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit. Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit ; il n'est pas indispensable qu'il indique expressément les dispositions légales - le numéro des articles de loi - ou qu'il désigne expressément les principes non écrits de droit qui auraient été violés (arrêt du 7 avril 2008 du Tribunal fédéral 2C_612/2007, consid. 2.1). De surcroît, il doit démontrer que la violation qu'il invoque est susceptible d'avoir une influence sur le sort de la cause (art. 97 al. 1 in fine LTF).
2.2.2 En l'espèce, ces exigences de motivation ne sont pas respectées. Le recourant sollicite la réaudition de cinq témoins afin que la cour cantonale ait une connaissance directe de ces dépositions, mais ne précise pas les faits (ou à tout le moins les escroqueries) sur lesquel(le)s les témoins devraient être réentendus et n'établit donc pas que le moyen de preuves dont il demande une nouvelle administration est propre à influer sur l'issue du procès (art. 97 al. 1 LTF). Son argumentation ne satisfait dès lors pas les exigences de motivation posées à l'art. 42 al. 1 LTF. Le grief soulevé est irrecevable.
3. Invoquant son droit d'être entendu (art. 3 al. 2 let. c CPP) et l'art. 389 al. 3 CPP, le recourant reproche à la cour cantonale de ne pas avoir organisé une confrontation entre lui et son co-accusé.
3.1 Aux termes de l'art. 6 § 3 let. d CEDH, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la citation et l'interrogatoire des témoins à décharge dans les mêmes conditions que les témoins à charge. Ce droit découle aussi de l'art. 29 Cst. (cf. pour la jurisprudence relative à l'art. 4 aCst., <ref-ruling> consid. 6b p. 132/133; <ref-ruling> consid. 5b p. 284). Il est également garanti par l'art. 32 al. 2 Cst. (<ref-ruling> consid. 3.1. p. 154). On entend par témoins à charge tous les auteurs de déclarations susceptibles d'être prises en considération au détriment de l'accusé, quelle que soit la qualité de ces personnes dans le procès; il s'agit donc aussi des plaignants ou autres parties à la cause (<ref-ruling> consid. 6a in fine p. 132). Les éléments de preuve doivent en principe être produits en présence de l'accusé lors d'une audience publique, en vue d'un débat contradictoire. Il est toutefois admissible de se référer aux dépositions recueillies avant les débats, durant la phase de l'enquête, si l'accusé a disposé d'une occasion adéquate et suffisante de contester un témoignage à charge et d'en interroger ou faire interroger l'auteur (<ref-ruling> consid. 6b p. 132; voir aussi <ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 5b p. 284).
Le droit du prévenu de faire poser des questions à un témoin à charge est absolu lorsque la déposition de cette personne constitue une preuve décisive (<ref-ruling> consid. 3.1 in fine p. 154; <ref-ruling> consid. 6c/dd p. 135). Lorsqu'il n'est plus possible de faire procéder à une audition contradictoire en raison du décès, de l'absence ou d'un empêchement durable du témoin, la déposition recueillie au cours de l'enquête peut être prise en considération alors même que l'accusé n'aurait pas eu l'occasion d'en faire interroger l'auteur, mais à condition que la déposition soit soumise à un examen attentif, que l'accusé puisse prendre position à son sujet et que le verdict de culpabilité ne soit pas fondé sur cette seule preuve (ATF <ref-ruling> consid. 5b p. 285/286 ; CourEDH, arrêt Artner c. Autriche du 28.8.1992, série A n° 242, § 21).
3.2 L'art. 147 al. 1 CPP consacre le droit de poser des questions lors d'une audition. L'alinéa 3 de cette disposition prévoit qu'une partie ou son conseil juridique a le droit de demander la répétition de tout acte d'instruction effectué lorsque, pour des motifs impérieux, le conseil juridique ou la partie non représentée n'a pas pu y prendre part. Il peut être renoncé à cette répétition lorsqu'elle entraînerait des frais et des démarches disproportionnés et que le droit des parties d'être entendues, en particulier celui de poser des questions aux comparants, peut être satisfait d'une autre manière (cf. OLIVIER THORMANN, Code de procédure pénale suisse, Commentaire romand, 2011, n. 12 ss CPP). Ainsi, il sera renoncé à la répétition en cas de décès du comparant, de son expulsion du territoire ou de l'impossibilité de le retrouver malgré des recherches (OLIVIER THORMANN, op. cit. n. 18 ad art. 147 CPP) ; dans ce cas, la première audition pourra être utilisée à condition que le prévenu ait eu la possibilité d'en prendre connaissance et de se déterminer, que l'audition fasse l'objet d'une appréciation prudente et qu'elle ne serve pas de preuve déterminante (OLIVIER THORMANN, op. cit., n. 30 et 31 ad art. 147 CPP) .
3.3 En l'espèce, le co-accusé est resté introuvable malgré les recherches policières et la cour cantonale s'est trouvée dans l'impossibilité d'organiser une confrontation. Elle a procédé à un examen attentif de la déposition de Y._ et n'a pas fondé son verdict de culpabilité sur les seules déclarations de ce dernier. C'est ainsi qu'elle s'est référée aux déclarations des parties civiles et à des documents pour corroborer la version présentée par Y._. Le recourant ne prétend pas n'avoir pas pu prendre connaissance de la déposition de son coaccusé ni ne démontre que l'appréciation des preuves de la cour cantonale serait arbitraire. On ne saurait donc reprocher à la cour cantonale d'avoir tenu compte de la déposition de Y._. Dans la mesure où il est suffisamment motivé et, donc, recevable, le grief soulevé doit être rejeté.
4. Le recourant critique la peine qui lui a été infligée.
4.1 L'art. 47 CP prévoit que le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents (judiciaires et non judiciaires), la réputation, la situation personnelle (état de santé, âge, obligations familiales situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 2.1 p. 19 s.; <ref-ruling> consid. 6.1).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, se fonde sur des critères étrangers à l'art. 47 CP, omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 2.1; <ref-ruling> consid. 6.1 et les références citées).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, se fonde sur des critères étrangers à l'art. 47 CP, omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 2.1; <ref-ruling> consid. 6.1 et les références citées).
4.2 4.2.1 Le recourant soutient que la cour cantonale n'aurait pas suffisamment motivé la peine prononcée. En particulier, elle n'aurait pas indiqué la réduction de peine résultant de l'écoulement du temps depuis les faits jugés et du comportement pénalement irréprochable du recourant depuis 2004. Selon la jurisprudence, la motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté, mais le juge n'est nullement tenu d'exprimer en chiffres ou en pourcentage l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 2c p. 105). En conséquence, la cour cantonale n'a pas violé le droit fédéral, en ne mentionnant pas l'ampleur de la diminution de la peine résultant de l'écoulement du temps et du comportement irréprochable du recourant. Le grief du recourant doit être rejeté.
4.2.2 Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de l'effet de la peine prononcée sur son avenir notamment professionnel. La cour cantonale a mentionné que le recourant avait retrouvé du travail depuis sa libération, de sorte que l'on ne saurait lui reprocher d'avoir omis cet élément. Mal fondé, le grief soulevé doit être rejeté.
4.2.3 Enfin, le recourant fait grief à la cour cantonale de lui avoir infligé une peine identique à celle de son coaccusé, alors qu'il n'a jamais fait défaut et a toujours assumé ce qui lui était reproché. Il est certes admis qu'une certaine égalité - dans le sens d'une certaine proportion - doit être garantie entre les coaccusés dans le cadre d'une même affaire (<ref-ruling> consid. 3.2 p. 193 ; <ref-ruling>). L'arrêt attaqué ne décrit toutefois pas les faits pour lesquels le coaccusé a été condamné ni ne mentionne les éléments qui sont intervenus dans la fixation de sa peine, de sorte que la cour de céans, qui statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), ne peut procéder à une comparaison des peines des deux coaccusés. Le grief soulevé est infondé.
4.3 En définitive, la cour cantonale n'a pas omis d'élément important lors de la fixation de la peine et a correctement motivé celle-ci. Il convient encore d'examiner si, au vu des circonstances, la peine infligée apparaît sévère au point de constituer un abus du pouvoir d'appréciation.
En l'espèce, le recourant a extorqué pendant plus de dix ans des montants considérables (1'344'000 fr.) aux victimes sans jamais se préoccuper de les rembourser, et s'est enferré dans une défense de déni révélant l'absence de tout remords et l'indifférence face aux victimes de la cause. A sa décharge, on peut tenir compte de l'éloignement dans le temps des infractions commises. Sur le plan personnel, on peut mentionner que le recourant a retrouvé une activité lucrative et qu'il n'a plus connu d'ennuis pénaux depuis 2004. Au vu de l'ensemble de ces circonstances, la peine privative de liberté de trois ans et demi n'est pas sévère, de sorte qu'il faille conclure à un abus du large pouvoir d'appréciation accordé à la cour cantonale.
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin