Faits:
A. A.a X._ SA exploite un bureau d'architecte. A._ est administrateur de cette société, pour laquelle il travaille en qualité d'architecte, et affilié à ce titre à la Caisse AVS de la Fédération patronale vaudoise.
Le 31 janvier 2007, la caisse a procédé à un contrôle d'employeur auprès de X._ SA en ce qui concerne la période de 2002 à 2005. Par décision du 29 juin 2007, elle a communiqué à cette société un relevé de compte rectificatif selon rapport de contrôle n° Y._ et lui a réclamé le versement d'un montant de 103'249 fr. 05 correspondant aux cotisations AVS/AI/APG/AC et aux cotisations aux allocations familiales (y compris les frais de gestion de la caisse et les intérêts moratoires) dues sur les salaires non déclarés et revalorisation des salaires nets en ce qui concerne six employés, dont A._. Le 2 juillet 2007, X._ SA a formé opposition contre cette décision. Par décision du 12 juin 2008, la caisse a rejeté l'opposition.
A.b La société X._ SA a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui a invité A._ à se déterminer comme tiers intéressé à la procédure. Elle contestait les reprises de salaires en ce qui concerne A._ de 369'225 fr. pour 2004 et de 172'450 fr. et 17'310 fr. pour 2005.
Par jugement du 9 février 2010 (AVS 29/08 - 7/2010), la juridiction cantonale a partiellement admis le recours, annulé la décision sur opposition du 12 juin 2008 et renvoyé la cause à la caisse "pour nouvelle décision dans le sens des considérants du présent arrêt". Elle a considéré que la somme de 350'400 fr. (correspondant aux rémunérations nettes versées en 2004 à A._ par la société X._ SA) devait être réduite de 65'400 fr., compte tenu des honoraires figurant dans les comptes de A._ en tant qu'indépendant, et que c'était donc un montant net de 285'000 fr. (350'400 fr. - 65'400 fr.), à revaloriser au brut, qui devait être repris pour 2004. En ce qui concerne l'année 2005, où le salaire annoncé à la caisse selon la récapitulation des salaires payés pour cette année-là se montait à 106'800 fr., tant le compte Z._ "salaire A._" que la copie du certificat de salaire pour la déclaration d'impôt 2005 faisaient état d'un salaire brut de 279'250 fr., de sorte que c'était à juste titre que la différence de 172'450 fr. avait été reprise par l'intimée au titre de salaires non annoncés; s'agissant du montant de 16'436 fr. (revalorisé en salaire brut à hauteur de 17'310 fr.), la juridiction cantonale a retenu que ce montant figurant dans la comptabilité de la société sous le compte W._ "sous-traitants" provenait d'une activité indépendante de A._, de sorte qu'il serait pris en considération dans le cadre de la décision de cotisations personnelles qui devait être rendue par la Caisse de compensation AVS du canton du Valais sur la base des données fournies par les autorités fiscales et qu'il ne saurait être pris en compte une seconde fois sur le plan de l'AVS comme salaire provenant d'une activité dépendante.
X._ SA et A._ ont interjeté conjointement un recours en matière de droit public contre ce jugement, en concluant, sous suite de dépens, à son annulation ainsi qu'à celle de la décision sur opposition du 12 juin 2008, et, à titre subsidiaire, à la suspension de la cause "jusqu'au droit connu de la procédure fiscale", voire au renvoi de la cause au Tribunal cantonal vaudois pour complément d'instruction. Par arrêt du 28 juin 2010 (9C_396/2010), le Tribunal fédéral a prononcé que le recours était irrecevable, le jugement entrepris constituant une décision préjudicielle et les conditions de recevabilité du recours (art. 93 al. 1 let. a et b LTF) n'étant pas remplies.
A.c Suite au jugement de renvoi du 9 février 2010 (AVS 29/08 - 7/2010) rendu par la juridiction cantonale vaudoise, la caisse a rectifié la reprise de salaires de 369'225 fr. en la fixant à 300'346 fr. 35 et supprimé la reprise de 17'310 fr. en ce qui concerne A._, en comptabilisant sur son compte les rectifications correspondantes (- 68'878 fr. 65) pour 2004 et (- 17'310 fr.) pour 2005. Elle a établi le 17 août 2010 un décompte complémentaire 2005 en ce qui concerne X._ SA, en fixant les cotisations à 93'360 fr. 10 (valeur 31.07.2010) et les intérêts moratoires à 9'888 fr. 95 (valeur 31.07.2010) et en portant au crédit de cette société la somme de 11'730 fr. 65 (valeur 17.08.2010) sous la forme d'une écriture de compensation. Par décision du 18 août 2010, la caisse a communiqué à X._ SA le décompte complémentaire selon rapport de contrôle n° 451bis et réclamé à cette société le versement d'un montant de 91'518 fr. 40 (93'360 fr. 10 + 9'888 fr. 95 - 11'730 fr. 65). Le 13 septembre 2010, la société X._ SA a formé opposition contre cette décision. Par décision du 1er octobre 2010, la caisse a rejeté l'opposition.
B. Dans un mémoire du 1er novembre 2010, la société X._ SA a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant, sous suite de dépens, à son annulation. Requérant la production complète du dossier de la caisse et la mise en oeuvre d'une expertise comptable, elle demandait à titre subsidiaire que la cause soit renvoyée à la caisse pour complément d'instruction.
Dans sa réponse du 6 décembre 2010, la Caisse AVS de la Fédération patronale vaudoise a conclu au rejet du recours. Par lettre du 18 février 2011, A._ s'est déterminé comme tiers intéressé à la procédure, en concluant, sous suite de dépens, à l'annulation de la décision sur opposition du 1er octobre 2010.
Par jugement du 20 juillet 2011, la juridiction cantonale a rejeté le recours.
C. La société X._ SA et A._ interjettent un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation du jugement du 9 février 2010 et de la décision sur opposition du 12 juin 2008.
Par courrier du 5 septembre 2011, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a indiqué qu'il faisait parvenir au Tribunal fédéral le dossier complet de la cause.
Par ordonnance du 3 juillet 2012, le Tribunal fédéral a invité la Caisse AVS de la Fédération patronale vaudoise à produire le dossier pour le cas où l'intégralité des pièces n'aurait pas été versée au dossier. Par lettre du 4 juillet 2012, la caisse a répondu que l'intégralité des pièces du dossier avait été versée au dossier du Tribunal cantonal du canton de Vaud, Cour des assurances sociales.
Par lettre du 19 juillet 2012, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a déposé ses observations. Dans le délai imparti pour se déterminer, la Caisse AVS de la Fédération patronale vaudoise a conclu au maintien du jugement du 20 juillet 2011. Le 24 août 2012, la société X._ SA et A._ ont déposé leurs observations.

Considérant en droit:
1. 1.1 X._ SA et A._ interjettent un recours en matière de droit public contre le jugement rendu le 20 juillet 2011 par la juridiction cantonale, lequel constitue une décision finale selon l'<ref-law>. Telles qu'elles sont libellées, les conclusions des recourants soumises au Tribunal fédéral sont dirigées contre le jugement de renvoi du 9 février 2010 rendu par la juridiction cantonale, lequel constitue une décision incidente à l'encontre de laquelle un recours immédiat n'était pas ouvert, raison pour laquelle la Cour de céans par arrêt du 28 juin 2010 a déclaré irrecevable le recours qu'ils ont formé le 10 mai 2010 contre ce jugement.
Conformément à l'<ref-law>, il est possible aux recourants, en formant un recours contre la décision finale du 20 juillet 2011, de remettre en cause la décision incidente, mais seulement dans la mesure où cette dernière est susceptible d'influer sur le contenu de la décision finale (BERNARD CORBOZ, in: Commentaire de la LTF, Berne 2009, n° 40 et 43 ad <ref-law> et la référence à l'arrêt <ref-ruling> consid. 1b p. 92). Cette condition est en principe remplie lorsque la décision incidente concerne l'admission d'un moyen de preuve (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4132 ch. 4.1.4.1). Selon la doctrine, la règle correspond à l'exigence d'un intérêt actuel et pratique à statuer, telle que l'ancien droit la connaissait déjà (<ref-ruling> consid. 1.2.2 p. 332 s. et les références). En l'espèce, la décision incidente que constitue le jugement du 9 février 2010 est susceptible d'influer sur le contenu de la décision finale que constitue le jugement entrepris du 20 juillet 2011, dans la mesure où le jugement du 9 février 2010 concerne l'admission de moyens de preuve (comptes de pertes et profits de A._, mise en oeuvre d'une expertise comptable) et où le sort du recours contre le jugement du 20 juillet 2011 en dépend. Dans cette mesure, les recourants ont ainsi un intérêt actuel et pratique à attaquer la décision incidente dans leur recours contre la décision finale.
1.2 Le recours en matière de droit public (art. 82 s. LTF) peut être formé notamment pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La correction du vice doit être susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>).
2. 2.1 Le jugement entrepris expose correctement les règles légales sur le revenu provenant d'une activité dépendante (<ref-law>), singulièrement les éléments du salaire déterminant (<ref-law>), et sur la notion de revenu provenant d'une activité indépendante (<ref-law>) et sa détermination (<ref-law>). On peut ainsi y renvoyer.
2.2 Ainsi que le rappelle le jugement entrepris, est réputé salarié, d'une manière générale, celui qui dépend d'un employeur quant à l'organisation du travail et du point de vue de l'économie de l'entreprise, et ne supporte pas le risque encouru par l'entrepreneur (<ref-ruling> consid. 1 p. 163, 122 V 169 consid. 3a p. 171, 281 consid. 2a p. 283, 119 V 161 consid. 2 p. 162 et les arrêts cités). Ce risque peut être défini comme étant celui que court la personne qui doit compter, en raison d'évaluations ou de comportements professionnels inadéquats, avec des pertes de la substance économique de l'entreprise. Constituent notamment des indices révélant l'existence d'un risque économique d'entrepreneur le fait que l'assuré opère des investissements importants, subit les pertes, supporte le risque d'encaissement et de ducroire, assume les frais généraux, agit en son propre nom et pour son propre compte, se procure lui-même les mandats, occupe du personnel et utilise ses propres locaux commerciaux (arrêt 9C_1062/2010 du 5 juillet 2011, consid. 7.3 et les références à la doctrine; voir aussi <ref-ruling> consid. 3b p. 163). Selon la jurisprudence, les tâcherons et sous-traitants sont réputés exercer une activité dépendante (<ref-ruling> consid. 2b p. 69). Leur activité ne peut être qualifiée d'indépendante que lorsque les caractéristiques de la libre entreprise dominent manifestement et que l'on peut admettre, d'après les circonstances, que l'intéressé traite sur un pied d'égalité avec l'entrepreneur qui lui a confié le travail (<ref-ruling> consid. 2 p. 89; arrêt 9C_1062/2010 du 5 juillet 2011 consid. 7.5 et arrêt [du Tribunal fédéral des assurances] H 169/04 du 21 avril 2005 consid. 4.4 et les références à la doctrine).
3. Le jugement entrepris du 20 juillet 2011 expose que la rectification effectuée par l'intimée dans sa décision du 18 août 2010, confirmée sur opposition le 1er octobre 2010, correspond aux considérants de l'arrêt de renvoi du 9 février 2010 disposant que c'est un montant net de 285'000 fr. (350'400 fr. - 65'400 fr.) à revaloriser au brut qui devait être repris pour l'année 2004 et que la caisse n'aurait pas dû prendre en compte dans le décompte rectificatif de cotisations du 29 juin 2007 le montant de 17'310 fr. comme salaire déterminant pour 2005. Les premiers juges ont considéré que la caisse avait ainsi procédé aux calculs requis conformément aux considérants de l'arrêt de renvoi et statué à nouveau et que X._ SA ne soulevait aucun argument en rapport avec le nouveau calcul de cotisations effectué par l'intimée, pour lequel la cause avait été renvoyée à la caisse, et ne produisait du reste aucune pièce susceptible de l'infirmer. En réalité, la société recourait pour reprendre la même argumentation que celle développée lors de la précédente procédure de recours, à laquelle la juridiction cantonale avait répondu dans le jugement du 9 février 2010, et il convenait ainsi de renvoyer intégralement aux considérants 4a, 4b et 4c de ce jugement. Pour les mêmes motifs, il n'y avait pas lieu de suspendre la procédure ni d'ordonner une expertise comptable.
4. Les recourants invoquent une violation du droit d'être entendu pour défaut de motivation du jugement entrepris du 20 juillet 2011, dans la mesure où ce jugement renvoie aux considérants 4a, 4b et 4c du jugement du 9 février 2010.
4.1 La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) le devoir pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 5.2 p. 236, 134 I 83 consid. 4.1 p. 88 et les références).
4.2 En l'espèce, la motivation du jugement de renvoi du 9 février 2010 constitue le cadre pour la nouvelle motivation juridique du jugement du 20 juillet 2011. Dans le jugement entrepris, les premiers juges ont considéré que X._ SA recourait pour reprendre la même argumentation que celle développée lors de la précédente procédure de recours et qu'ils y avaient déjà répondu aux consid. 4a, 4b et 4c du jugement du 9 février 2010, raison pour laquelle le jugement du 20 juillet 2011 renvoie aux considérants ainsi mentionnés. On peut dès lors discerner les motifs qui ont guidé leur décision. Le recours est mal fondé de ce chef.
5. Les recourants remettent en cause la décision incidente que constitue le jugement du 9 février 2010, dans la mesure où ce jugement considère que pour 2004 le compte W._ "sous-traitants" de X._ SA fait état de rémunérations nettes de 350'400 fr. versées à A._ par la société et qu'à hauteur de 285'000 fr. (montant à revaloriser au brut) il s'agit de salaires non annoncés et que pour 2005 la différence de 172'450 fr. entre le salaire annoncé de 106'800 fr. selon la récapitulation des salaires payés en 2005 et le salaire brut de 279'250 fr. ressortant aussi bien du compte Z._ "salaire A._" de X._ SA que de la copie du certificat de salaire pour la déclaration d'impôt 2005 constitue un salaire non annoncé versé par la société à A._.
5.1 De toute part manquent les pièces pertinentes, nécessaires à la constitution du dossier permettant d'établir l'état de fait déterminant. En ce qui concerne l'année 2004, manque notamment le compte W._ "sous-traitants" de la société X._ SA; qu'il s'agisse de A._, manquent notamment les comptes dont a fait état le réviseur en ce qui concerne ses honoraires et le compte de pertes et profits au 31 décembre 2004, tel qu'établi le 24 mai 2005.
5.1 De toute part manquent les pièces pertinentes, nécessaires à la constitution du dossier permettant d'établir l'état de fait déterminant. En ce qui concerne l'année 2004, manque notamment le compte W._ "sous-traitants" de la société X._ SA; qu'il s'agisse de A._, manquent notamment les comptes dont a fait état le réviseur en ce qui concerne ses honoraires et le compte de pertes et profits au 31 décembre 2004, tel qu'établi le 24 mai 2005.
5.2 5.2.1 Du jugement du 9 février 2010, il ressort que le 11 mars 2009, l'intimée a produit une copie du rapport complet de contrôle n° Y._ et qu'elle a précisé les bases relatives aux reprises concernant A._. S'agissant des précisions apportées par la caisse, ce jugement indique pour l'année 2004 que "(le) compte W._ "sous-traitants" de la société X._ SA fait état de rémunérations nettes de 350'400 fr. qui ont été reprises à titre de salaires" et que "(les) salaires nets ont été revalorisés en salaires bruts à hauteur de 369'225 fr. (en tenant compte du salaire soumis AC)". Le jugement du 9 février 2010 indique également pour l'année 2004 que "(selon) le réviseur, figurent dans les comptes de A._ en tant qu'indépendant les honoraires correspondant aux montants bruts suivants: 20'000 fr. (sans TVA: 18'587 fr. 36), 8'700 fr. (sans TVA: 8'085 fr.), 9'200 fr. (sans TVA: 8'550 fr. 19), 16'300 fr. (sans TVA: 15'148 fr. 70), 8'700 fr. (sans TVA: 8'085 fr.) et 2'500 fr. (sans TVA: 2'323 fr. 42), pour un total de 65'400 fr. (sans TVA: 60'780 fr. 67)".
5.2.2 Sur cette base, la juridiction cantonale a retenu dans le jugement du 9 février 2010 qu'il résultait de la comptabilité de X._ SA examinée par le réviseur de la caisse que les rémunérations nettes de 350'400 fr. avaient été versées en 2004 à A._ par la société. Elle a considéré que, "(dès) lors que le compte de pertes et profits () de A._ au 31 décembre 2004 ne fait état, au niveau des recettes, que d'un montant de 89'200 fr.", il était manifestement erroné de prétendre que les rémunérations nettes de 350'400 fr. versées en 2004 à A._ par la société auraient été intégralement incluses dans la comptabilité d'indépendant de A._. Elle a admis, toutefois, que la somme de 350'400 fr. devait être réduite de 65'400 fr., compte tenu des honoraires figurant dans les comptes de A._, et qu'à hauteur de 285'000 fr. (montant à revaloriser au brut) les rémunérations nettes figurant dans le compte W._ "sous-traitants" de X._ SA versées en 2004 à A._ par cette société constituaient des salaires non annoncés.
5.2.3 Il importe toutefois de savoir si X._ SA a fait figurer en 2004 dans sa comptabilité sous le compte W._ "sous-traitants" les rémunérations de l'activité indépendante de A._. Cela n'est pas impossible, puisque, comme l'a relevé la juridiction cantonale dans le jugement du 9 février 2010 à propos du montant de 16'436 fr. (soit 17'310 fr. brut) qui faisait l'objet de l'une des reprises de salaires pour 2005, il ressortait de la comptabilité de X._ SA sous le compte W._ "sous-traitants" que ce montant correspondait aux recettes réalisées en 2005 par A._ dans son activité de promoteur indépendant. Tels qu'ils sont mentionnés dans le jugement du 9 février 2010, les honoraires qui "figurent dans les comptes de A._ en tant qu'indépendant" en 2004 et l'état des recettes dans le compte de pertes et profits de A._ au 31 décembre 2004 "établi le 24 mai 2005" ne permettent de tirer aucune conclusion sur le contenu en 2004 du compte W._ "sous-traitants" de X._ SA. Il est dès lors déterminant de savoir si A._ a oeuvré en 2004 en qualité de sous-traitant pour le compte de X._ SA dans son activité de promoteur indépendant et quels sont les revenus qu'il a réalisés cette année-là à ce titre dans le cadre de cette activité qui ont pu lui être versés par X._ SA et être comptabilisés dans le compte W._ "sous-traitants". Cela aurait dû être élucidé au préalable par la juridiction cantonale. Il apparaît que le jugement du 9 février 2010, qui ne contient aucune constatation de fait sur ce point, est incomplet. Le caractère incomplet du jugement du 9 février 2010 affecte également le contenu du jugement entrepris du 20 juillet 2011. Il convient dès lors d'annuler le jugement du 20 juillet 2011 et la décision sur opposition du 1er octobre 2010, d'annuler le jugement du 9 février 2010 en tant qu'il admet qu'un montant net de 285'000 fr. (à revaloriser au brut) doit être repris par l'intimée comme salaires non annoncés en 2004 et de renvoyer la cause à la juridiction cantonale pour qu'elle procède à une instruction complémentaire dans le sens indiqué ci-dessus (voir aussi supra, consid. 2.2) et statue à nouveau. A ce stade de la procédure, il ne se justifie pas que la Cour de céans se prononce sur la version corrigée (au 21 juin 2006, voire au 14 mars 2008) du compte de pertes et profits de A._ au 31 décembre 2004 invoquée par les recourants. Le recours est bien fondé de ce chef.
5.3 En ce qui concerne la différence de 172'450 fr. entre le salaire annoncé de 106'800 fr. selon la récapitulation des salaires payés en 2005 et le salaire brut de 279'250 fr. ressortant aussi bien du compte Z._ "salaire A._" de X._ SA que de la copie du certificat de salaire pour la déclaration d'impôt 2005, la juridiction cantonale a considéré dans le jugement du 9 février 2010 que la société X._ SA et A._ ne sauraient prétendre que le montant de 172'450 fr. constituait le revenu d'une activité indépendante réalisée par A._ en sa qualité de promoteur immobilier. En effet, le compte de pertes et profits de A._ au 31 décembre 2005, tel qu'établi le 21 juin 2006, ne faisait état, au titre de recettes, que d'un montant de 16'436 fr., montant qui faisait également l'objet d'une reprise de salaire pour 2005 et dont les premiers juges ont retenu dans le jugement du 9 février 2010 qu'il figurait dans la comptabilité de X._ SA sous le compte W._ "sous-traitants" et correspondait aux recettes réalisées en 2005 par A._ dans son activité de promoteur indépendant. Devant la Cour de céans, les recourants ne discutent pas la raison mentionnée ci-dessus pour laquelle la juridiction cantonale a admis que c'était à juste titre que la différence de 172'450 fr. avait été reprise par l'intimée au titre de salaires non annoncés. Ils n'ont dès lors pas satisfait à l'obligation de motiver leur recours, lequel ne répond pas aux exigences de l'art. 42 al. 1 et 2 LTF. Dans la mesure où ils ont pris des conclusions tendant à l'annulation du jugement du 9 février 2010 sur ce point, celles-ci sont irrecevables.
5.4 La péremption n'est pas intervenue (<ref-ruling> consid. 3b p. 210), la décision de l'intimée du 29 juin 2007 étant décisive au regard de l'<ref-law> (arrêt [du Tribunal fédéral des assurances] H 33/94 du 18 septembre 1995, consid. 2c in VSI 1996 p. 139 s.), sans que les procédures ultérieures y changent quoi que ce soit.
6. Vu l'issue du litige, les recourants obtiennent partiellement gain de cause. Il se justifie de répartir les frais judiciaires à raison de la moitié à la charge des recourants et de la moitié à la charge de l'intimée (<ref-law>). La caisse intimée versera aux recourants des dépens réduits dans la même proportion (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Dans la mesure où il est recevable, le recours est partiellement admis en ce sens que le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 20 juillet 2011 et la décision sur opposition de la Caisse AVS de la Fédération patronale vaudoise du 1er octobre 2010 sont annulés et que le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 9 février 2010 (AVS 29/08 - 7/2010) est annulé en tant qu'il admet qu'un montant net de 285'000 fr. (à revaloriser au brut) doit être repris par l'intimée comme salaires non annoncés en 2004, la cause étant renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
2. Les frais judiciaires, arrêtés à 4'500 fr., sont mis pour 2'250 fr. à la charge des recourants et pour 2'250 fr. à la charge de la Caisse AVS de la Fédération patronale vaudoise.
3. La Caisse AVS de la Fédération patronale vaudoise versera aux recourants la somme de 1'400 fr., y compris la taxe à la valeur ajoutée, à titre de dépens pour la procédure de dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 25 septembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner