Faits: A. A.a. R._, née en 1953, a travaillé en qualité d'employée de stérilisation d'un établissement hospitalier, activité qu'elle a interrompue ensuite d'une grossesse et n'a plus reprise. Dès le 1er janvier 1992, elle a été engagée en qualité de vendeuse et couturière auxiliaire à temps partiel par la maison X._ SA. Le 23 novembre 1992, elle a déposé une demande de prestations de l'assurance-invalidité. Dans un rapport du 7 décembre 1992, le professeur J._ a indiqué que la patiente, atteinte de polyvalvulopathie mitro-aortique et peut-être tricuspidienne, présentait une incapacité de travail de 50 % depuis octobre 1992. La Commission AI du canton de Vaud, dans un prononcé présidentiel du 6 avril 1994, a conclu à une invalidité de 50 % dès le 1er janvier 1993. Par décision du 6 juillet 1994, la Caisse de compensation des commerçants bernois a alloué à l'assurée une demi-rente d'invalidité à partir du 1er janvier 1993. Sur recours de R._ contre cette décision, le Tribunal des assurances du canton de Vaud, par jugement du 30 août 1995, l'a annulée, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud afin qu'il complète l'instruction dans le sens des considérants, singulièrement ordonne une expertise médicale et statue à nouveau. L'office AI a confié une expertise au COMAI, où l'assurée a séjourné en février 1996. Dans un rapport du 4 juin 1996, les médecins de la Policlinique médicale Y._ ont posé les diagnostics de valvulopathie aortique et mitrale post-traumatique, de fibromyalgie, de status après cure d'une épicondylite droite (2 février 1994), de status après libération interne de la rotule gauche sous arthroscopie pour syndrome rotulien avec subluxation interne et chondromalacie rétro-patellaire modérée (12 février 1991), de troubles somatoformes douloureux, d'état dépressif modéré, de hernie hiatale et d'insuffisance veineuse des membres inférieurs. Relevant que l'activité de couturière avait été interrompue en octobre 1992 pour raisons de santé, ils indiquaient qu'on pouvait tout au plus envisager la reprise d'une activité sédentaire de vendeuse en magasin ou d'un emploi de bureau à un taux qui ne dépasserait toutefois pas 25 %, pour autant que l'intéressée puisse être soulagée des travaux pénibles dans son ménage. L'office AI a conclu à une invalidité de 75 % dès le 1er janvier 1993, date à partir de laquelle il a alloué à R._ une rente entière d'invalidité (décision du 5 juillet 1996). Procédant dès juillet 1999 à la révision du droit à la rente de l'assurée, l'office AI l'a informée le 4 février 2000 qu'elle continuait d'avoir droit à une rente entière pour une invalidité de 75 %. A.b. Dès février 2003, l'office AI a procédé derechef à la révision du droit de R._ à une rente entière d'invalidité. Dans un questionnaire du 20 mars 2003, l'assurée a déclaré qu'elle était sans activité lucrative. L'office AI, se fondant sur les conclusions du professeur J._ dans un rapport du 1er avril 2003 et du docteur W._ (spécialiste FMH en médecine interne générale) dans un rapport du 3 juillet 2003, a retenu que l'état de santé de R._ s'était aggravé en raison d'une gonarthrose gauche invalidante et qu'elle présentait une invalidité de 100 %. Par décision du 13 novembre 2003, notifiée à l'assurée sous la forme d'une simple communication, il l'a avisée qu'elle continuait à bénéficier du droit à une rente entière. A.c. A partir de décembre 2008, l'office AI a procédé à nouveau à la révision du droit de R._ à une rente entière d'invalidité. Il a réuni les comptes individuels de l'assurée. Dans un questionnaire du 20 janvier 2009, celle-ci a répondu qu'elle était salariée, singulièrement qu'elle exerçait une activité lucrative accessoire auprès de X._ SA. Dans un questionnaire pour l'employeur du 10 février 2009, complété le 12 mai 2009, X._ SA a indiqué que les rapports de travail en qualité de vendeuse à temps partiel (67 heures par mois environ ou 20'000 fr. par année [brut]) remontaient au 1er mai 2001. Dans un rapport d'enquête économique pour les salariés du 17 juillet 2009, l'office AI a retenu un taux d'activité moyen de 40 % pour les années 2007 et 2008 et fixé l'invalidité à 60 % en ce qui concerne cette période. Le 22 juillet 2009, il a soumis le dossier de l'assurée à son service juridique, lequel a pris position dans un avis du 12 février 2010, à la suite duquel la maison X._ SA a été invitée à donner des renseignements complémentaires relatifs à la période entre 2002 et 2010 en ce qui concerne le salaire horaire et le salaire annuel effectif, ce qu'elle a fait par lettre du 24 février 2010. Un nouveau rapport d'enquête économique a été établi le 17 mars 2010. Le 22 mars 2010, l'office AI a suspendu par voie de mesure provisionnelle le versement de la rente d'invalidité avec effet au 31 mars 2010 jusqu'à droit connu, au motif que R._ avait manqué à son obligation de renseigner en n'annonçant qu'en janvier 2009 la reprise d'une activité lucrative. Dans un préavis du 22 mars 2010, il l'a informée que par rapport à la décision initiale de rente entière du 5 juillet 1996, le taux d'invalidité avait subi une modification notable et que son droit à la rente devait être réduit en conséquence, singulièrement diminué à une demi-rente dès le 1er avril 2003 (compte tenu d'une invalidité de 61 %), à un trois-quarts de rente dès le 1er avril 2004 (compte tenu d'une invalidité de 64 %), à une demi-rente dès le 1er avril 2007 (compte tenu d'une invalidité de 59 %) et à un trois-quarts de rente dès le 1er avril 2009 (compte tenu d'une invalidité de 62 %). Le préavis indiquait que les prestations indûment perçues devaient être restituées et que l'assurée recevrait une décision séparée à ce sujet. Les 15 avril et 18 mai 2010, R._ a fait part à l'office AI de ses observations. Le 17 septembre 2010, l'office AI, tout en s'exprimant dans un courrier séparé daté du même jour sur les observations de l'assurée, a rendu une décision identique en tous points à son préavis du 22 mars 2010. B. Le 25 octobre 2010, R._ a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation. Elle invitait la juridiction cantonale à dire qu'elle avait droit à une demi-rente dès le 1er avril 2003, à un trois-quarts de rente dès le 1er avril 2004, à une rente entière dès le 1er avril 2006 et à un trois-quarts de rente dès le 1er avril 2007 et que le droit de l'office AI d'exiger la restitution des rentes perçues en trop était prescrit. Dans sa réponse du 13 décembre 2010, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu au rejet du recours. Par arrêt du 28 novembre 2012, la juridiction cantonale, admettant le recours (ch. I du dispositif), a annulé la décision du 17 septembre 2010 dans la mesure où elle portait sur les prestations allouées à R._ pour la période du 1er avril 2003 au 31 mars 2010 (ch. II du dispositif). C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation.