Faits:
A.
A.a. R._, née en 1953, a travaillé en qualité d'employée de stérilisation d'un établissement hospitalier, activité qu'elle a interrompue ensuite d'une grossesse et n'a plus reprise. Dès le 1er janvier 1992, elle a été engagée en qualité de vendeuse et couturière auxiliaire à temps partiel par la maison X._ SA. Le 23 novembre 1992, elle a déposé une demande de prestations de l'assurance-invalidité. Dans un rapport du 7 décembre 1992, le professeur J._ a indiqué que la patiente, atteinte de polyvalvulopathie mitro-aortique et peut-être tricuspidienne, présentait une incapacité de travail de 50 % depuis octobre 1992. La Commission AI du canton de Vaud, dans un prononcé présidentiel du 6 avril 1994, a conclu à une invalidité de 50 % dès le 1er janvier 1993. Par décision du 6 juillet 1994, la Caisse de compensation des commerçants bernois a alloué à l'assurée une demi-rente d'invalidité à partir du 1er janvier 1993. Sur recours de R._ contre cette décision, le Tribunal des assurances du canton de Vaud, par jugement du 30 août 1995, l'a annulée, la cause étant renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud afin qu'il complète l'instruction dans le sens des considérants, singulièrement ordonne une expertise médicale et statue à nouveau.
L'office AI a confié une expertise au COMAI, où l'assurée a séjourné en février 1996. Dans un rapport du 4 juin 1996, les médecins de la Policlinique médicale Y._ ont posé les diagnostics de valvulopathie aortique et mitrale post-traumatique, de fibromyalgie, de status après cure d'une épicondylite droite (2 février 1994), de status après libération interne de la rotule gauche sous arthroscopie pour syndrome rotulien avec subluxation interne et chondromalacie rétro-patellaire modérée (12 février 1991), de troubles somatoformes douloureux, d'état dépressif modéré, de hernie hiatale et d'insuffisance veineuse des membres inférieurs. Relevant que l'activité de couturière avait été interrompue en octobre 1992 pour raisons de santé, ils indiquaient qu'on pouvait tout au plus envisager la reprise d'une activité sédentaire de vendeuse en magasin ou d'un emploi de bureau à un taux qui ne dépasserait toutefois pas 25 %, pour autant que l'intéressée puisse être soulagée des travaux pénibles dans son ménage. L'office AI a conclu à une invalidité de 75 % dès le 1er janvier 1993, date à partir de laquelle il a alloué à R._ une rente entière d'invalidité (décision du 5 juillet 1996).
Procédant dès juillet 1999 à la révision du droit à la rente de l'assurée, l'office AI l'a informée le 4 février 2000 qu'elle continuait d'avoir droit à une rente entière pour une invalidité de 75 %.
A.b. Dès février 2003, l'office AI a procédé derechef à la révision du droit de R._ à une rente entière d'invalidité. Dans un questionnaire du 20 mars 2003, l'assurée a déclaré qu'elle était sans activité lucrative. L'office AI, se fondant sur les conclusions du professeur J._ dans un rapport du 1er avril 2003 et du docteur W._ (spécialiste FMH en médecine interne générale) dans un rapport du 3 juillet 2003, a retenu que l'état de santé de R._ s'était aggravé en raison d'une gonarthrose gauche invalidante et qu'elle présentait une invalidité de 100 %. Par décision du 13 novembre 2003, notifiée à l'assurée sous la forme d'une simple communication, il l'a avisée qu'elle continuait à bénéficier du droit à une rente entière.
A.c. A partir de décembre 2008, l'office AI a procédé à nouveau à la révision du droit de R._ à une rente entière d'invalidité. Il a réuni les comptes individuels de l'assurée. Dans un questionnaire du 20 janvier 2009, celle-ci a répondu qu'elle était salariée, singulièrement qu'elle exerçait une activité lucrative accessoire auprès de X._ SA. Dans un questionnaire pour l'employeur du 10 février 2009, complété le 12 mai 2009, X._ SA a indiqué que les rapports de travail en qualité de vendeuse à temps partiel (67 heures par mois environ ou 20'000 fr. par année [brut]) remontaient au 1er mai 2001. Dans un rapport d'enquête économique pour les salariés du 17 juillet 2009, l'office AI a retenu un taux d'activité moyen de 40 % pour les années 2007 et 2008 et fixé l'invalidité à 60 % en ce qui concerne cette période. Le 22 juillet 2009, il a soumis le dossier de l'assurée à son service juridique, lequel a pris position dans un avis du 12 février 2010, à la suite duquel la maison X._ SA a été invitée à donner des renseignements complémentaires relatifs à la période entre 2002 et 2010 en ce qui concerne le salaire horaire et le salaire annuel effectif, ce qu'elle a fait par lettre du 24 février 2010. Un nouveau rapport d'enquête économique a été établi le 17 mars 2010.
Le 22 mars 2010, l'office AI a suspendu par voie de mesure provisionnelle le versement de la rente d'invalidité avec effet au 31 mars 2010 jusqu'à droit connu, au motif que R._ avait manqué à son obligation de renseigner en n'annonçant qu'en janvier 2009 la reprise d'une activité lucrative. Dans un préavis du 22 mars 2010, il l'a informée que par rapport à la décision initiale de rente entière du 5 juillet 1996, le taux d'invalidité avait subi une modification notable et que son droit à la rente devait être réduit en conséquence, singulièrement diminué à une demi-rente dès le 1er avril 2003 (compte tenu d'une invalidité de 61 %), à un trois-quarts de rente dès le 1er avril 2004 (compte tenu d'une invalidité de 64 %), à une demi-rente dès le 1er avril 2007 (compte tenu d'une invalidité de 59 %) et à un trois-quarts de rente dès le 1er avril 2009 (compte tenu d'une invalidité de 62 %). Le préavis indiquait que les prestations indûment perçues devaient être restituées et que l'assurée recevrait une décision séparée à ce sujet. Les 15 avril et 18 mai 2010, R._ a fait part à l'office AI de ses observations. Le 17 septembre 2010, l'office AI, tout en s'exprimant dans un courrier séparé daté du même jour sur les observations de l'assurée, a rendu une décision identique en tous points à son préavis du 22 mars 2010.
B.
Le 25 octobre 2010, R._ a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation. Elle invitait la juridiction cantonale à dire qu'elle avait droit à une demi-rente dès le 1er avril 2003, à un trois-quarts de rente dès le 1er avril 2004, à une rente entière dès le 1er avril 2006 et à un trois-quarts de rente dès le 1er avril 2007 et que le droit de l'office AI d'exiger la restitution des rentes perçues en trop était prescrit.
Dans sa réponse du 13 décembre 2010, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu au rejet du recours.
Par arrêt du 28 novembre 2012, la juridiction cantonale, admettant le recours (ch. I du dispositif), a annulé la décision du 17 septembre 2010 dans la mesure où elle portait sur les prestations allouées à R._ pour la période du 1er avril 2003 au 31 mars 2010 (ch. II du dispositif).
C.
L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation.

Considérant en droit:
1.
1.1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige, relatif aux prestations allouées à l'assurée pour la période du 1er avril 2003 au 31 mars 2010, porte sur la révision du droit de l'intimée à une rente entière pendant cette période, singulièrement sur la question d'une révision procédurale.
2.1. Aux termes de l'<ref-law>, si le taux d'invalidité du bénéficiaire de la rente subit une modification notable, la rente est, d'office ou sur demande, révisée pour l'avenir, à savoir augmentée ou réduite en conséquence, ou encore supprimée.
A l'instar de ce qui prévaut pour une nouvelle demande (<ref-ruling>), c'est la dernière décision entrée en force qui repose sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit qui constitue le point de départ temporel pour l'examen d'une modification du degré d'invalidité lors d'une révision du droit à la rente; demeure réservée la jurisprudence sur la reconsidération et la révision procédurale (<ref-ruling> consid. 5.4 p. 114 et l'arrêt cité).
2.2. Selon l'<ref-law>, les décisions et les décisions sur opposition formellement passées en force sont soumises à révision si l'assuré ou l'assureur découvre subséquemment des faits nouveaux importants ou trouve des nouveaux moyens de preuve qui ne pouvaient être produits auparavant.
Sont "nouveaux" au sens de l'<ref-law> les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence. En outre, les faits nouveaux doivent être importants, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte (<ref-ruling> consid. 5b p. 358 et les références; cf. <ref-ruling> consid. 2.2 p. 671).
3.
Les premiers juges, retenant que l'intimée était liée depuis le 1er mai 2001 par un contrat de travail avec la maison X._ SA, ont constaté que l'exercice d'une activité lucrative salariée auprès de cet employeur et les revenus qu'elle en avait tirés constituaient des faits nouveaux importants pouvant justifier une révision procédurale.
3.1. Le recourant allègue que l'exercice d'une activité lucrative salariée et les revenus perçus à ce titre sont postérieurs à la décision originelle de rente du 5 juillet 1996 et que la question d'une révision procédurale ne se pose donc pas. En revanche, ces faits constituaient un motif de révision du droit à une rente entière, raison pour laquelle l'office AI a examiné si, par rapport à la décision du 5 juillet 1996, le taux d'invalidité de l'intimée avait subi une modification notable et si la rente devait être réduite en conséquence.
3.2. Il convient de relever que, sous l'angle de l'<ref-law>, la décision originelle de rente du 5 juillet 1996 ne saurait servir de base de comparaison pour l'examen d'une modification du degré d'invalidité. C'est la décision de révision du droit à une rente entière du 13 novembre 2003, qui repose sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une nouvelle évaluation de l'invalidité (voir la fiche d'examen datée du même jour), qui constitue le point de départ temporel de la comparaison (supra, consid. 2.1; arrêt 9C_46/2009 du 14 août 2009, consid. 3.1).
3.3. Même si le recourant a entamé dès décembre 2008 une révision du droit de l'intimée à une rente entière d'invalidité sous l'angle de l'<ref-law>, il n'a jamais été question d'une adaptation du droit à la rente aux circonstances postérieures à la dernière décision du 13 novembre 2003. Bien plutôt s'est-il agi d'une erreur originelle en rapport avec les faits sur lesquels se fonde la décision de révision du 13 novembre 2003; de telles erreurs sont en principe corrigées par la révision procédurale [<ref-law>] ou la reconsidération [<ref-law>] ( UELI KIESER, ATSG-Kommentar, 2ème éd., n° 4 ad art. 53: Konstellation 1). Peut demeurer indécis le point de savoir si et dans quelle mesure le fait de revenir sur une décision portant sur des prestations durables au titre de la révision procédurale ou de la reconsidération est admissible non seulement par rapport à la décision originelle de rente (<ref-ruling> consid. 3.1.1 p. 374), mais aussi par rapport à une décision de révision. D'une manière ou d'une autre, les conditions qui y président ne sont ici pas réalisées, ainsi que cela est exposé aux consid. 3.3.1 et 3.3.2 ci-dessous.
3.3.1. Une reconsidération de la décision de révision du 13 novembre 2003 - à défaut d'être sans nul doute erronée - n'entrait pas en ligne de compte: l'office AI s'est fondé sur l'état de fait connu au moment où la décision a été rendue; il n'existait à ce moment-là aucun motif d'instruire plus avant (cf. le questionnaire du 20 mars 2003). Sur la base de la constatation des faits effectuée par le recourant en date du 13 novembre 2003 (voir la fiche d'examen y relative), conforme au droit, la décision de révision rendue le même jour était exacte. Ce n'est qu'après coup qu'a été porté à la connaissance de l'office AI un fait nouveau important, soit l'existence des rapports de travail de l'intimée avec X._ SA depuis le 1er mai 2001. Les constatations de la juridiction cantonale en ce qui concerne le caractère inconnu de ce fait jusqu'au 20 janvier 2009, que le Tribunal fédéral revoit sous l'angle restreint de l'<ref-law> (arrêt 9C_764/2009 du 26 mars 2010, consid. 3.2), ne sont pas manifestement inexactes. Ce fait nouveau important conduisait de manière contraignante à une révision procédurale (<ref-law>), à laquelle le recourant aurait dû procéder en ce qui concerne la décision du 13 novembre 2003 de révision du droit à une rente entière. Le recours est mal fondé de ce chef.
3.3.2. Les premiers juges ont considéré que le délai (relatif) de 90 jours dès la découverte du motif de révision pour procéder à une révision procédurale était arrivé à échéance à la fin du mois de janvier 2010, ce qui n'est pas discuté par le recourant. En tant que le jugement entrepris constate que l'office AI a procédé trop tardivement à la révision du droit aux prestations pour la période du 1er avril 2003 au 31 mars 2010, il est conforme au droit fédéral (supra, consid. 2.2; arrêts 8C_18/2013 du 23 avril 2013 consid. 3.2, 9C_896/2011 du 31 janvier 2012 consid. 4.2 in SVR 2012 IV Nr. 36 p. 141, 8C_434/2011 du 8 décembre 2011 consid. 3 in SVR 2012 UV Nr. 17 p. 63 s.). Le recours est mal fondé.
4.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Le dépôt du recours par l'office AI n'a pas occasionné de frais à l'intimée car elle n'a pas été invitée à répondre, de sorte qu'il n'y a pas matière à lui allouer des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, à la Caisse de compensation des commerçants, bernois, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 juillet 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Wagner