Faits:
A. Par décision du 14 mars 2011, la Caisse cantonale vaudoise de compensation AVS a rejeté l'opposition formée par M._ contre une décision du 3 février 2011 en matière de rente ordinaire de vieillesse.
B. M._ a formé recours le 23 avril 2011 (timbre postal) contre la décision sur opposition du 14 mars 2011 devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Alléguant qu'il n'avait pu prendre connaissance de cette décision que le 21 avril 2011 vu que la Poste Suisse, à laquelle il avait demandé de réexpédier le courrier vers sa résidence secondaire (chalet à X._) jusqu'au 15 mars 2011, date de son retour à son domicile à G._, avait continué de le faire suivre à son adresse à X._ au-delà de la date butoir du 15 mars 2011 et qu'il avait été absent à l'étranger du 30 mars au 11 avril 2011, il faisait valoir que la réception de la décision du 14 mars 2011 remontait au 21 avril 2011 "par suite de cet imbroglio postal" dont il n'était pas responsable.
Par décision du 4 mai 2011, la juridiction cantonale a prononcé que le recours, tardif, était irrecevable (ch. I du dispositif) et rayé la cause du rôle (ch. II du dispositif).
C. Par écriture du 26 mai 2011, rectifiée le 30 mai 2011, M._ interjette un recours contre cette décision, en concluant à son annulation. Il demande à bénéficier de la restitution du délai.
La Cour des assurances sociales du Tribunal cantonal du canton de Vaud n'a pas d'observations à formuler et se réfère purement et simplement à son jugement. La Caisse cantonale vaudoise de compensation AVS conclut au rejet du recours. Le 12 avril 2012, M._ a déposé ses observations.

Considérant en droit:
1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente, sauf si ceux-ci ont été retenus de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire : <ref-ruling> consid. 4.3 p. 63 - ou en violation du droit au sens de l'<ref-law> (cf. art. 105 al. 1 et 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Lorsque le recourant entend s'en prendre aux faits ressortant de l'arrêt attaqué, il doit établir de manière précise la réalisation de ces conditions. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356).
2. Selon le premier juge, la décision sur opposition du 14 mars 2011, expédiée le 15 mars 2011 en courrier A (standard) au domicile habituel du recourant, a été notifiée de manière régulière à l'adresse que l'intéressé avait communiquée à la caisse et il y a donc lieu de considérer, compte tenu de l'acheminement postal en courrier A, qu'elle est normalement parvenue à l'adresse du destinataire le 16 mars 2011. Cela avait fait courir le délai de recours à compter du 17 mars 2001, délai qui était échu le 15 avril 2011. Remis à la poste le 23 avril 2011, le recours était en conséquence tardif, nonobstant les féries pascales, et devait être déclaré irrecevable en l'absence de motifs justifiant la restitution du délai.
3. Le recourant invoque une constatation manifestement inexacte de la date de la notification de la décision sur opposition du 14 mars 2011. Il fait valoir que l'expédition le 15 mars 2011 en courrier A ne permet pas de présumer que le courrier ait été communiqué le lendemain. Il se réfère à la lettre de la Poste Suisse du 21 avril 2011, dont il résulte qu'il y a eu erreur dans les services postaux et que certaines lettres ont été réexpédiées vers sa résidence secondaire de X._ au-delà de la date butoir du 15 mars 2011 qu'il avait fixée dans sa demande.
4. 4.1 Selon l'<ref-law>, le recours doit être déposé dans les trente jours suivant la notification de la décision sujette à recours. L'<ref-law>, applicable par analogie en vertu de l'<ref-law>, dispose que si le délai, compté par jours ou par mois, doit être communiqué aux parties, il commence à courir le lendemain de la communication. L'<ref-law> dispose que si le requérant ou son mandataire a été empêché, sans sa faute, d'agir dans le délai fixé, celui-ci est restitué pour autant que, dans les 30 jours à compter de celui où l'empêchement a cessé, le requérant ou son mandataire ait déposé une demande motivée de restitution et ait accompli l'acte omis.
4.2 La notification doit permettre au destinataire de prendre connaissance de la décision et, le cas échéant, de faire usage des voies de droit ouvertes à son encontre. On considère que la décision est notifiée, non pas au moment où le destinataire en prend connaissance, mais le jour où elle est dûment communiquée; s'agissant d'un acte soumis à réception, la notification est réputée parfaite au moment où la décision entre dans la sphère de puissance de son destinataire (<ref-ruling> consid. 2a p. 297 et les références).
4.3 Selon la jurisprudence, le fardeau de la preuve de la notification d'un acte et de la date à laquelle celui-ci a été notifié incombe en principe à l'autorité qui entend en tirer une conséquence juridique (<ref-ruling> consid. 2.2 p. 10, 124 V 400 consid. 2a p. 402, 122 I 97 consid. 3b p. 100, 114 III 51 consid. 3c et 4 p. 53/54, 103 V 63 consid. 2a p. 65), laquelle supporte donc les conséquences de l'absence de preuve, en ce sens que, si la notification ou sa date sont contestées et s'il existe un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (<ref-ruling> consid. 2a p. 65).
5. 5.1 Le raisonnement tenu par le premier juge (supra, consid. 2) revient à considérer que la communication peut se présumer en cas d'envoi en courrier A. Considérant que la notification est réputée intervenue dès la date à laquelle la décision serait normalement parvenue à son destinataire, le jugement entrepris retient que la décision sur opposition du 14 mars 2011 a été notifiée de manière régulière à l'adresse que le recourant avait communiquée à la caisse et qu'elle est normalement parvenue à l'adresse du destinataire le 16 mars 2011, soit le lendemain du jour (le 15 mars 2011) de l'expédition en courrier A (standard).
5.2 La question de savoir si en cas d'envoi en courrier A (standard) la communication peut se présumer, souffre toutefois de demeurer indécise (voir aussi, UELI KIESER, ATSG-Kommentar, 2ème éd., ad Art. 38 ATSG ch. 9 p. 512 et la référence à l'arrêt de la commission de recours AVS du canton de Zurich du 8 février 1994, consid. II. 1 et II. 2 in SVR 1994 AHV Nr. 30 p. 79 s.).
S'agissant en l'espèce d'un envoi non inscrit, l'intimée supporte les conséquences de l'absence de preuve, en ce sens que, si la notification ou sa date sont contestées et s'il existe un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (supra, consid. 4.3). Selon les déclarations du recourant à la Poste Suisse (du 21 avril 2011), le jeudi 17 mars 2011 n'ayant trouvé aucun courrier dans sa boîte aux lettres habituelle celui-ci s'est rendu au guichet de la poste de G._, où il a appris que la date butoir du 15 mars 2011 prévue dans l'ordre de réexpédition du courrier vers sa résidence secondaire de X._ n'avait pas été respectée. Selon les déclarations de la Poste Suisse (lettre du 21 avril 2011), celle-ci a confirmé qu'il y avait bien eu une erreur dans ses services et que certaines lettres avaient encore été réexpédiées au chalet de X._ après la date butoir du 15 mars 2011 que le recourant avait fixée dans sa demande. Sur le vu de ces déclarations du recourant et de la Poste Suisse, il existe un doute sur le point de savoir à quel moment la décision sur opposition du 14 mars 2011 est entrée dans la sphère de puissance de son destinataire, singulièrement si elle a été dûment notifiée à son destinataire le 16 mars 2011. Les déclarations mentionnées ci-dessus du recourant et de la Poste Suisse, sur lesquelles il convient de se fonder, ne permettent pas de considérer qu'il y ait eu tentative de notification de la décision sur opposition du 14 mars 2011 à l'adresse habituelle du recourant le 16 mars 2011 et que la décision soit entrée dans la sphère de puissance de son destinataire à ce moment-là (<ref-ruling> consid. 2a p. 297). Le jugement entrepris, en tant qu'il admet que la décision sur opposition du 14 mars 2011 est normalement parvenue à l'adresse du destinataire le 16 mars 2011, est dès lors erroné.
5.3 La date de la notification de la décision sur opposition du 14 mars 2011 peut demeurer indécise. Sur le vu des déclarations mentionnées ci-dessus du recourant et de la Poste Suisse, elle ne saurait être antérieure au 17 mars 2011. Le délai de recours de 30 jours (<ref-law>) a donc couru au plus tôt dès le 18 mars 2011 (<ref-law>) jusqu'au samedi 16 avril 2011. Les féries de Pâques ayant débuté le 17 avril 2011 et s'étant terminées le 1er mai 2011, le délai de recours a été prorogé, par application cumulative des art. 38 al. 3 et 38 al. 4 let. a LPGA jusqu'au lundi 2 mai 2011 (arrêt 5A_144/2007 du 18 octobre 2007, consid. 1). Remis à la poste le 23 avril 2011 (timbre postal) à l'adresse de la juridiction cantonale, le recours a donc été interjeté en temps utile.
5.4 Le recourant a un intérêt juridique à obtenir l'annulation du jugement entrepris. En effet, le vice allégué est propre à modifier la décision attaquée du 4 mai 2011 dans son résultat, en faveur du recourant.
6. Cela étant, il se justifie d'annuler la décision attaquée du 4 mai 2011 et de renvoyer la cause à l'autorité judiciaire de première instance pour décision sur le fond. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimée, qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et la décision rendue le 4 mai 2011 par le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, est annulée. La cause est renvoyée à l'autorité judiciaire de première instance pour décision sur le fond.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mai 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner