Faits:
A.
A.a. A._, née en août 1956, titulaire du diplôme de laborantine médicale, a travaillé au service de D._. Elle était affiliée à la Caisse de pensions de l'Etat de Vaud (ci-après: la CPEV) depuis le 1er novembre 1979.
Le 17 juin 2008, A._ a été victime d'une chute. Elle a présenté dès ce moment-là une incapacité de travail de 100 % jusqu'au 3 mai 2009. La reprise progressive de son activité s'est accompagnée d'une rechute et de symptômes douloureux avec limitations de la capacité de travail. Les médecins ayant découvert que A._ était atteinte d'un mélanome vaginal, ils l'ont mise à l'arrêt de travail complet à partir du 19 octobre 2009, date à laquelle elle a subi une hystérectomie totale, suivie d'une reprise chirurgicale pour compléter l'exérèse du mélanome.
Par lettre du 5 mars 2010, la CPEV a informé A._ qu'ensuite de la fin de son droit au salaire en date du 19 novembre 2009, elle était mise au bénéfice d'une pension d'invalidité temporaire totale pour la période du 20 novembre 2009 au 31 mars 2010 et qu'elle avait droit à une prestation basée sur une pension mensuelle de 4'081 fr. 90 et à un supplément temporaire calculé sur la base d'une prestation mensuelle de 1'140 fr.. Le droit de l'assurée à une pension d'invalidité temporaire totale a été prolongé jusqu'au 31 mai 2010, puis jusqu'au 31 août 2010.
Au cours du mois de mai 2010, des examens médicaux ont révélé que A._ était atteinte de métastases pulmonaires et d'une récidive du mélanome. Par lettre du 31 août 2010, la CPEV a avisé l'assurée que son droit à une pension d'invalidité temporaire totale était prolongé jusqu'au 31 décembre 2010. A._ est décédée le 6 octobre 2010.
A.b. Le 12 juin 2009, A._ avait présenté une demande de prestations de l'assurance-invalidité. Dans un rapport du 27 août 2010, les docteurs F._ et G._ (médecins du SMR) ont considéré que la capacité de travail exigible de l'assurée était nulle depuis le 17 juin 2008, date du début de l'incapacité de travail durable. Dans un prononcé du 6 septembre 2010, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu à une invalidité de 100 % dès le 17 juin 2009. Dans un préavis du 6 septembre 2010, il a informé A._ qu'elle avait droit à une rente entière d'invalidité dès le 1er décembre 2009 (soit six mois après le dépôt tardif de la demande), droit à la rente qu'il a confirmé par décision du 21 février 2011 en ce qui concerne la période du 1er décembre 2009 au 31 octobre 2010.
A.c. Par lettre du 29 novembre 2010, B._ et C._, père et mère et héritiers de la défunte, se sont adressés à la CPEV. Ils affirmaient que l'emploi de leur fille auprès de l'Etat de Vaud avait pris fin le 30 septembre 2010 et que la question se posait de savoir s'il existait au jour de son décès un droit à une prestation de sortie. Le 4 janvier 2011, ils ont relancé la CPEV.
Dans sa réponse du 25 janvier 2011, la CPEV les a informés qu'après vérification auprès de l'employeur de la défunte le contrat de travail n'avait à sa connaissance pas été résilié pour le 30 septembre 2010 et que feu A._ ne pouvait prétendre à une prestation de sortie, étant donné qu'elle avait perçu une pension de la CPEV depuis le 20 novembre 2009 jusqu'à son décès.
Par lettre du 1er février 2011, B._ et C._, contestant le point de vue de la CPEV, ont produit copie d'une lettre de feu A._ du 30 septembre 2010, adressée à D._ par lettre signature, où elle déclarait démissionner avec effet immédiat de son emploi, sachant qu'elle ne pourrait plus jamais y travailler pour des raisons graves de santé.
B.
B._ et C._ ont saisi le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, d'une demande datée du 17 février 2011 contre la Caisse de pensions de l'Etat de Vaud, en concluant, avec suite de dépens, à ce que la prestation de sortie de feu A._, totalisant 454'315 fr. au 28 février 2009, montant à recalculer au 30 septembre 2010, leur soit attribuée avec intérêts à 5 % l'an dès cette date. Parmi les documents produits, figurait une copie d'une "Déclaration à qui de droit" datée du 30 septembre 2010, dans laquelle feu A._ affirmait vouloir retirer le capital de sa caisse de pension pour le mettre sur un compte de libre passage afin de financer l'achat d'un logement pour sa propre utilisation.
La Caisse de pensions de l'Etat de Vaud a conclu, sous suite de dépens, au rejet de la demande. Dans leur détermination du 3 mai 2011, B._ et C._ ont maintenu leurs conclusions. Interpellé par la juridiction cantonale, D._, par lettre du 7 juillet 2011, a déclaré qu'il n'était pas en possession de la lettre que feu A._ lui aurait envoyée par pli recommandé le 30 septembre 2010. Dans un courrier du 22 août 2011, B._ et C._ ont produit la confirmation de quittance remise par la Poste le 2 octobre 2010 et le justificatif de distribution attestant que le pli en question avait été distribué le 4 octobre 2010 à D._. Par lettre du 30 septembre 2011, D._ a déclaré que selon sa pratique, même s'il avait pris en compte la volonté de feu A._ de mettre fin à son contrat de travail exprimée dans sa lettre du 30 septembre 2010, il n'aurait jamais accepté l'effet immédiat de sa décision, afin de ne pas la priver de prestations qui lui étaient acquises jusqu'au 31 décembre 2010. Les 24 octobre 2011, 8 février, 27 mars et 16 mai 2012, les parties ont fait part à l'autorité judiciaire de première instance de leurs déterminations.
A la requête de la juridiction cantonale, l'Office de l'assurance-invalidité pour le canton de Vaud a produit le dossier de feu A._. Par lettre du 27 novembre 2012, D._ a déclaré que malgré ses recherches, il n'avait pas trouvé le courrier recommandé du 2 octobre 2010 de feu A._. Les parties ont eu la possibilité de déposer leurs observations.
Par arrêt du 5 décembre 2013, la juridiction cantonale a rejeté la demande.
C.
L'hoirie de feu A._ - soit B._ et C._ - interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et de dépens, à sa réforme en ce sens que la Caisse de pensions de l'Etat de Vaud doit lui payer la somme de 454'315 fr. valeur au 28 février 2009, montant à recalculer au 30 septembre 2010, avec intérêts à 5 % l'an dès le 1er octobre 2010. A titre subsidiaire, elle demande que le jugement entrepris soit annulé, la cause étant renvoyée à la juridiction cantonale pour nouvelle décision au sens des considérants.

Considérant en droit:
1.
1.1. Le recours en matière de droit public (art. 82 s. LTF) peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral revoit librement les dispositions de droit public cantonal et communal en matière de prévoyance professionnelle, en tout cas celles portant sur l'octroi ou le refus de prestations d'assurance (<ref-ruling>; voir aussi MARKUS SCHOTT, Basler Kommentar, Bundesgerichtsgesetz, 2ème éd. 2011, n° 46 ad <ref-law>). Il applique d'office le droit dont il peut contrôler le respect (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués.
1.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - c'est-à-dire insoutenable, voire arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). La partie recourante qui invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits doit présenter une motivation qui répond aux exigences de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62).
2.
Est litigieux le point de savoir si A._ avait droit de la part de la caisse intimée à une prestation de sortie. Singulièrement, le litige porte sur la survenance effective d'un cas de prévoyance invalidité. Est également litigieux le point de savoir si A._ avait droit à un avoir de vieillesse, dont la recourante demande à titre subsidiaire le versement en sa qualité d'héritière de la défunte.
2.1. L'art. 70 de la loi sur la Caisse de pensions de l'Etat de Vaud (LCP) [RSV 172.43] du 18 juin 1984 (teneur en vigueur au 1er juin 2010) règle le droit à la prestation de sortie. Selon l'alinéa 1er de cette disposition, lorsqu'il n'a pas droit à une pension, l'assuré qui démissionne (let. a) avant l'âge minimum de la retraite, obtient une prestation de sortie. La Caisse de pensions de l'Etat de Vaud étant un établissement de droit public (art. 2 al. 1 LCP), le sens de l'art. 70 al. 1 LCP doit être recherché selon les règles applicables en matière d'interprétation des lois (<ref-ruling> consid. 3b in fine p. 119 et la référence; arrêt [du Tribunal fédéral des assurances] B 6/94 du 23 décembre 1996 consid. 3c in SVR 1997 BVG Nr. 79 p. 243, B 39/93 du 23 juin 1995 consid. 3b in SVR 1995 BVG Nr. 42 p. 123).
2.2. Est temporairement invalide l'assuré qui, incapable ensuite de maladie ou d'accident de remplir tout ou partie de sa fonction, voit son salaire réduit ou supprimé provisoirement (art. 52 al. 1 LCP). La pension (d'invalidité temporaire) prend fin au jour indiqué par le rapport médical ou de la reprise effective du travail, si celle-ci est antérieure; dès le jour de la cessation définitive des fonctions (art. 53 al. 1 LCP).
Est définitivement invalide l'assuré qui est durablement incapable, ensuite de maladie ou d'accident, de remplir tout ou partie de sa fonction ou d'une autre fonction de substitution et dont le salaire est réduit ou supprimé à titre définitif (art. 54 LCP). La pension (d'invalidité définitive) court dès la cessation définitive des fonctions (art. 55 al. 1 première phrase LCP).
2.3. Selon la jurisprudence (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 2.6 p. 17; <ref-ruling> consid. 3.4.2 p. 32), la survenance du cas de prévoyance invalidité coïncide du point de vue temporel avec la naissance du droit à des prestations d'invalidité (<ref-law>). Cette jurisprudence et les principes jurisprudentiels développés à propos du partage de la prestation de sortie en cas de divorce se recoupent (ATF <ref-ruling> consid. 3.4.2 p. 32). Sauf disposition réglementaire plus étendue, un cas de prévoyance lié à l'invalidité est réalisé lorsque l'un des époux a présenté une incapacité de travail (<ref-law>) d'au moins 40 % en moyenne durant une année sans interruption notable et qu'au terme de cette année, il est invalide (<ref-law>) à 40 % au moins, et qu'il touche une rente d'invalidité de l'institution de prévoyance professionnelle, respectivement qu'il a reçu cette prestation sous la forme d'un versement en capital (<ref-law> en corrélation avec l'art. 28 al. 1 let. b et c LAI). Une invalidité partielle suffit pour qu'on admette un cas de prévoyance (<ref-ruling> consid. 3.2.2 p. 484 et les références). La survenance effective d'un cas de prévoyance, même si elle n'est constatée que rétroactivement (arrêt 9C_899/2007 du 28 mars 2008, consid. 5.2), rend le partage des avoirs de prévoyance impossible, si minimes soient les prestations versées ou les avoirs à leur base (arrêt 9C_388/2009 du 10 mai 2010, consid. 4.1 non publié aux <ref-ruling> et les références citées).
3.
Les premiers juges ont retenu que l'incapacité de travail de l'assurée perdurait depuis le 17 juin 2008 et que A._ était durablement incapable, ensuite de maladie, de remplir tout ou partie de sa fonction, de sorte que les conditions étaient remplies pour qu'elle ait droit à des prestations d'invalidité définitive. Ils ont considéré que le cas de prévoyance invalidité était survenu le 1er décembre 2009, date à partir de laquelle A._ avait droit à une rente de l'assurance-invalidité, et qu'à compter du 1er décembre 2009 en tout cas elle avait droit à une pension d'invalidité définitive de la part de l'intimée, ce qui excluait qu'elle puisse prétendre une prestation de sortie au 30 septembre 2010.
3.1. Se fondant sur une interprétation littérale et systématique des art. 52 s. LCP, la juridiction cantonale a exposé que la pension d'invalidité temporaire, même si elle avait un caractère de perte du salaire, appartenait bien à la couverture du risque invalidité (selon le 2ème pilier), dont l'octroi était coordonné avec les prestations de l'assurance-invalidité, et qu'il était ainsi conforme au mécanisme prévu par la LCP que ce soit une pension temporaire accompagnée d'un supplément qui ait été servie à l'assurée à partir du 20 novembre 2009, date à laquelle remontait l'épuisement du droit au salaire (sans reprise possible de l'activité).
3.2. La recourante reproche aux premiers juges de n'avoir pas examiné si le cas de prévoyance invalidité était réalisé au moment de la naissance du droit à une pension d'invalidité temporaire selon l'art. 52 LCP. Procédant à une interprétation systématique et téléologique des art. 52 et 53, 54 et 55, 70 et 132 LCP, ainsi qu'à une interprétation historique de la LCP fondée sur les travaux préparatoires en 1984 et 1995, elle affirme que le cas de prévoyance invalidité n'était pas réalisé au moment de la naissance du droit à une pension d'invalidité temporaire. Contestant que le droit de A._ à des prestations d'invalidité définitive soit effectivement né, la recourante considère qu'il se justifie en l'espèce de raisonner par analogie comme dans le cas du nasciturus (<ref-law>) - disposition qui prévoit que l'enfant conçu jouit des droits civils, à la condition qu'il naisse vivant - et que si finalement l'enfant ne naît pas vivant, ce qui ne peut être déterminé qu'après coup au moment de l'accouchement, sa personnalité n'a jamais existé. Ainsi, le droit à une pension d'invalidité suppose que soient réunis à un moment donné les deux éléments que sont la vie et l'invalidité, conditions qui n'étaient pas réalisées dans le cas de A._, décédée avant que se pose la question d'une invalidité définitive.
3.3. Ainsi que cela est indiqué dans le jugement entrepris, le droit à une prestation de sortie selon l'art. 70 al. 1 LCP, disposition qui correspond dans son contenu à l'<ref-law>, suppose qu'un cas de prévoyance invalidité selon l'<ref-law> ne soit pas déjà survenu (<ref-ruling> consid. 4.4 p. 385).
3.4. Dans l'arrêt 9C_388/2009 du 10 mai 2010 (relatif au partage des prestations de sortie en cas de divorce), consid. 4.3 non publié aux <ref-ruling>, le Tribunal fédéral a considéré que l'octroi de prestations provisoires - telles que prévues dans le règlement de prévoyance - constituait un acte de la caisse qui ne préjugeait pas de la naissance d'un droit concret à des prestations de la prévoyance professionnelle. Le fait d'assimiler le versement d'une prestation provisoire à la survenance d'un cas de prévoyance (au sens de l'<ref-law>) était ainsi contraire au droit.
3.5. Dans le cas de A._, même si celle-ci a bénéficié d'une pension temporaire accompagnée d'un supplément pour une période initialement fixée du 20 novembre 2009 au 31 mars 2010, prolongée jusqu'au 31 décembre 2010, le droit concret de l'assurée à une rente (définitive) de l'assurance-invalidité existait depuis le 1er décembre 2009 et, en tout cas en ce qui concerne la prévoyance professionnelle obligatoire, à une prestation d'invalidité définitive selon les art. 54 s. LCP. L'art. 55 LCP n'opère aucune distinction entre prévoyance obligatoire et prévoyance plus étendue (<ref-ruling> consid. 5.4 p. 180). Le 1er décembre 2009, il y a eu la survenance effective du cas de prévoyance invalidité, bien qu'elle ait été constatée rétroactivement à la suite de la décision de rente de l'office AI du 21 février 2011 (supra, consid. 2.3).
Selon les constatations des premiers juges, l'incapacité de travail de l'assurée perdurait depuis le 17 juin 2008 et A._ était durablement incapable, ensuite de maladie, de remplir tout ou partie de sa fonction. Les affirmations de la recourante (supra, consid. 3.2) ne permettent pas de considérer que la juridiction cantonale a établi les faits retenus ci-dessus de façon manifestement inexacte ou en violation du droit. Du jugement entrepris, il ressort que A._ a présenté une incapacité de travail de 100 % du 17 juin 2008 au 3 mai 2009, de 50 % du 4 au 19 mai 2009, de 80 % du 25 mai au 18 août 2009, de 60 % du 19 août au 18 octobre 2009 et de 100 % du 19 octobre 2009 au 6 octobre 2010 et que le 1er décembre 2009, son incapacité de travail et de gain était entière, dans toute activité.
Les éléments constitutifs de l'invalidité définitive selon la définition posée à l'art. 54 LCP étaient ainsi réunis. Le jugement entrepris, en tant qu'il retient l'existence d'un droit concret de A._ à des prestations d'invalidité définitive fondées sur les art. 54 s. LCP depuis le 1er décembre 2009 et nie tout droit à une prestation de sortie au 30 septembre 2010, laissant ainsi indécise la question de la démission de A._, est conforme à l'art. 70 LCP et à la jurisprudence (supra, consid. 2.3). Le recours est mal fondé de ce chef.
3.6. L'argumentation de la recourante fondant sa prétention subsidiaire au versement d'un avoir de vieillesse de la part de la caisse intimée ne répond pas à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF (supra, consid. 1.1). Le recours sur ce point est irrecevable.
4.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de la recourante, qui succombe (<ref-law>). Elle ne saurait prétendre une indemnité de dépens pour l'instance fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 avril 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Wagner