Faits :
A.
A._ est au bénéfice de prestations complémentaires depuis le 1er février 2009. Il a rempli un formulaire du 5 mai 2011 relatif à la réduction des primes d'assurance-maladie en ce qui concerne l'année 2012 (pour les bénéficiaires de prestations complémentaires), en indiquant qu'il était assuré auprès de la KPT/CPT, Caisse-maladie SA (ci-après: la CPT), dont il a produit une police d'assurance relative aux primes LAMal valable dès le 1er janvier 2011. La Caisse de compensation du canton de Fribourg (ci-après: la caisse de compensation), par décision du 9 janvier 2012, l'a informé qu'un montant forfaitaire pour l'assurance-maladie de 4'584 fr. lui était accordé en ce qui concerne la période du 1er janvier au 31 décembre 2012 et qu'il était versé directement à la CPT, qui se chargerait d'en créditer l'ayant droit.
Par lettre du 20 janvier 2012, A._ a déclaré qu'il prenait acte de cette décision. Il avisait la caisse de compensation qu'il avait changé d'assureur et était assuré auprès de la caisse-maladie Assura depuis le 1er janvier 2012.
Par décision sur réclamation du 23 février 2012, la caisse de compensation a maintenu sa décision du 9 janvier 2012. Elle informait A._ que le changement de caisse dans l'assurance de base au 1 er janvier 2012 n'avait pas pu être effectué en raison du contentieux encore ouvert au 31 décembre 2011 auprès de la CPT, à laquelle le versement direct du montant forfaitaire pour l'assurance-maladie en 2012 était ainsi confirmé.
B.
Dans une écriture du 2 mars 2012, A._ a contesté la décision sur réclamation auprès de la caisse de compensation. Transmise au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, comme objet de sa compétence, cette écriture a été complétée par A._.
La caisse de compensation a conclu au rejet du recours et à la confirmation de la décision sur réclamation du 23 février 2012. Les parties ont pu déposer leurs observations.
Par arrêt du 4 décembre 2013, la juridiction cantonale a prononcé que le recours était rejeté, dans la mesure où il était recevable. Partant, la décision sur réclamation du 23 février 2012 était confirmée (ch. I du dispositif).
C.
Par lettre du 17 janvier 2014 (timbre postal), A._ interjette un recours contre ce jugement devant le Tribunal fédéral, en produisant plusieurs pièces.
Le Tribunal fédéral, par lettre du 21 janvier 2014, a informé A._ du fait que le recours ne semblait pas remplir les exigences de forme posées par la loi (nécessité de formuler des conclusions et une motivation), et que seule une rectification dans le délai de recours était possible.
A._ a déposé le 24 janvier 2014 (timbre postal) une écriture à la suite de cet avertissement, accompagnée de plusieurs pièces, et le 24 février 2014 (timbre postal) une nouvelle écriture, à laquelle était jointe une nouvelle pièce.

Considérant en droit :
1.
1.1. Le délai de recours de trente jours prévu par l'<ref-law> était échu le 31 janvier 2014 selon les art. 44 à 48 LTF. L'écriture du 24 février 2014 est donc intervenue après l'échéance du délai de recours et ne saurait dès lors être prise en considération, de même que la pièce produite.
1.2. Selon l'art. 42 al. 1 et 2 LTF, le recours doit indiquer, entre autres exigences, les conclusions, les motifs et les moyens de preuve, en exposant succinctement en quoi l'acte attaqué est contraire au droit.
Pour satisfaire à l'obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit, de telle sorte qu'on comprenne clairement, à la lecture de son exposé, quelles règles de droit auraient été, selon lui, transgressées par la juridiction de première instance (<ref-ruling> consid. 2.1 p. 245 s.; <ref-ruling> consid. 3.3 p. 60).
1.3. En tant que les conclusions du recourant prises dans ses écritures des 17 et 24 janvier 2014 sortent de l'objet de la contestation, déterminé par la décision sur réclamation du 23 février 2012, celles-ci sont irrecevables.
1.4. Dans ses écritures des 17 et 24 janvier 2014, le recourant affirme qu'il rejette l'arrêt entrepris du 4 décembre 2013, dont il conteste le verdict, et que la juridiction cantonale "a soutenu inconditionnellement la décision du 23 février 2012". Il ne discute pas les motifs pour lesquels les premiers juges ont rejeté le recours dans la mesure où il était recevable, singulièrement la raison pour laquelle ils ont considéré que le montant forfaitaire pour l'assurance-maladie de 4'584 fr. qui lui avait été accordé pour l'année 2012 devait être versé à la CPT et pourquoi ils ne sont pas entrés en matière sur les griefs qui s'écartaient de l'objet de la contestation. Partant, les écritures des 17 et 24 janvier 2014 ne répondent manifestement pas aux exigences de l'art. 42 al. 1 et 2 LTF.
2.
Le recours est de toute manière manifestement infondé. La juridiction cantonale a retenu que le recourant était resté assuré auprès de la CPT. Sur le vu de la lettre de la CPT du 18 janvier 2012 figurant au dossier qui indique que le changement de caisse dans l'assurance de base au 1er janvier 2012 n'avait pas pu être effectué en raison du contentieux encore ouvert au 31 décembre 2011 auprès de cet assureur, il n'apparaît pas que les faits ci-dessus ont été constatés par les premiers juges de façon manifestement inexacte au sens de l'<ref-law> (insoutenable, voire arbitraire; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 4.3 p. 62). Le jugement entrepris, en considérant que, pour l'année 2012, le versement à la CPT du montant forfaitaire annuel visé à l'art. 10 al. 3 let. d LPC résultait d'une application correcte de l'<ref-law>, est conforme au droit. Le recours est mal fondé.
3.
En application de l'art. 66 al. 1, 2ème phrase, LTF, il convient de renoncer à la perception des frais judiciaires, vu les circonstances.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 juillet 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Le Greffier :
Kernen Wagner