Faits:
Faits:
A. Rentier de l'assurance-invalidité dans le canton de Vaud, B._, né en 1963, s'est vu octroyer des prestations complémentaires jus-qu'au 31 mai 2002 par les autorités compétentes vaudoises. A cette date, il a transféré son domicile à A._, dans le canton de Fribourg. Le 1er mai 2002, la Caisse cantonale vaudoise de compensation AVS a communiqué le changement de domicile à la caisse cantonale de compensation du canton de Fribourg (ci-après: la Caisse). Le 13 mai 2002, la Caisse a envoyé à la commune d'A._, avec copie à B._, la formule officielle de demande de prestations en invitant la Commune à la faire remplir par l'intéressé et à la retourner attestée et accompagnée des pièces justificatives. Sans réponse de la part de la Commune et de l'intéressé, elle s'est adressée directement à ce dernier le 27 juin 2002. Elle lui a imparti un délai pour s'exécuter jusqu'au 25 juillet 2002 en l'avertissant que le dossier serait classé s'il ne donnait pas suite à cette invitation.
Le 25 mai 2005, B._ a déposé une nouvelle demande de prestations complémentaires. Par décision du 23 juin 2005, la Caisse a accordé au prénommé des prestations d'un montant mensuel de 1'317 fr. avec effet au 1er mai 2005. Par acte du 28 juillet 2005, B._ a fait opposition à cette décision en revendiquant les prestations à partir du 1er juin 2002, date à laquelle il a cessé de bénéficier des prestations dans le canton de Vaud. La Caisse a confirmé sa position dans une nouvelle décision du 3 novembre 2005.
Le 25 mai 2005, B._ a déposé une nouvelle demande de prestations complémentaires. Par décision du 23 juin 2005, la Caisse a accordé au prénommé des prestations d'un montant mensuel de 1'317 fr. avec effet au 1er mai 2005. Par acte du 28 juillet 2005, B._ a fait opposition à cette décision en revendiquant les prestations à partir du 1er juin 2002, date à laquelle il a cessé de bénéficier des prestations dans le canton de Vaud. La Caisse a confirmé sa position dans une nouvelle décision du 3 novembre 2005.
B. Par jugement du 21 décembre 2006, le Tribunal administratif du canton de Fribourg a rejeté le recours formé par B._ contre cette décision« pour autant que recevable ».
B. Par jugement du 21 décembre 2006, le Tribunal administratif du canton de Fribourg a rejeté le recours formé par B._ contre cette décision« pour autant que recevable ».
C. B._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation, en concluant à l'octroi de prestations complémentaires d'un montant de 46'095 fr. (1'317 fr. x 35 mois « d'arriérés impayés »), ainsi que d'intérêts de retard et d'une indemnité de dépens pour ses frais.
La caisse n'a pas répondu au recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; <ref-ruling> consid. 1.2 p. 395).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; <ref-ruling> consid. 1.2 p. 395).
2. Le litige porte sur le droit du recourant au versement rétroactif de prestations complémentaires pour la période du 1er juin 2002 au 30 avril 2005.
2. Le litige porte sur le droit du recourant au versement rétroactif de prestations complémentaires pour la période du 1er juin 2002 au 30 avril 2005.
3. Les premiers juges ont exposé correctement les règles applicables à la solution du litige. Ils ont ainsi retenu, notamment, que tant sous l'ancien droit (cf. art. 1 al. 3 aLPC) que sous le nouveau droit (cf. art. 1a al. 3 LPC dans sa teneur en vigueur dès le 1er janvier 2003), le canton de domicile du bénéficiaire est compétent pour fixer et verser les prestations complémentaires.
3. Les premiers juges ont exposé correctement les règles applicables à la solution du litige. Ils ont ainsi retenu, notamment, que tant sous l'ancien droit (cf. art. 1 al. 3 aLPC) que sous le nouveau droit (cf. art. 1a al. 3 LPC dans sa teneur en vigueur dès le 1er janvier 2003), le canton de domicile du bénéficiaire est compétent pour fixer et verser les prestations complémentaires.
4. 4.1 Selon l'art. 21 al. 1 OPC-AVS/AI, première phrase, le droit à une prestation complémentaire annuelle prend naissance le premier jour du mois où la demande est déposée et où sont remplies toutes les conditions légales auxquelles il est subordonné. Cette disposition a été jugée conforme à la loi et à la Constitution fédérale (<ref-ruling>). En vertu de l'art. 21 al. 2 OPC-AVS/AI, ce droit s'éteint à la fin du mois où l'une des conditions dont il dépend n'est plus remplie.
4.2 Celui qui veut faire valoir un droit à une prestation complémentaire doit déposer une demande écrite à la caisse de compensation compétente, au moyen d'une formule de demande dûment remplie (art. 20 al. 1 OPC-AVS/AI en corrélation avec l'art. 67 al. 1 RAVS). La formule de demande doit donner des indications sur l'état civil de l'ayant droit et sur les conditions de revenu et de fortune de toutes les personnes comprises dans le calcul de la prestation complémentaire annuelle (art. 20 al. 2 OPC-AVS/AI). La pratique administrative et la jurisprudence ont toutefois atténué la rigueur de la condition d'une demande au moyen d'une formule officielle en admettant que si l'assuré fait valoir son droit par un acte écrit ne répondant pas à cette condition formelle, l'autorité doit lui envoyer une formule adéquate en l'invitant à la remplir; la date d'arrivée de la première pièce est alors déterminante quant aux effets juridiques du dépôt de la demande (<ref-ruling> consid. 4.3 p. 296, 111 V 261 consid. 3b p. 264, 103 V 70; RCC 1989 p. 49 consid. 2, 1970 p. 478 consid. 3a; Carigiet, Ergänzungsleistungen zur AHV/IV, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 1ère éd., no. 38 p. 11).
Par ailleurs, si le bénéficiaire de prestations complémentaires versées mensuellement dans un canton transfère son domicile dans un autre canton, le droit aux prestations s'éteint dans l'ancien canton à la fin du mois au cours duquel l'assuré quitte ce canton. Cette situation découle du fait que, on l'a vu, le canton de domicile est compétent pour fixer et verser les prestations complémentaires (<ref-ruling> consid. 4.1.2 p. 79). La communication faite par l'organe d'exécution en matière de prestations complémentaires dans l'ancien canton à son homologue du nouveau canton de domicile est réputée constituer une demande écrite de prestations complémentaires selon la pratique administrative (cf. chiffres 7013 et 7015 des directives de l'Office fédéral des asurances sociales concernant les prestations à l'AVS et à l'AI [DPC] dans leur teneur applicable à l'époque déterminante).
Par ailleurs, si le bénéficiaire de prestations complémentaires versées mensuellement dans un canton transfère son domicile dans un autre canton, le droit aux prestations s'éteint dans l'ancien canton à la fin du mois au cours duquel l'assuré quitte ce canton. Cette situation découle du fait que, on l'a vu, le canton de domicile est compétent pour fixer et verser les prestations complémentaires (<ref-ruling> consid. 4.1.2 p. 79). La communication faite par l'organe d'exécution en matière de prestations complémentaires dans l'ancien canton à son homologue du nouveau canton de domicile est réputée constituer une demande écrite de prestations complémentaires selon la pratique administrative (cf. chiffres 7013 et 7015 des directives de l'Office fédéral des asurances sociales concernant les prestations à l'AVS et à l'AI [DPC] dans leur teneur applicable à l'époque déterminante).
5. 5.1 Dans le cas d'espèce, il est établi que la communication de transfert de domicile par la caisse cantonale vaudoise de compensation à la caisse intimée (du 1er mai 2002) valait demande écrite au sens de l'art. 20 al. 1 OPC-AVS/AI. Cependant, elle ne contenait pas d'information sur l'état civil de l'ayant droit, ni d'éléments sur le revenu, la fortune et les charges de celui-ci. En cela, elle ne correspondait pas aux exigences formelles de l'art. 20 al. 2 OPC-AVS/AI, si bien que par deux fois, soit les 13 mai et 27 juin 2002, la caisse intimée a demandé la remise d'une formule dûment remplie de requête de prestations complémentaires jointe à son envoi. Le recourant n'a donné aucune suite aux communications précitées, en dépit de l'avertissement formel contenu dans la lettre du 27 juin 2002 selon lequel, sans nouvelles de sa part dans le délai imparti, la caisse intimée classerait le dossier. Contrairement à ce que soutient le recourant, la caisse intimée a respecté les dispositions régissant la compétence territoriale en matière de fixation des prestations complémentaires. Du moment que le recourant n'a pas répondu à la caisse intimée, la communication du 1er mai 2002 de la caisse cantonale vaudoise de compensation AVS ne constituait pas une demande valable de prestations complémentaires.
5.2 A nouveau, le recourant se plaint de ce que certaines communications n'aient pas été adressées à son représentant légal de l'époque. Or, comme l'a exposé la juridiction cantonale, le mandat de patronage en cours jusqu'au 10 décembre 2002 ne le privait pas de sa capacité d'agir. On ajoutera que le curateur nommé par la Justice de paix de X._ pour assister B._ dans la gestion de ses biens n'est entré en fonctions que le 6 avril 2005, soit postérieurement à la période déterminante. Aucun élément du dossier ne permet de retenir que le recourant subissait, à ce moment-là, un empêchement.
5.3 C'est en vain que le recourant invoque derechef sa bonne foi en faisant valoir que son ancienne conseillère de probation lui aurait affirmé lors d'un entretien téléphonique du 21 février 2002 (cf. lettre du 5 septembre 2003 de la Fondation vaudoise de probation) qu'il n'était pas nécessaire de déposer une nouvelle demande de rente AI et de prestations complémentaires. Ainsi que l'ont retenu les premiers juges, cette information a été contredite peu après par les deux invitations de régularisation des 13 mai et 27 juin 2002 émanant du nouvel organe d'exécution en matière de prestations complémentaires, soit la caisse intimée. A cet égard, on peut s'étonner que le recourant ait méconnu la mise en garde très claire de la deuxième lettre de la caisse intimée selon laquelle celle-ci n'entrerait pas en matière en l'absence des renseignements demandés. En outre, quoi qu'en dise le recourant, on ne saurait retenir dans ce contexte que les communications respectives des autorités vaudoises et fribourgeoises étaient contradictoires.
5.4 Par ailleurs, la lettre du 25 février 2003 adressée par le Service social régional de la Gruyère à la caisse intimée ne saurait être considérée comme une demande de prestations complémentaires pour les motifs indiqués pertinemment par les premiers juges (cf. consid. 2b in fine du jugement cantonal).
5.5 Dans ces circonstances il y a lieu d'admettre que le recourant n'a valablement saisi la caisse intimée que le 25 mai 2005 et que son droit aux prestations complémentaires a pris naissance au plus tôt le 1er mai 2005. Le jugement attaqué est donc conforme au droit fédéral.
5.5 Dans ces circonstances il y a lieu d'admettre que le recourant n'a valablement saisi la caisse intimée que le 25 mai 2005 et que son droit aux prestations complémentaires a pris naissance au plus tôt le 1er mai 2005. Le jugement attaqué est donc conforme au droit fédéral.
6. Succombant, le recourant - au demeurant non représenté par un avocat - n'a pas droit aux dépens qu'il sollicite.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg et à l'Office fédéral des assurances sociales.
Lucerne, le 12 septembre 2007
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière: