Faits :
A.
A.a. A._, né en 1968, a travaillé en qualité de manoeuvre pour le compte de l'entreprise B._ SA en 1999. A ce titre, il était assuré pour la prévoyance professionnelle auprès de la Fondation collective LPP d'Elvia Vie, Société Suisse d'Assurances sur la Vie, reprise depuis par la Fondation collective LPP de l'Allianz Suisse Société d'Assurances sur la Vie (ci-après: la Fondation).
A la suite d'un accident de travail survenu le 12 janvier 1999, dont les suites ont été prises en charge par la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA), la Fondation a versé des prestations d'invalidité à l'assuré du 1er janvier 2008 au 30 juin 2014 (correspondances des 22 juin 2009 et 19 mai 2014). Entre-temps, par décision du 26 juin 2014 (confirmée par arrêt du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 5 décembre 2017), l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a reconnu le droit de A._ à une demi-rente d'invalidité à compter du 1er janvier 2000 (taux d'invalidité de 53 %).
A.b. Le 29 mars 2019, A._ a invité la Fondation à lui transmettre un décompte des arriérés de rentes d'invalidité dus par celle-ci depuis le 1er janvier 2000, ainsi qu'un décompte de surindemnisation. Par courrier du 21 juin 2019, la Fondation collective LPP a informé l'assuré que ses prestations prenaient effet seulement depuis le 1er janvier 2008 étant donné qu'il avait été au bénéfice d'indemnités journalières jusqu'au 31 décembre 2007 versées par la CNA; elle lui a par ailleurs indiqué, s'agissant du calcul de surindemnisation, qu'elle se fonderait sur les éléments retenus par l'office AI, en particulier sur un revenu avec invalidité de 25'298 fr. 67 en tant que revenu pouvant raisonnablement être réalisé. Après que l'assuré l'a informée qu'il n'acceptait pas l'imputation d'un revenu hypothétique, la Fondation a confirmé son point de vue (correspondance du 16 août 2019).
B.
Le 13 septembre 2019, A._ a ouvert action devant le Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales. Il a conclu à ce que la Fondation soit condamnée à lui verser la somme de 100'906 fr. 10, au titre des rentes d'invalidité dues du 1er janvier 2008 au 31 décembre 2019, avec intérêts à 5 % l'an depuis le 13 septembre 2019 sur 98'690 fr. 40 et depuis le 1er octobre 2019 sur 2215 fr. 70. Il a également requis sa condamnation à lui verser, à titre de rentes d'invalidité, la somme de 8862 fr. 80 par année depuis le 1er janvier 2020 jusqu'au 31 mars 2033, la compensation du renchérissement et d'éventuels faits nouveaux étant réservés, avec intérêts à 5 % l'an dès chaque échéance trimestrielle. Statuant le 3 mai 2021, la juridiction cantonale a rejeté l'action.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, dont il requiert l'annulation. A titre principal, il reprend les mêmes conclusions qu'en instance cantonale. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour nouvelle décision.
La Fondation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
2.1. Le litige porte sur le montant de la rente d'invalidité de la prévoyance professionnelle obligatoire que le recourant peut prétendre depuis le 1er janvier 2008, compte tenu des prestations des autres assurances sociales, soit sur le calcul de surindemnisation. Au vu des motifs et conclusions du recours, il s'agit uniquement de déterminer si c'est à bon droit que les premiers juges ont considéré que la Fondation était fondée à prendre en considération, dans le calcul de surindemnisation, un revenu hypothétique à hauteur du revenu d'invalide de 25'298 fr. 67, tel que retenu par l'office AI.
2.2. L'arrêt entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment aux conditions dans lesquelles les décisions de l'assurance-invalidité lient l'institution de prévoyance compétente (<ref-law>; <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 1 et les arrêts cités), ainsi qu'à la possibilité, pour celle-ci, de réduire ses prestations afin d'éviter une surindemnisation de l'assuré (<ref-law>, art. 24 OPP2). Il rappelle également la jurisprudence sur la correspondance ou l'équivalence de principe ("Kongruenz" ou "Grundsatz der Kongruenz") entre d'une part le revenu sans invalidité et le revenu dont on peut présumer que l'intéressé est privé (prévu par l'<ref-law>) et d'autre part le revenu d'invalide et le revenu que l'assuré pourrait encore raisonnablement réaliser (prévu par l'art. 24 al. 1 let. d OPP 2), cette équivalence entre ces revenus devant cependant être comprise dans le sens d'une présomption (<ref-ruling> consid. 3.2.2; <ref-ruling> consid. 3.2 et les références). Il suffit d'y renvoyer.
3.
3.1. La juridiction cantonale a retenu que l'intimée pouvait en principe se fonder sur les constatations des autorités vaudoises en matière d'assurance-invalidité relatives au revenu avec invalidité de 25'298 fr. 67 (cf. décision administrative du 26 juin 2014). Elle a ensuite considéré que le recourant n'avait pas allégué de circonstances personnelles et conditions concrètes du marché du travail susceptibles de l'empêcher de réaliser un revenu résiduel équivalent à ce montant. En conséquence, les premiers juges ont procédé au calcul de la surindemnisation en fonction de ce revenu hypothétique (au sens de l'art. 24 al. 1 let. d OPP 2). Dès lors qu'il y avait une surindemnisation, ils ont nié le droit du recourant au versement d'une rente d'invalidité de la prévoyance professionnelle.
3.2. Le recourant reproche en substance à la juridiction cantonale d'avoir fait preuve d'arbitraire dans l'établissement des faits et l'appréciation des preuves et d'avoir violé le droit fédéral (<ref-law> et art. 24 OPP 2) pour nier qu'il fût parvenu à renverser la présomption d'équivalence entre le revenu d'invalide pris en compte par l'office AI et le revenu hypothétique au sens de la LPP. Il fait valoir que les premiers juges auraient refusé d'examiner les critiques qu'il avait exposées concernant "le revenu hypothétique de Fr. 25'298.67 retenu par l'OAI/VD et confirmé par l'arrêt du Tribunal cantonal vaudois du 5 décembre 2017" sous l'angle de la présomption découlant du principe de congruence, alors même qu'il avait pourtant dûment allégué des circonstances personnelles susceptibles de renverser ladite présomption. Selon lui, la juridiction cantonale aurait examiné ses critiques uniquement sous l'angle de la force contraignante des décisions de l'assurance-invalidité pour la prévoyance professionnelle, d'où un "raisonnement vicié".
3.3. L'intimée se rallie aux considérations de la juridiction cantonale, qui selon elle, sont conformes au droit.
4.
4.1. Contrairement à ce que soutient d'abord le recourant, la juridiction de première instance a examiné s'il avait allégué des faits et offert des moyens de preuve quant aux circonstances personnelles et aux conditions concrètes du marché du travail qui l'empêcheraient de réaliser un revenu de remplacement équivalant au revenu d'invalide retenu par les organes de l'assurance-invalidité, sous l'angle de la présomption découlant du principe de congruence. Elle a en effet constaté que l'assuré n'avait ni allégué, ni prouvé qu'il eût fait des efforts afin de trouver une activité adaptée, nonobstant le fait qu'il présentait pourtant une capacité de travail de six heures par jour dans une activité adaptée à ses limitations fonctionnelles, avec une baisse de rendement de 30 % (selon le rapport d'expertise diligentée par l'office AI du 25 juin 2009, confirmé par décision administrative du 16 septembre 2010, puis arrêt du Tribunal cantonal vaudois du 20 août 2012). Il ressort à cet égard des constatations cantonales que l'assuré n'avait en particulier pas fait valoir de recherches d'emploi infructueuses, ce que celui-ci ne conteste du reste pas.
4.2. C'est en vain que le recourant reproche ensuite aux premiers juges de ne pas avoir examiné si les atteintes à la santé étrangères à l'invalidité qu'il présente (des céphalées douloureuses, un acouphène et des troubles de la mémoire et de la concentration) constituaient des circonstances personnelles permettant de renverser la présomption d'équivalence entre les deux revenus déterminants. L'incapacité totale de travail que le recourant allègue subir est un élément que l'institution de prévoyance n'a pas à prendre en considération dans le cadre de la surindemnisation, dès lors que l'étendue de la capacité résiduelle de travail a déjà été examinée et déterminée (en l'espèce à six heures de travail par jour dans une activité adaptée, avec une baisse de rendement de 30 %) par l'assurance-invalidité pour fixer le taux d'incapacité de gain qu'il présente. L'évaluation de l'invalidité suppose que les organes de l'assurance-invalidité examinent et se prononcent tant sur l'exigibilité et l'étendue de la capacité de travail résiduelle (attestée médicalement) de l'assuré en cause, que sur la mise en valeur de celle-ci sur le plan économique, ces aspects du droit à une rente d'invalidité étant alors en principe déterminants pour l'institution de prévoyance pour fixer ses propres prestations (cf. <ref-ruling> consid. 4.1 et les arrêts cités), comme c'est le cas en l'espèce, selon les constatations cantonales non contestées par le recourant. Lorsqu'il s'agit, par la suite, d'examiner une éventuelle surindemnisation, l'institution de prévoyance n'a pas à apprécier à nouveau l'étendue de la capacité de travail résiduelle présentée par l'assuré. Admettre le contraire reviendrait en effet à l'autoriser à procéder à un nouvel examen de l'invalidité et du droit à la rente qui en découle, en dehors des conditions propres à une révision de la rente d'invalidité de l'assurance-invalidité laquelle ressort en premier lieu de la compétence des organes de cette assurance (cf. arrêt 9C_673/2007 du 9 octobre 2008 consid. 4.3). Dans la mesure où le recourant entend se prévaloir d'une nouvelle appréciation médicale de sa capacité de travail en se référant à deux rapports médicaux des 17 novembre et 22 décembre 2016 qu'il a produits devant la juridiction cantonale, il lui appartient de s'adresser aux organes de l'assurance-invalidité pour qu'ils examinent, le cas échéant, les modifications invoquées. Dans ce contexte, son grief tiré d'une violation du droit à la preuve, parce que les premiers juges auraient manqué de faire verser les dossiers de l'assurance-invalidité à sa cause, est mal fondé.
4.3. Les autres griefs du recourant, en relation avec ses faibles connaissances linguistiques, son manque de formation et sa très longue absence du marché du travail, ne sont pas davantage fondés. Certes, si ces éléments font partie des circonstances personnelles qui doivent être examinées en relation avec le revenu au sens de l'art. 24 al. 1 let. d LPP (arrêt 9C_73/2010 du 28 septembre 2010 consid. 6.1), ils n'excluent cependant pas en tant que tels le caractère exploitable d'une capacité de travail résiduelle; ils doivent bien plutôt être appréciés à l'aune des exigences de l'activité susceptible d'entrer en ligne de compte (arrêt 9C_1033/2012 du 8 novembre 2013 consid. 5.3, non publié aux <ref-ruling>). On rappellera à cet égard que dans la procédure de l'assurance-invalidité, les organes d'exécution sont tenus de prendre en considération une mise en valeur réaliste de la capacité de travail résiduelle lors de l'évaluation du revenu d'invalide (arrêts 9C_313/2007 du 8 janvier 2008 consid. 5.2; I 537/03 du 16 décembre 2003 consid. 3.1 et les arrêts cités). Dans le contexte de la surindemnisation, l'examen de l'institution de prévoyance (ou du juge) n'a donc plus à porter sur les aspects de l'exigibilité de la capacité résiduelle de travail ou le caractère réaliste de la mise en valeur de celle-ci sur le plan économique. Elle doit se limiter à vérifier, au regard des éléments que fait valoir l'assuré à l'encontre de la présomption d'équivalence, si le marché du travail entrant concrètement en considération pour l'intéressé comprend des postes de travail adaptés à sa situation. Il en découle que l'assuré ne peut pas invoquer, au titre de "circonstances personnelles" dont il y a lieu de tenir compte sous l'angle de l'exigibilité d'un revenu résiduel, des éléments qui ont déjà été pris en considération par les organes de l'assurance-invalidité pour déterminer l'exigibilité de la capacité de travail résiduelle et son étendue (arrêt 9C_673/2007 précité consid. 4.3; cf. aussi arrêt 9C_912/2009 du 8 juillet 2010 consid. 5.4.1).
Or en l'occurrence, lorsqu'ils ont déterminé l'activité raisonnablement exigible sur le marché équilibré du travail et le revenu d'invalide, les organes de l'assurance-invalidité ont déjà tenu compte des circonstances personnelles dont se prévaut le recourant. Ils ont en effet considéré que seule une activité d'employé d'usine, d'ouvrier ou de contrôle qualité était exigible de l'assuré et ont procédé à un abattement de 10 % sur le revenu d'invalide qu'ils ont fixé en se fondant sur le salaire brut standardisé auquel peuvent prétendre des hommes effectuant des activités simples et répétitives dans le secteur privé (production et services), compte tenu notamment de son manque de formation et de ses difficultés linguistiques.
Quant à la "très longue absence du marché du travail" dont se prévaut le recourant en se référant à l'arrêt 9C_495/2017 du 16 avril 2018, elle ne constitue pas non plus une circonstance déterminante dans le cas d'espèce, dès lors déjà qu'aucune recherche infructueuse d'emploi ne vient concrètement confirmer qu'il ne pourrait pas exercer une activité adaptée telle que celle retenue par les organes de l'assurance-invalidité (comp. arrêt 9C_495/2017 précité consid. 3.4.2 et 3.5; cf. aussi arrêt 9C_416/2011 du 19 juillet 2011 consid. 4.3). L'assuré ne conteste en effet pas les constatations cantonales selon lesquelles il n'aurait pas fait des efforts, à tout le moins depuis la constatation d'une capacité de travail de 60 % en 2012, afin de trouver une activité adaptée.
4.4. Le fait que ni la CNA, ni la caisse de compensation, dans l'examen du droit à des prestations complémentaires, ne lui ont imputé un revenu hypothétique, n'est finalement pas non plus déterminant. S'il est exact qu'il existe un parallèle entre les critères de la prévoyance professionnelle et ceux du régime des prestations complémentaires s'agissant de l'examen du revenu hypothétique imputable (cf. arrêts 9C_416/2011 précité consid. 2.3; 9C_73/2010 précité consid. 6.1), celui-ci n'implique pas la reprise, par l'institution de prévoyance, de l'analyse effectuée à cet égard par l'organe d'exécution des prestations complémentaires, pas plus du reste que de l'évaluation de l'assureur-accidents (cf. sur ce point <ref-ruling> consid. 6; arrêt 8C_679/2020 du 1er juillet 2021 consid. 5.1).
5.
Compte tenu de ce qui précède, il n'y a pas lieu de s'écarter des considérations des premiers juges selon lesquelles le recourant n'est pas parvenu à renverser la présomption selon laquelle le revenu que l'assuré pourrait encore raisonnablement réaliser selon l'art. 24 al. 1 let. d LPP correspond au revenu d'invalide fixé par les organes de l'assurance-invalidité. Partant, c'est à bon droit qu'ils ont procédé au calcul de la surindemnisation en prenant en considération le revenu d'invalide de 25'298 fr. 67 fixé par les organes de l'assurance-invalidité. Le recours est mal fondé.
6.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 mars 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud