Faits :
A.
A.a. A._, né en 1967, marié et père de deux enfants (nés en 1988 et 1994), a travaillé en tant que peintre en bâtiment, en dernier lieu pour le compte de B._ SA. En juillet 2008, il a déposé une demande de prestations de l'assurance-invalidité; il y indiquait souffrir d'une hernie discale.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a mandaté la Clinique C._ pour une expertise pluridisciplinaire. Dans leur rapport du 13 décembre 2010, les experts ont posé les diagnostics de lombo-radiculalgie bilatérale chronique et de status post chirurgie d'exérèse d'une hernie discale L5-S1 suivie d'une arthrodèse L5-S1. Ils ont conclu à une capacité de travail entière dans une activité adaptée et de 80 %, sans perte de rendement, dans l'activité habituelle, dès le 1 er mars 2009. Après avoir octroyé à l'assuré une aide au placement (communication du 12 janvier 2011), puis sollicité des renseignements complémentaires auprès de la Clinique C._ (avis du 9 mai 2011), l'office AI a reconnu le droit de A._ à une rente entière d'invalidité, assortie de deux rentes pour enfant, pour les mois de janvier et février 2009 (décision du 3 août 2011). Saisi d'un recours de l'assuré déposé en septembre 2011, le Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, l'a rejeté (jugement du 22 juillet 2013).
A.b. En mars 2015, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité. L'office AI a notamment diligenté une expertise rhumatologique et psychiatrique auprès du Bureau D._. En raison de difficultés survenues lors des entretiens entre les experts et l'assuré, l'expertise n'a pas pu être menée à terme, et seul un rapport partiel a été établi, sans synthèse ni évaluation de la capacité de travail (rapport du 22 septembre 2016). L'administration a ensuite soumis l'assuré à une nouvelle expertise bidisciplinaire auprès des docteurs E._, spécialiste en médecine interne générale et en rhumatologie, et F._, spécialiste en psychiatrie et psychothérapie. L'expert psychiatre a retenu les diagnostics de syndrome douloureux somatoforme persistant (F45.4), de trouble dépressif récurrent, épisode actuel léger avec syndrome somatique (F33.0), et de difficultés liées à l'acculturation (Z60.3), sans incidence sur la capacité de travail (rapport du 29 mars 2018). Dans son rapport du 10 avril 2018, contenant des conclusions consensuelles, l'expert rhumatologue a posé le diagnostic avec répercussion sur la capacité de travail de syndrome lombovertébral et cervicobrachial récurrent, sans signe radiculaire irritatif ou déficitaire (status post-ALIF L5-S1 en août 2008 et cure de hernie discale L5-S1 en février 2008). Il a constaté l'absence de péjoration significative de l'état de santé du point de vue rhumatologique et conclu à une capacité de travail nulle dans l'activité habituelle mais entière, avec une diminution de rendement de 10 % au plus, dans une activité adaptée limitant le port de charge en porte-à-faux avec long bras de levier de plus de 5-10 kg de manière répétitive. Après avoir sollicité l'avis de son Service médical régional (SMR; rapport du 18 mai 2018), l'office AI a rejeté la demande de prestations (décision du 26 juillet 2018).
B.
Entre-temps, le 3 mai 2018, A._ a déposé une demande de révision du jugement du 22 juillet 2013 auprès du Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales. Le 13 septembre suivant, il a également saisi cette juridiction d'un recours contre la décision du 26 juillet 2018 en concluant à son annulation, ainsi que, principalement, à la reconnaissance d'un droit à une rente d'invalidité dès le 1 er janvier 2009. L'assuré a également sollicité la jonction de cette procédure (cause 605 2018 210) avec celle portant sur la révision du jugement du 22 juillet 2013 (cause 605 2018 120).
Après avoir appelé en cause la Fondation LPP de Zurich Assurances, la juridiction cantonale a, par jugement du 23 septembre 2019, joint les causes (ch. I du dispositif), admis la demande de révision du 3 mai 2018 et annulé l'arrêt du 22 juillet 2013 (ch. II du dispositif). Par ailleurs, elle a partiellement admis les recours des 9 septembre 2011 et 13 septembre 2018 et modifié les décisions des 3 août 2011 et 26 juillet 2018 en ce sens qu'une rente entière d'invalidité est octroyée à A._ pour la période de janvier 2009 à janvier 2010 et que le droit à une telle rente est nié dès le mois de février 2010 (ch. III du dispositif).
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, dans la mesure où le droit à une rente d'invalidité a été nié à partir de février 2010. Il conclut principalement à l'octroi d'une rente entière d'invalidité dès le mois de janvier 2009. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour instruction complémentaire et nouvelle décision dans le sens des considérants. Il demande également que les frais de la procédure, fixés par les premiers juges à 1000 fr., et répartis entre les parties à concurrence de 700 fr. à la charge de l'assuré et de 300 fr. à la charge de l'office AI, soient intégralement mis à la charge de ce dernier, et qu'un montant de 18'423 fr. 60 lui soit octroyé à titre de dépens pour la procédure cantonale.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2 p. 72; <ref-ruling> consid. 6.1 p. 205). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53).
3.
3.1. Le litige porte sur le droit du recourant à une rente d'invalidité au-delà du 31 janvier 2010.
3.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels en matière notamment de révision de la rente d'invalidité, applicables par analogie à l'examen matériel d'une nouvelle demande de prestations (<ref-law>, art. 87 al. 2 et 3 RAI; <ref-ruling> consid. 5 p. 110 ss; <ref-ruling> consid. 3.5.2 p. 350 s.; <ref-ruling> consid. 3 p. 73 ss et les références), ainsi que ceux relatifs à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'<ref-law>) et à son évaluation (<ref-law> et <ref-law>), en particulier s'agissant du caractère invalidant de troubles psychiques (<ref-ruling> consid. 4.5 p. 415 ss; <ref-ruling> consid. 6 et 7 p. 426 ss; <ref-ruling>). Il rappelle également les règles relatives à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352), à la libre appréciation des preuves (art. 61 let. c LPGA), et à la révision d'un jugement (<ref-law>), notamment en relation avec le retrait de l'autorisation d'exploiter le "département expertise" de la Clinique C._ en tant que motif de révision (<ref-ruling> consid. 2 p. 260 ss; arrêt 2C_32/2017 du 22 décembre 2017). Il suffit d'y renvoyer.
4.
4.1. Après avoir joint les procédures de révision et de recours, la juridiction cantonale a, dans un premier temps, admis que le retrait de l'autorisation d'exploiter le "département expertise" de la Clinique C._ constituait un motif de révision de son jugement du 22 juillet 2013 et annulé celui-ci (phase du rescindant). Dans la phase du rescisoire, elle a ensuite examiné le point de savoir si c'est à juste titre que l'office AI a nié le droit de l'assuré à une rente d'invalidité à partir du mois de mars 2009. Les premiers juges ont procédé à l'examen de l'évolution de la capacité de travail du recourant sur les plans physique et psychique en fonction des avis médicaux au dossier et ont constaté que l'assuré avait été incapable de travailler du 29 janvier 2008 au 31 octobre 2009. Dès le 1er novembre 2009, eu égard tant à l'absence de limitation liée à des affections psychiques qu'aux restrictions existant sur le plan somatique, la capacité de travail du recourant était totale dans une activité adaptée à ses limitations fonctionnelles, avec une diminution de rendement de 10 %. En conséquence, l'instance cantonale a reconnu le droit de l'assuré à une rente entière d'invalidité du 1er janvier 2009 au 31 janvier 2010. Pour la période postérieure, l'invalidité s'élevait à 20 %, soit un taux insuffisant pour maintenir le droit à une rente au-delà de cette date.
4.2. Le recourant fait en substance grief à la juridiction cantonale d'avoir violé la maxime inquisitoire et d'autres règles et garanties de procédure (art. 106 du Code de procédure et de juridiction administrative du canton de Fribourg du 23 mai 1991 [CPJA; RSF 150.1], art. 43 et 61 let. i LPGA, art. 9 et 29 Cst.), ainsi que les <ref-law> et 8 LPGA, en ce qu'elle a limité son droit à une rente d'invalidité au 31 janvier 2010. Il critique pour l'essentiel l'appréciation des preuves opérée par les premiers juges et leur reproche d'avoir suivi les conclusions des docteurs E._ et F._, dont il remet en cause la valeur probante, pour constater qu'il présentait une pleine capacité de travail dans une activité adaptée dès le 1er novembre 2009. En se référant à différents rapports établis pas ses médecins traitants, l'assuré soutient qu'il présente des troubles physiques et psychiques totalement incapacitants postérieurement au 31 octobre 2009. Il fait de surcroît valoir que la juridiction cantonale ne pouvait de toute manière pas supprimer la rente sans avoir au préalable renvoyé la cause à l'office intimé pour mise en oeuvre de mesures de réadaptation.
5.
5.1. Se référant aux art. 9 Cst. et 43 LPGA, le recourant reproche à la juridiction cantonale de s'être fondée sur un dossier "manifestement incomplet", puisqu'elle aurait constaté les faits sans prendre en considération les pièces figurant dans le dossier de la cause portant sur la révision demandée du jugement du 22 juillet 2013 (cause 605 2011 274). Il se prévaut également d'une violation de son droit d'être entendu (art. 29 Cst.), en relation avec l'expertise non-achevée du Bureau D._ de 2016.
5.2. Au vu du bordereau de pièces produit par l'office intimé en procédure cantonale dans la cause 605 2018 210, jointe à la cause 605 2018 120, on constate que les premiers juges se sont fondés sur un dossier complet. Ce dossier, qui renferme quelques 317 pièces, contient en effet les différents rapports établis par les médecins ayant suivi l'assuré depuis le dépôt de sa première demande de prestations de l'assurance-invalidité en 2008. Contrairement à ce que soutient en particulier l'assuré, la juridiction cantonale disposait du rapport du docteur G._, spécialiste en médecine interne générale et en rhumatologie et médecin traitant, du 26 septembre 2011. On ne voit pas, par ailleurs, et le recourant ne l'explique pas, pour quelle raison la juridiction cantonale aurait dû "discuter" de ce rapport ou quel fait différent de ceux qu'elle a retenus elle aurait dû en tirer. Partant, le grief du recourant tiré d'une violation des art. 106 CPJA, 61 let. i LPGA et 9 et 29 Cst. en relation avec la procédure de révision est mal fondé.
5.3. C'est également sans fondement que le recourant reproche ensuite aux premiers juges d'avoir violé son droit d'être entendu (art. 29 Cst.), en ce qu'ils se seraient appuyés sur l'expertise du Bureau D._, sans au préalable lui avoir "accordé le droit d'être entendu sur ce document". L'assuré fait valoir à cet égard qu'il n'a jamais eu l'occasion de se prononcer au sujet du contenu de ce document étant donné que l'office AI avait nié tout caractère probant à cette expertise. En l'espèce, le droit d'être entendu n'a pas été violé puisque le recourant a eu l'occasion de prendre connaissance de l'ensemble des pièces du dossier et de se prononcer sur celles-ci en procédure cantonale. L'expertise en cause, à laquelle la juridiction cantonale ne s'est référée que pour en tirer une description des activités quotidiennes de l'assuré, faisait partie du dossier. On ne saurait à cet égard déduire du droit d'être entendu un devoir de la juridiction cantonale d'attirer l'attention des parties, préalablement à sa décision, sur les preuves sur lesquelles elle entend se fonder.
6.
Le recourant s'en prend ensuite à la valeur probante des rapports établis par les docteurs E._ et F._ et critique également le choix des premiers juges de suivre les conclusions de ces médecins s'agissant de sa capacité de travail postérieurement au 31 octobre 2009. Il reproche aussi à la juridiction cantonale d'avoir violé le droit fédéral lorsqu'elle a analysé le caractère incapacitant de ses troubles psychiques en application de la procédure probatoire structurée au sens de l'ATF <ref-ruling>.
6.1. S'agissant d'abord de la valeur probante, il n'y a pas lieu de revenir sur la considération des premiers juges selon laquelle les rapports d'expertise des docteurs E._ et F._ répondent aux exigences formelles en la matière dégagées par la jurisprudence, pour les motifs qui suivent.
6.1.1. Quoi qu'en dise l'assuré, on ne saurait reprocher au docteur E._ de s'être contredit, en particulier d'avoir changé d'avis et modifié son appréciation de la situation après en avoir discuté avec son confrère F._. Le rhumatologue a fait état d'une capacité de travail nulle dans l'activité habituelle, mais entière, avec une diminution de rendement de 10 % au plus, dans une activité adaptée aux limitations fonctionnelles qu'il a décrites. La phrase selon laquelle, du point de vue rhumatologique et médical, "les répercussions sont estimées au niveau [...] professionnel à 100 %" signifie que le recourant présente une incapacité de travail de 100 % dans l'activité habituelle. On ne saurait dès lors y voir une contradiction avec l'évaluation de la capacité de travail du recourant faite par ce médecin, ce d'autant plus que l'assuré ne fournit aucun indice d'un changement d'avis du docteur E._.
6.1.2. L'argumentation du recourant selon laquelle l'expertise du docteur F._ "n'est pas cohérente" et "contient des erreurs manifestes" ne peut pas non plus être suivie. En soutenant que la constatation de l'expert psychiatre selon laquelle il présentait une capacité de travail entière en dehors des hospitalisations pour motifs psychiques survenues entre 2013 et 2016, "n'est pas crédible" et "manifestement en contradiction avec le dossier médical", le recourant ne fait pas état d'éléments concrets et objectifs susceptibles de mettre en doute la valeur probante de l'expertise de ce médecin. Il ne suffit en effet pas d'affirmer l'existence d'erreurs sans les démontrer devant la Cour de céans, un renvoi à l'écriture cantonale de recours n'étant pas une motivation recevable à cet égard. On ne voit ensuite pas en quoi les conclusions finales de l'expert F._ auraient été influencées par sa constatation selon laquelle l'assuré "ne collabore vraisemblablement pas étant donné la mauvaise compliance médicamenteuse".
6.1.3. Le fait que les docteurs E._ et F._ ont pu consulter l'expertise diligentée auprès de la Clinique C._ ne suffit par ailleurs pas pour conclure à une appréciation viciée. A cet égard, le recourant se limite à affirmer qu'il existerait des "relations douteuses" entre la Clinique C._ et les experts E._ et F._, sans citer d'indice concret à l'appui de son propos.
6.2. Concernant ensuite les critiques du recourant quant au choix de la juridiction de première instance de suivre les conclusions des docteurs E._ et F._ s'agissant de sa capacité de travail postérieurement au 31 octobre 2009, elles ne résistent pas davantage à l'examen.
6.2.1. Compte tenu de son pouvoir d'examen restreint (consid. 2 supra), il n'appartient pas au Tribunal fédéral de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité judiciaire de première instance serait manifestement inexacte voire incomplète, ou en quoi les faits constatés auraient été établis au mépris de règles essentielles de procédure.
6.2.2. On rappellera que le rôle d'un expert consiste à apporter ponctuellement un regard neutre sur un cas particulier, à fournir des informations médicales pertinentes et fiables et à en tirer des conclusions objectives dans un laps de temps relativement bref en se fondant pour ce faire non seulement sur ses propres observations mais aussi sur l'analyse de l'intégralité du dossier médical mis à sa disposition, ce qui permet au praticien d'avoir une représentation complète de l'évolution de la situation médicale (cf. notamment arrêts 9C_95/2012 du 1er juin 2012 consid. 3.2.1; 9C_844/2009 du 29 mars 2010 consid. 4.3). Pour cette raison, le recourant ne saurait sérieusement s'en prendre au choix des premiers juges de se fonder sur les conclusions des docteurs E._ et F._ (rapport des 29 mars et 10 avril 2018), en raison du fait qu'elles ont été émises "5 voire 7 ans après la décision AI contestée [du 3 août 2011]". En tant qu'il reproche ensuite à la juridiction de première instance de n'avoir pas "bien distingué" entre son état de santé en été 2011 (décision du 3 août 2011) et celui en été 2018 (décision du 26 juillet 2018), compte tenu du fait qu'elle ne se serait fondée que sur l'expertise du docteur E._, le recourant ne saurait davantage être suivi. Il ressort en effet du jugement entrepris que les premiers juges ont examiné les autres rapports médicaux antérieurs pour fonder leurs constatations. L'assuré l'admet du reste puisqu'il reproche également à la juridiction cantonale de s'être appuyée sur des conclusions médicales émises en 2008, selon lesquelles il présentait une capacité de travail entière sur le plan somatique (consid. 6.2.3 infra).
6.2.3. C'est en vain que le recourant soutient que les premiers juges se seraient "fond[és] exclusivement" sur le rapport du docteur H._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, du 7 novembre 2008, et sur celui du docteur I._ du SMR du 17 décembre 2008 pour admettre qu'il avait recouvré une pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles somatiques dès le 1er novembre 2009, et qu'il se réfère à différents rapports établis par ses médecins traitants pour soutenir que sa capacité de travail sur le plan somatique serait demeurée nulle dans toute activité au-delà de cette date. D'une part, contrairement à ce qu'allègue d'abord l'assuré, les rapports médicaux auxquels il fait référence ont été pris en considération par la juridiction cantonale (cf. jugement entrepris, consid. 7.1.1 p. 13-17), et dûment appréciés (cf. jugement entrepris, consid. 7.1.2 p. 17-18). D'autre part, l'argumentation du recourant consiste à énumérer les avis émis par les docteurs H._ (rapports des 29 avril, 17 juin et 30 octobre 2009), G._ (rapport du 4 novembre 2009), et J._, spécialiste en médecine interne générale et en médecine psychosomatique et psychosociale (rapport du 4 décembre 2009), puis à en déduire qu'il est arbitraire de conclure à une pleine capacité de travail dans une activité adaptée dès le mois de novembre 2009 puisque ces médecins avaient attesté une incapacité de travail entière, malgré les conclusions contraires du docteur E._ suivies par la juridiction cantonale. Un tel procédé, qui tend à substituer une appréciation différente à celle des premiers juges est appellatoire. Il ne met pas en évidence en quoi la juridiction de première instance aurait apprécié les preuves de manière arbitraire ou aurait établi les faits de manière incomplète (cf. consid. 2 supra). Il n'y a dès lors pas lieu de s'écarter des constatations des premiers juges quant à l'existence d'une capacité de travail totale du recourant dans une activité adaptée à ses limitations fonctionnelles, avec diminution de rendement de 10 % sur le plan somatique, dès le 1er novembre 2009.
6.2.4. S'agissant ensuite de sa capacité de travail sur le plan psychique, le recourant reproche à l'instance cantonale de recours de s'être fondée "immédiatement" sur le rapport d'expertise établi par le docteur F._ en 2018, "sans retenir les différents rapports existant avant le 22 juillet 2013". Il se réfère à cet égard aux rapports des doctoresses K._, spécialiste en médecine interne générale et en médecine psychosomatique et psychosociale, et L._, médecin-assistant, auprès de la Clinique M._, du 12 avril 2010, et N._, spécialiste en anesthésiologie, des 7 juillet 2011, et 16 et 19 janvier 2012, ainsi qu'à celui du docteur O._, spécialiste en psychiatrie et psychothérapie, du 20 février 2012. L'assuré affirme qu'il ressort de tous ces rapports médicaux que sa capacité de travail au niveau psychique était nulle à cette époque déjà, et qu'elle ne s'est depuis lors pas améliorée. Selon le recourant, en effet, les doctoresses P._, spécialiste en psychiatrie et psychothérapie (rapport du 22 janvier 2015), Q._, spécialiste en psychiatrie et psychothérapie (rapport du 15 mars 2016), et R._, médecin cadre au Réseau S._ (rapport du 11 novembre 2016), ainsi que le docteur T._, médecin adjoint au Réseau S._ (rapport du 5 décembre 2017), auraient tous confirmé les diagnostics de syndrome douloureux persistant et de trouble dépressif récurrent, induisant une incapacité totale de travail. L'assuré reproche également à la juridiction cantonale d'avoir violé son droit d'être entendu en ce qu'elle a "écart[é]" ces rapports "en prétendant qu'ils sont en parfaite contradiction avec l'expertise du [docteur F._], ceci sans motiver sa décision".
En ce que le recourant se limite à énumérer les avis émis par ses médecins traitants, puis à en déduire que "tous les rapports médicaux confirmaient une incapacité de travail à 100 %" et qu'ils sont en contradiction avec l'expertise du docteur F._, dont la juridiction cantonale a fait siennes les conclusions, son argumentation est appellatoire. Il ne suffit en effet pas d'opposer des avis médicaux contradictoires pour démontrer le caractère arbitraire du choix de la juridiction cantonale de suivre les uns en défaveur des autres. Quant à la violation du droit d'être entendu alléguée par l'assuré en relation avec le défaut de motivation du jugement entrepris sur ce point, elle n'est pas davantage fondée. L'instance précédente a apprécié les avis divergents des médecins traitants et exposé les raisons pour lesquelles elle a considéré que ceux-ci ne remettaient pas en cause les conclusions du docteur F._ (cf. jugement entrepris, consid. 7.2.3 p. 21-22).
6.2.5. Le recourant s'en prend encore à l'analyse du caractère incapacitant du syndrome douloureux persistant et du trouble dépressif récurrent qu'il présente effectuée par les premiers juges en application des indicateurs qui ressortent de la jurisprudence.
6.2.5.1. Pour parvenir à la conclusion que l'assuré disposait, dès fin 2009, des ressources devant lui permettre de surmonter ses troubles psychiques et de conserver une capacité de travail entière dans une activité adaptée à ses limitations physiques, la juridiction cantonale a procédé à l'examen de ces troubles à l'aune des indicateurs développés dans l'ATF <ref-ruling>, en se fondant sur l'expertise du docteur F._ et les autres rapports médicaux versés au dossier. S'agissant d'abord du diagnostic, elle a constaté que le recourant souffrait d'un trouble somatoforme avec une comorbidité psychiatrique dans le sens d'un trouble dépressif qui a motivé plusieurs hospitalisations, et qui au moment de l'expertise du docteur F._, était de degré plutôt léger. Concernant ensuite les ressources personnelles de l'assuré et le contexte familial et social, les premiers juges ont relevé que l'intéressé bénéficiait d'un fort soutien de son épouse et de ses enfants et qu'il avait des relations sociales préservées avec son entourage, ainsi que certaines activités de loisirs. Ils ont également constaté des divergences entre les limitations alléguées par le recourant et les observations faites par les différents médecins, ainsi que l'existence de plusieurs facteurs non médicaux susceptibles de jouer un rôle défavorable dans l'évolution de la situation, notamment un sentiment d'injustice et de disqualification développé à la suite de la première décision de refus de rente de l'assurance-invalidité, lequel avait été mis en évidence en particulier par la doctoresse P._, psychiatre traitante (rapport du 22 janvier 2015).
6.2.5.2. En tant que le recourant reproche à la juridiction cantonale de s'être référée à l'expertise non-achevée du Bureau D._ de 2016 pour constater que son entourage avait partagé avec lui une attitude revendicatrice, sa critique n'est pas pertinente. A l'inverse de ce qu'il affirme, la juridiction de première instance n'a en effet rien déduit de cette constatation quant à la capacité de travail de l'assuré.
La juridiction de première instance n'a par ailleurs pas ignoré le déroulement de l'expertise auprès du Bureau D._. Elle ne s'y est référée que pour confirmer certains éléments anamnestiques que les médecins du Bureau D._ avaient décrits en fonction des éléments donnés pas l'assuré et qui ne relèvent pas d'une appréciation médicale.
6.2.5.3. Les autres critiques du recourant ne sont pas davantage fondées. En particulier, son argumentation selon laquelle il n'évoluerait pas dans un contexte familial et social favorable ne lui est d'aucune utilité. On rappellera que lors de l'examen des ressources que peut procurer le contexte social et familial pour surmonter l'atteinte à la santé ou ses effets, il y a lieu de tenir compte notamment de l'existence d'une structure quotidienne et d'un cercle de proches; en revanche, les contraintes sociales ayant directement des conséquences fonctionnelles négatives ne sont pas prises en considération (ATF <ref-ruling> consid. 4.3.3 p. 303). En l'espèce, le recourant ne conteste pas la description de son quotidien et de son environnement faite par le docteur F._, qui a notamment indiqué qu'il sortait son chien plusieurs fois par jour, ne serait-ce qu'aux alentours immédiats de son domicile, allait boire le café à l'extérieur, recevait des visites d'amis ou de membres de sa famille et était très bien soutenu par son réseau social. On ne saurait dès lors reprocher aux premiers juges d'avoir considéré, en se fondant sur les constatations de ce médecin, le contexte social et familial comme un indicateur favorable. Celui-ci est susceptible de fournir des ressources à l'assuré pour surmonter son atteinte à la santé ou les effets de cette dernière sur sa capacité de travail, nonobstant le fait que l'attitude du recourant peut rendre plus difficile les relations interfamiliales.
Au sujet de la cohérence, le recourant ne peut pas davantage être suivi lorsqu'il reproche à l'instance de premier recours d'avoir admis l'existence de contradictions entre les limitations qu'il a décrites (il affirme ne pouvoir accomplir que des "activités très limitées") et les observations médicales. Contrairement à ce qu'il soutient à cet égard, l'expert F._ a étayé sa constatation selon laquelle il existait des divergences entre les plaintes de l'assuré, son comportement en situation d'examen et ses propres constats. Le médecin a en effet indiqué que les répercussions de l'incapacité de travail invoquée étaient très faibles dans les loisirs et les activités sociales. Le docteur F._ a par ailleurs fait état d'une forte démonstrativité des symptômes à la limite de l'exagération de ceux-ci.
En ce qui concerne le suivi du traitement médical, le recourant n'invoque aucun motif qui justifierait de s'écarter des considérations de la juridiction cantonale selon lesquelles ce point pouvait être laissé ouvert compte tenu d'une analyse globale de la situation.
Quant à l'argument du recourant selon lequel le sentiment qu'il a d'être une victime "ne peut [...] pas être utilisé comme indicateur en [sa] défaveur", étant donné qu'il est "dans la nature des douleurs somatoformes" que les personnes qui en souffrent puissent avoir un tel sentiment, il ne permet pas non plus d'établir en quoi la considération des premiers juges selon laquelle des facteurs non médicaux contribuaient aussi à influer de manière défavorable sur la motivation de l'assuré à surmonter sa situation, serait arbitraire ou contraire au droit.
6.2.6. Il résulte de ce qui précède que le recourant a échoué à démontrer que la juridiction cantonale a violé le droit fédéral ou fait preuve d'arbitraire dans son appréciation du caractère invalidant des atteintes à la santé dont il souffre sur le plan psychique.
6.3. En conséquence, il n'y a pas lieu de s'écarter des constatations de la juridiction cantonale quant à l'existence, dès le 1er novembre 2009, d'une capacité de travail totale du recourant dans une activité adaptée à ses limitations fonctionnelles, avec diminution de rendement de 10 %. Le recours est mal fondé sur ce point.
7.
L'argumentation du recourant selon laquelle les premiers juges ne pouvaient pas lui accorder une rente d'invalidité jusqu'au mois de janvier 2010 et supprimer par la suite le droit à cette prestation, sans avoir au préalable renvoyé la cause à l'office intimé pour qu'il ordonne des mesures de réadaptation, n'est pas pertinente. Le seul fait qu'il a été éloigné du marché du travail pendant plus de dix ans ne suffit pas pour reconnaître le droit à des mesures de réadaptation. La réadaptation par soi-même est en effet un aspect de l'obligation de diminuer le dommage et prime aussi bien le droit à une rente que celui à des mesures de réadaptation (arrêts 9C_304/2020 du 8 juillet 2020 consid. 3; 9C_163/2009 du 10 septembre 2010 consid. 4.2.2 et les arrêts cités). En tant que l'assuré se référerait aux exceptions dans lesquelles la jurisprudence admet que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique, préalablement à la réduction ou à la suppression du droit à une rente de l'assurance-invalidité, son argumentation n'est pas non plus pertinente. Ces exceptions concernent en effet les assurés qui sont âgés de 55 ans révolus ou qui ont bénéficié d'une rente pendant quinze ans au moins (cf. arrêts 9C_308/2018 du 17 août 2018 consid. 5.2; 9C_517/2016 du 7 mars 2017 consid. 5.2 et les arrêts cités), ce qui n'est pas le cas du recourant.
8.
Vu l'issue du litige en procédure fédérale, la conclusion du recourant quant à une nouvelle répartition des frais et dépens de la procédure cantonale est mal fondée. Quant à sa conclusion tendant à l'augmentation du montant des dépens réduits qui lui ont été accordés par les premiers juges, de 3327 fr. 95 à 18'423 fr. 60, elle est irrecevable au regard des art. 42 al. 2 et 106 al. 2 LTF. Le recours ne contient en effet aucune motivation à l'appui de ces conclusions.
9.
Ensuite de ce qui précède, le recours est en tous points mal fondé.
10.
Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, à l'Office fédéral des assurances sociales et à la Fondation LPP Zurich Assurances, Lausanne.
Lucerne, le 30 septembre 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud