Faits : A. A.a. A._, né en 1967, marié et père de deux enfants (nés en 1988 et 1994), a travaillé en tant que peintre en bâtiment, en dernier lieu pour le compte de B._ SA. En juillet 2008, il a déposé une demande de prestations de l'assurance-invalidité; il y indiquait souffrir d'une hernie discale. Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a mandaté la Clinique C._ pour une expertise pluridisciplinaire. Dans leur rapport du 13 décembre 2010, les experts ont posé les diagnostics de lombo-radiculalgie bilatérale chronique et de status post chirurgie d'exérèse d'une hernie discale L5-S1 suivie d'une arthrodèse L5-S1. Ils ont conclu à une capacité de travail entière dans une activité adaptée et de 80 %, sans perte de rendement, dans l'activité habituelle, dès le 1 er mars 2009. Après avoir octroyé à l'assuré une aide au placement (communication du 12 janvier 2011), puis sollicité des renseignements complémentaires auprès de la Clinique C._ (avis du 9 mai 2011), l'office AI a reconnu le droit de A._ à une rente entière d'invalidité, assortie de deux rentes pour enfant, pour les mois de janvier et février 2009 (décision du 3 août 2011). Saisi d'un recours de l'assuré déposé en septembre 2011, le Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales, l'a rejeté (jugement du 22 juillet 2013). A.b. En mars 2015, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité. L'office AI a notamment diligenté une expertise rhumatologique et psychiatrique auprès du Bureau D._. En raison de difficultés survenues lors des entretiens entre les experts et l'assuré, l'expertise n'a pas pu être menée à terme, et seul un rapport partiel a été établi, sans synthèse ni évaluation de la capacité de travail (rapport du 22 septembre 2016). L'administration a ensuite soumis l'assuré à une nouvelle expertise bidisciplinaire auprès des docteurs E._, spécialiste en médecine interne générale et en rhumatologie, et F._, spécialiste en psychiatrie et psychothérapie. L'expert psychiatre a retenu les diagnostics de syndrome douloureux somatoforme persistant (F45.4), de trouble dépressif récurrent, épisode actuel léger avec syndrome somatique (F33.0), et de difficultés liées à l'acculturation (Z60.3), sans incidence sur la capacité de travail (rapport du 29 mars 2018). Dans son rapport du 10 avril 2018, contenant des conclusions consensuelles, l'expert rhumatologue a posé le diagnostic avec répercussion sur la capacité de travail de syndrome lombovertébral et cervicobrachial récurrent, sans signe radiculaire irritatif ou déficitaire (status post-ALIF L5-S1 en août 2008 et cure de hernie discale L5-S1 en février 2008). Il a constaté l'absence de péjoration significative de l'état de santé du point de vue rhumatologique et conclu à une capacité de travail nulle dans l'activité habituelle mais entière, avec une diminution de rendement de 10 % au plus, dans une activité adaptée limitant le port de charge en porte-à-faux avec long bras de levier de plus de 5-10 kg de manière répétitive. Après avoir sollicité l'avis de son Service médical régional (SMR; rapport du 18 mai 2018), l'office AI a rejeté la demande de prestations (décision du 26 juillet 2018). B. Entre-temps, le 3 mai 2018, A._ a déposé une demande de révision du jugement du 22 juillet 2013 auprès du Tribunal cantonal du canton de Fribourg, IIe Cour des assurances sociales. Le 13 septembre suivant, il a également saisi cette juridiction d'un recours contre la décision du 26 juillet 2018 en concluant à son annulation, ainsi que, principalement, à la reconnaissance d'un droit à une rente d'invalidité dès le 1 er janvier 2009. L'assuré a également sollicité la jonction de cette procédure (cause 605 2018 210) avec celle portant sur la révision du jugement du 22 juillet 2013 (cause 605 2018 120). Après avoir appelé en cause la Fondation LPP de Zurich Assurances, la juridiction cantonale a, par jugement du 23 septembre 2019, joint les causes (ch. I du dispositif), admis la demande de révision du 3 mai 2018 et annulé l'arrêt du 22 juillet 2013 (ch. II du dispositif). Par ailleurs, elle a partiellement admis les recours des 9 septembre 2011 et 13 septembre 2018 et modifié les décisions des 3 août 2011 et 26 juillet 2018 en ce sens qu'une rente entière d'invalidité est octroyée à A._ pour la période de janvier 2009 à janvier 2010 et que le droit à une telle rente est nié dès le mois de février 2010 (ch. III du dispositif). C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, dans la mesure où le droit à une rente d'invalidité a été nié à partir de février 2010. Il conclut principalement à l'octroi d'une rente entière d'invalidité dès le mois de janvier 2009. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour instruction complémentaire et nouvelle décision dans le sens des considérants. Il demande également que les frais de la procédure, fixés par les premiers juges à 1000 fr., et répartis entre les parties à concurrence de 700 fr. à la charge de l'assuré et de 300 fr. à la charge de l'office AI, soient intégralement mis à la charge de ce dernier, et qu'un montant de 18'423 fr. 60 lui soit octroyé à titre de dépens pour la procédure cantonale. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.