Faits :
A.
A._ a travaillé en dernier lieu comme administrateur de la société B._ SA (aujourd'hui radiée du registre du commerce) jusqu'en 2003. En arrêt de travail depuis décembre 2006, il a déposé une première demande de prestations de l'assurance-invalidité le 1 er juin 2010, qui a été rejetée par décision du 29 février 2012 de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI).
Le 26 mai 2015, A._ a déposé une nouvelle demande de prestations. Dans le cadre de l'instruction, l'office AI a recueilli l'avis des docteurs C._, spécialiste en psychiatrie et psychothérapie (du 10 juin 2015), et D._, spécialiste en médecine physique et réadaptation et chef de clinique à l'hôpital E._ (du 11 décembre 2015), ainsi que l'avis du docteur F._, médecin praticien et médecin auprès du Service médical régional (SMR) de l'assurance-invalidité (du 11 août 2016), puis confié la réalisation d'une expertise psychiatrique à la doctoresse G._, spécialiste en psychiatrie et psychothérapie. Dans un rapport du 20 décembre 2017, la psychiatre a diagnostiqué - sans répercussion sur la capacité de travail - une simulation consciente avec motivation claire, une dysthymie depuis l'âge adulte, un status post épisode dépressif moyen à sévère entre 2004 et fin 2008 (versus un trouble dépressif récurrent, en rémission depuis janvier 2009) et un status post effets indésirables de traitements antidépresseurs et autre (entre 2004 et fin décembre 2008). Elle a indiqué que l'assuré disposait d'une capacité de travail totale dans son activité habituelle ou tout autre activité adaptée depuis le 1 er janvier 2009.
Après avoir subi une entorse des deux chevilles et une fracture du Lisfranc le 17 mai 2017, l'assuré a produit l'avis du docteur H._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur (des 5 juillet 2017, 1 er décembre 2017 et 18 avril 2018). Il a encore remis à l'office AI les courriers des 24 mai 2018 et 22 juin 2018 du docteur I._, spécialiste en psychiatrie et psychothérapie, ainsi que l'avis notamment des doctoresses J._, cheffe de clinique adjointe, et K._, médecin assistante auprès du Service de psychiatrie ordinaire de l'hôpital E._ (du 17 juillet 2018). Par décision du 22 mai 2019, l'office AI a rejeté la nouvelle demande de prestations.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et produit l'avis des docteurs L._, spécialiste en psychiatrie et psychothérapie et psychiatre traitant (du 21 juin 2019), et M._, spécialiste en médecine physique et réadaptation (du 16 décembre 2018). Statuant le 14 juillet 2020, le Tribunal cantonal a rejeté le recours et confirmé la décision du 22 mai 2019.
C.
L'assuré forme un recours en matière de droit public contre cet arrêt dont il demande l'annulation. Il conclut à l'octroi d'une rente entière de l'assurance-invalidité dès le 1 er mai 2016. Subsidiairement, il demande le renvoi de la cause à l'office AI pour la mise en oeuvre d'une nouvelle instruction médicale et nouvelle décision. Le recours est assorti d'une demande d'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales renonce à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2.
Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité ensuite de la nouvelle demande de prestations du 26 mai 2015. L'arrêt attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à une nouvelle demande de prestations et à l'évaluation du caractère invalidant des affections psychiques (<ref-ruling>; <ref-ruling>). Il suffit d'y renvoyer.
3.
3.1. La juridiction cantonale a tout d'abord constaté que l'administration avait rejeté la première demande de prestations le 29 février 2012 car le recourant ne lui avait pas remis les informations médicales demandées à plusieures reprises et que les diagnostics connus ne justifiaient pas une incapacité de travail. En se fondant sur les conclusions de la doctoresse G._ du 20 décembre 2017 et du médecin du SMR du 11 août 2016, elle a ensuite retenu que l'état de santé du recourant ne s'était pas modifié depuis la décision du 29 février 2012 dans une mesure propre à justifier l'octroi de prestations de l'assurance-invalidité.
En particulier, le recourant avait déclaré à la doctoresse G._ qu'il s'était vu offrir par le docteur I._ un mois de traitement de stimulation magnétique transcrânienne (TMS) en avril 2008, ce que l'ancien psychiatre avait démenti lors d'une conversation téléphonique avec l'experte. De cette contradiction notamment, la doctoresse G._ avait conclu que l'assuré n'était pas fiable dans ses déclarations. Si le docteur I._ avait certes attesté a posteriori que le recourant avait effectué environ vingt séances de TMS en avril 2008, les premiers juges ont retenu que l'argumentation du recourant ne remettait pas en cause les conclusions de l'experte. D'une part, la doctoresse G._ avait considéré que les nombreuses autres contradictions dans les dires de l'assuré laissaient apparaître qu'il était apte à mener des tâches complexes et était très occupé. D'autre part, il subsistait des doutes sur la réalité des séances de TMS. Outre que le docteur I._ avait indiqué en novembre 2007 que le recourant ne pouvait pas assumer les frais de ce traitement, le psychiatre n'avait nullement fait mention de ce traitement dans son avis du 15 juillet 2011. Quant aux conclusions des docteurs J._ et K._, d'une part, et du docteur L._, d'autre part, les premiers juges ont considéré qu'elles n'étaient pas non plus de nature à remettre en cause les conclusions de l'experte.
3.2. Invoquant un établissement manifestement inexact des faits, ainsi qu'une violation du droit fédéral, le recourant reproche à la juridiction cantonale d'avoir suivi les conclusions de la doctoresse G._ et du médecin du SMR. Il soutient tout d'abord que la juridiction cantonale a retenu de manière arbitraire qu'il subsistait des doutes sur la réalité des séances de TMS. Aussi, en omettant de constater qu'il n'avait pas donné des indications volontairement erronées à l'experte, les premiers juges avaient suivi de manière arbitraire des conclusions médicales dont une part essentielle reposait sur l'indication erronée donnée par le docteur I._ à l'experte. Il fait valoir que l'expertise psychiatrique ne suivait de plus pas la procédure probatoire structurée préconisée en matière d'affections psychiques (ATF <ref-ruling>), notamment en ce qui concerne les critères de la résistance de la maladie face au traitement et de la limitation uniforme du niveau des activités dans tous les domaines comparables de la vie. Les conclusions de l'expertise psychiatrique étaient enfin contredites en majeure partie par celles de ses médecins traitants, qui retenaient tous des diagnostics psychiatriques ayant une répercussion sur sa capacité de travail.
4.
4.1. En l'espèce, les premiers juges ont retenu sans arbitraire que les conclusions de l'expertise psychiatrique du 20 décembre 2017 ne reposaient pas exclusivement sur les déclarations du recourant concernant l'existence (ou non) des séances de TMS en avril 2008. Si la doctoresse G._ a certes relevé que l'assuré avait donné des indications volontairement erronées concernant ce traitement, en se fondant sur une conversation téléphonique avec l'ancien psychiatre traitant (qui s'est par la suite rétracté par courriers des 24 mai 2018 et 22 juin 2018), la psychiatre a surtout fondé ses conclusions concernant la capacité de travail du recourant sur le fait que celui-ci était apte à mener des tâches complexes, était très occupé, ne bénéficiait d'aucun suivi (psychiatrique) spécialisé en cours et se portait bien.
Ainsi, l'experte a constaté que le recourant était capable de se plonger de façon assidue dans le nouveau droit de la famille, qu'il avait des lectures et des intérêts intellectuellement complexes (et s'y consacrait plusieurs heures par jour, voire toute une nuit si un sujet l'intéressait), qu'il effectuait toutes les tâches de sa vie quotidienne (faire les courses, faire son ménage, préparer son repas, sortir prendre des cafés, marcher, aller nager en été, sortir le soir parfois tard, etc.), qu'il avait tissé une nouvelle relation sentimentale investie, qu'il s'occupait de sa mère âgée et la secondait dans les travaux à faire pour les deux appartements de la maison familiale, qu'il bricolait et qu'il voyait des amis. En d'autres termes, même si l'expertise ne suit pas exactement l'évaluation normative et structurée selon l'ATF <ref-ruling> (<ref-ruling>), la doctoresse G._ a constaté que le recourant était plutôt très actif (intellectuellement et physiquement), mais voulait donner l'image de quelqu'un d'incapable et de malade, n'ayant pas les moyens psychiques d'être actif et dynamique. Indépendamment de la question des déclarations du recourant concernant les séances de TMS, les premiers juges pouvaient donc retenir sans arbitraire que l'experte avait mis en évidence des éléments pertinents et convaincants en faveur de l'existence d'une atteinte à la santé qui n'a pas d'effet sur la capacité de travail du recourant sur le plan psychique.
4.2. L'appréciation de la doctoresse G._ est par ailleurs corroborée en grande partie par les conclusions des autres médecins qui se sont prononcés. Le docteur L._ a noté que l'état psychologique du recourant dépendait "en grande partie de facteurs psycho-sociaux", soit de facteurs extérieurs à l'assurance-invalidité, tandis que les doctoresses J._ et K._ ont fondé l'incapacité de travail du recourant notamment sur ses difficultés interpersonnelles et une désinsertion socioprofessionnelle de très longue date. Les doctoresses J._ et K._ ont ajouté de plus qu'elles n'observaient pas d'éléments en faveur d'un diagnostic d'épisode dépressif ou trouble anxieux spécifique, les symptômes anxieux et dépressifs présentés par le recourant "pouvant s'inscrire dans les perturbations typiques de l'affectivité présentées par des patients souffrant d'un trouble de la personnalité" (avis du 17 juillet 2018). A l'inverse de ce que soutient le recourant, la doctoresse G._ a enfin dûment discuté les diagnostics posés par les docteurs C._ et I._, notamment celui de trouble de la personnalité mixte mentionné par le docteur C._ (puis par les docteurs L._, J._ et K._), et exposé les motifs pour lesquels elle retenait avec le docteur I._ uniquement des traits de personnalité (et non pas un trouble de la personnalité). Dans la mesure où l'experte a confirmé les traits de personnalité mis en évidence par l'ancien psychiatre traitant après plusieurs années de suivi spécialisé, on ne saisit pas à la lecture du recours en quoi l'appréciation de la doctoresse G._ serait remise en cause par l'avis du docteur I._ du 15 juillet 2011. De tels traits de personnalité signifient pour le surplus que les symptômes constatés n'étaient pas suffisants pour retenir l'existence d'un trouble spécifique de la personnalité (arrêt 9C_756/2018 du 17 avril 2019 consid. 5.2.2 et les références). Aussi, les traits de personnalité mis en évidence chez le recourant n'ont pas valeur de maladie psychiatrique et ne peuvent dans le cas présent fonder une incapacité de travail en droit des assurances (art. 4 al. 1 LAI et art. 8 LPGA). Il n'y a pas lieu de s'écarter de l'appréciation des premiers juges.
5.
C'est finalement en vain que le recourant relève que le docteur M._ a fondé le 16 décembre 2018 ses conclusions sur des examens radiographiques postérieurs à l'avis du médecin du SMR du 11 août 2016. Le simple fait que le médecin disposait d'un bilan radiographique plus récent que celui remis au médecin du SMR en 2016 n'établit nullement que les premiers juges auraient suivi de manière arbitraire les conclusions du docteur F._. Pour qu'il en aille différemment, il appartient à la partie recourante de mettre en évidence des éléments objectivement vérifiables qui auraient été ignorés par le médecin du SMR ou qui établiraient le caractère incomplet de la documentation médicale de 2016. Or le recourant ne met en évidence aucun élément dans ce sens. Outre qu'il n'a pas jugé utile de produire en instance cantonale les bilans radiographiques mentionnés dans l'avis du 16 décembre 2018, il ne discute pas l'appréciation des premiers juges selon laquelle le docteur M._ a procédé à une évaluation divergente d'un état de fait clairement posé sur le plan médical. Pour le surplus, les premiers juges n'ont pas indiqué que les conclusions du docteur M._ étaient sujettes à caution car il suivait le recourant depuis dix mois, mais qu'elles étaient sujettes à caution car le médecin se prononçait sur la capacité de travail du recourant depuis 2016 alors qu'il le suivait depuis le 20 mars 2018 seulement.
6.
Mal fondé, le recours doit être rejeté.
Vu l'issue de la procédure, les frais judiciaires sont à la charge du recourant (art. 66 al. 1 LTF). Le recourant sollicite cependant l'assistance judiciaire pour l'instance fédérale. Dès lors que les conditions en sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui est accordée. L'attention du recourant est attirée sur le fait qu'il devra rembourser la Caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (art. 64 al. 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée et Maître Jean-Michel Duc est désigné comme avocat d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker