Faits :
A.
A.a. A._ a requis des prestations de l'assurance-invalidité le 27 novembre 1996. Dans un rapport du 25 mars 1997, les docteurs B._ et C._, spécialistes en psychiatrie et psychothérapie, ont attesté que l'assuré était incapable de travailler à 100 % probablement depuis 1992 et posé les diagnostics d'épisode dépressif sévère avec symptômes psychotiques, de troubles schizotypiques, et de status après gastrectomie des deux tiers en 1992, libération de brides pour volvulus du grêle en 1994, et accident du poignet droit avec lésions neurologiques en 1994. Dans son rapport du 9 avril 1997, le docteur D._, spécialiste en médecine générale, a confirmé l'incapacité de travail totale de son patient. Sur la base des renseignements recueillis, l'office AI a accordé à l'assuré une rente entière d'invalidité à partir du 1 er janvier 1997 par décision du 13 octobre 1997.
A.b. Le 8 décembre 2000, A._ a informé l'administration qu'il souhaitait reprendre une activité à 50 % en qualité de chauffeur-livreur, ce qu'il a fait dès le mois de juin 2001. En conséquence, par décision du 8 septembre 2003, l'office AI a réduit la rente entière à une demi-rente dès le 1 er octobre 2003.
A.c. Dans le cadre d'une procédure de révision d'office, A._ a indiqué que son état de santé s'était aggravé depuis début 2009 (questionnaire du 14 septembre 2009); il travaillait désormais comme indépendant dans le domaine du transport, activité qu'il a toutefois cessée à partir du mois d'août 2009. Dans ses rapports du 6 novembre 2009 et 23 mai 2011, le docteur D._ a retenu une capacité de travail réduite à 30 % dès le mois de janvier 2010 et nulle en mai 2011. Mandaté par l'office AI, le docteur E._, spécialiste en médecine interne, a diagnostiqué un dumping syndrome précoce sur Billroth II, une hypoesthésie et parésie partielle ulnaire basse, un status après ménisectomie interne des genoux et des troubles de la personnalité; il a conclu que, sur le plan somatique, les troubles décrits étaient sans impact sur la capacité de travail de l'intéressé, pour autant que l'assuré pût bénéficier d'une pause d'au moins une heure pour les repas principaux.
L'office AI a pris en charge une mesure de réinsertion sous forme d'un stage à 50 % au centre F._ du 28 novembre 2012 au 1 er mars 2013. Le 5 février 2013, l'administration a prononcé la poursuite de la mesure jusqu'au 31 mai 2013. L'intéressé a toutefois été totalement incapable de travailler du 4 au 20 mars, puis du 3 avril au 31 mai 2013. Dans son rapport du 19 avril 2013, le centre F._ a relevé que l'état de santé de l'assuré s'était dégradé et qu'un emploi dans l'économie était difficilement envisageable.
Le 21 octobre 2013, l'administration a informé A._ qu'elle entendait supprimer son droit à la demi-rente. L'assuré a contesté ce projet de décision et demandé notamment la mise en oeuvre d'une expertise psychiatrique. Mandaté par l'office AI, le docteur G._, spécialiste en psychiatrie et psychothérapie a retenu comme diagnostic affectant la capacité de travail un épisode dépressif récurrent moyen sans symptômes psychotiques, actuellement en rémission partielle et un épisode dépressif léger; il a attesté une capacité de travail de 50 % dès le 1 er janvier 2011, 100 % du 1 er février 2013 au 31 août 2013, 50 % du 1 er septembre 2013 au 31 août 2014 et 100 % dès le 1 er septembre 2014 (rapport du 22 octobre 2014). Par projet de décision du 5 décembre 2014, l'office AI a à nouveau annoncé la suppression de la demi-rente, que l'assuré a contestée par courrier du 23 janvier 2015.
L'administration a accepté la mise en place d'un nouveau stage au centre F._ du 18 mai au 20 décembre 2015 (décision du 19 mai 2015). Dans un rapport du 29 juin 2015, la doctoresse H._, spécialiste en psychiatrie, a indiqué que l'assuré n'était pas apte à poursuivre la mesure. Le docteur D._ a également fait part de l'évolution défavorable de l'assuré depuis 2015 (courrier du 2 juillet 2015). Après une rencontre entre les différents intervenants, la mesure de réentraînement au travail a pris fin le 14 juillet 2015. Dans son rapport final du 16 juillet 2015, le centre F._ a mentionné que l'assuré avait travaillé à 50 % du 18 mai au 12 juin et à 56 % dès le 15 juin 2015 et que son état de santé avait continué de se dégrader.
Par décision du 17 mars 2016, l'office AI a prononcé la suppression de la rente d'invalidité à partir du 1 er mai 2015.
B.
Le 25 avril 2016, A._ a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et conclu au maintien de la rente entière, subsidiairement à la mise en oeuvre d'une expertise.
Par jugement du 22 décembre 2016, le tribunal cantonal a rejeté le recours.
C.
L'assuré interjette un recours en matière de droit public. Il demande l'annulation du jugement du 22 décembre 2016 et conclut au renvoi de la cause à la juridiction cantonale pour instruction complémentaire sous la forme d'une expertise, et nouvelle décision. Il sollicite par ailleurs d'être mis au bénéfice de l'assistance judiciaire pour les frais de justice.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées (cf. <ref-law>).
2.
Le litige a trait à la suppression, à partir du 1 er mai 2015, par voie de révision au sens de l'<ref-law>, de la demi-rente allouée au recourant. Il porte plus particulièrement sur la question de savoir si son état de santé s'est amélioré de manière à influencer la capacité de gain et donc le taux d'invalidité dans une mesure justifiant la suppression du droit à la rente.
Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels nécessaires à la solution du litige, de telle sorte qu'il suffit d'y renvoyer.
3.
La juridiction cantonale a comparé la situation déterminante lors de l'octroi de la demi-rente, allouée depuis octobre 2003 à la suite d'une reprise partielle d'activité, et celle qui prévalait au moment de la décision attaquée. Sur le plan psychique, elle a retenu que le rapport d'expertise du docteur G._ avait pleine valeur probante et permettait d'admettre une capacité de travail entière depuis le 1 er septembre 2014; elle a écarté les avis contraires du docteur D._, dès lors que seuls certains de ses rapports faisaient état de troubles psychiques, sans précision, et de la doctoresse H._, qui ne posait aucun diagnostic, n'avait pas effectué de tests et ne motivait pas ce qui l'amenait à retenir une incapacité totale de travail. Pour ce qui concerne les aspects somatiques, l'autorité cantonale a relevé que le dossier médical faisait état d'un certain nombre de diagnostics, sans que ceux-ci aient joué un rôle déterminant lors de l'octroi de la rente en 1997 ou de sa révision en 2003. L'expertise du docteur E._ avait en outre conclu à une pleine capacité de travail sur le plan somatique. Les éléments mis en lumière lors des stages effectués au sein du centre F._ en 2013 et 2015 ne démontraient pas une aggravation de l'état de santé de l'intéressé par rapport à cette expertise et étaient liés à des problèmes connus de longue date. Compte tenu de ces éléments, la cour cantonale a conclu que l'assuré disposait d'une capacité de travail entière dans une activité adaptée, ce qui conduisait à retenir une capacité de gain insuffisante pour maintenir le droit à une demi-rente.
4.
4.1. Dans un premier grief qu'il tire de l'établissement manifestement inexact des faits et de la violation de la maxime inquisitoire (art. 61 let. c LPGA), le recourant reproche à la juridiction cantonale d'avoir reconnu une pleine valeur probante au rapport d'expertise du docteur G._, malgré les critiques qu'il avait émises à son encontre.
4.2. Dans la mesure où le recourant renvoie aux arguments développés devant l'instance cantonale, le grief ne répond pas aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1 p. 288). Pour le reste, l'assuré se réfère de manière générale à l'avis contraire de ses médecins traitants ou à certains passages de l'expertise, sans mettre toutefois en évidence des éléments cliniques ou diagnostiques concrets et objectifs qui auraient été ignorés par l'expert et seraient suffisamment pertinents pour faire apparaître comme arbitraire l'appréciation des premiers juges. En particulier, on ne voit pas en quoi le fait que l'expert se soit référé au statut marital de l'assuré ou à son projet d'effectuer un stage auprès de la police suffirait à diminuer la force probante de ses conclusions; le recourant ne l'explique nullement. Au demeurant, comme l'a retenu à juste titre la juridiction cantonale, l'expert a dûment motivé son avis, fondé sur une anamnèse et un examen complet du dossier ainsi que sur les plaintes du recourant, et expliqué pourquoi il ne retenait plus les atteintes d'ordre psychiatrique qu'avaient constatées les docteurs B._ et C._ en 1997.
4.3.
4.3.1. Le recourant conteste également que les rapports de la doctoresse H._ n'aient pas été suffisamment complets pour avoir force probante, comme l'a retenu le tribunal cantonal.
4.3.2. On relèvera d'abord que, alors que la doctoresse H._ suit le recourant depuis octobre 2014 et que la procédure devant le tribunal cantonal a duré environ huit mois, l'urgence ne saurait expliquer pourquoi ce médecin s'est prononcé seulement de manière brève dans son unique rapport, daté du 29 juin 2015. La juridiction cantonale a relevé correctement que le médecin y décrivait les plaintes de son patient ainsi que certains symptômes, mais sans poser de diagnostic, en particulier sur le plan psychique, et sans expliquer ce qui l'amenait à retenir une incapacité totale de travail (sur les exigences de la jurisprudence en matière de force probante des rapports médicaux, cf. <ref-ruling> consid. 3b p. 352 ss). Dans ces circonstances, elle pouvait sans arbitraire considérer que cet avis ne suffisait pas à remettre en cause les conclusions de l'expert G._.
Par ailleurs, la seule existence d'avis médicaux contradictoires ne suffit pas à justifier la mise en oeuvre d'une expertise judiciaire. On rappellera que le tribunal peut en effet renoncer à accomplir certains actes d'instruction sans que cela n'entraîne une violation du droit d'être entendu ou du devoir d'administrer les preuves nécessaires (art. 61 let. c LPGA) s'il est convaincu que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (<ref-ruling> consid. 3 p. 157). En l'espèce, les premiers juges ont apprécié consciencieusement la valeur respective des documents médicaux au dossier pour déterminer si ceux-ci leur permettaient de se former une conviction et ont conclu qu'une expertise n'était pas nécessaire parce que les éléments en leur possession démontraient de manière convaincante que l'assuré disposait d'une capacité de travail entière. Le recourant ne discute pas de manière précise les motifs qui ont conduit les premiers juges à préférer l'avis des experts à celui du médecin traitant et ne démontre pas qu'ils auraient fait preuve d'arbitraire dans cette appréciation.
4.4.
4.4.1. Dans un autre grief, le recourant affirme que le tribunal cantonal aurait omis d'apprécier le contenu des rapports du centre F._ dans la mesure où ceux-ci faisaient non seulement état d'une problématique somatique, mais aussi de sa fragilité psychique. Les responsables du centre auraient ainsi constaté que malgré les efforts qu'il avait fournis, la santé du recourant s'était dégradée, en particulier lors du second stage effectué en 2015, et que la poursuite de cette mesure était impossible. Selon le recourant, le tribunal cantonal ne pouvait ignorer ces éléments; ceux-ci auraient dû le conduire à ordonner une expertise judiciaire, laquelle aurait permis de faire le lien entre l'état somatique du recourant et ses troubles psychiques.
4.4.2. Comme le relève le recourant, les renseignements recueillis à l'occasion d'un stage professionnel sont pertinents pour apprécier la capacité de travail d'un assuré, doivent être appréciés par le juge et, lorsqu'ils divergent des appréciations médicales au dossier, peuvent justifier un complément d'instruction (cf. arrêt 9C_512/2013 du 16 janvier 2014 consid. 5.2.1 et les arrêts cités). En l'espèce, les responsables du centre F._ ont certes souligné qu'ils percevaient l'assuré comme psychologiquement très fragile, que celui-ci avait exprimé des idées noires et que son manque de résistance psychique expliquait aussi ses performances insuffisantes (rapport du 16 juillet 2015, p. 2 et 6). Ces éléments ne démontrent toutefois pas l'existence de symptômes psychiatriques justifiant une réduction de la capacité de travail et ressortaient en outre également de l'expertise du docteur G._ en lien avec un épisode dépressif récurrent, dont la sévérité avait varié dans le temps (cf. ég. rapport du Service médical régional de l'assurance-invalidité du 2 décembre 2015). Dans ces circonstances, la juridiction cantonale n'a pas fait preuve d'arbitraire en renonçant à ordonner une expertise psychiatrique judiciaire (sur l'appréciation anticipée des preuves, cf. supra 4.3.2).
5.
Le recourant voit ses conclusions rejetées, de sorte qu'il doit en principe supporter les frais de justice et ses propres dépens (art. 66 al. 1 et 68 al. 1 LTF). Il a toutefois déposé une demande d'assistance judiciaire limitée aux frais de justice. Dès lors que les conditions d'octroi en sont réalisées, il convient de lui accorder l'assistance judiciaire dans la mesure requise (art. 64 al. 1 et 2 LTF). Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal fédéral s'il se trouve ultérieurement en mesure de le faire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire limitée aux frais de justice est admise. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 avril 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Hurni