Faits :
A.
A.a. A._ a travaillé en qualité de machiniste-verrier. Souffrant des suites d'une intervention chirurgicale (douleurs lombaires), il a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) le 8 septembre 1995. Se fondant sur les informations recueillies au cours de l'instruction, notamment auprès du docteur B._, médecin traitant et spécialiste en médecine du travail et médecine interne générale (rapports des 17 mai et 29 juillet 1996), l'office AI a octroyé à l'assuré une rente entière d'invalidité dès le 1 er octobre 1995 (décision du 11 novembre 1996).
A.b. A l'occasion de révisions initiées en 1997, 2001, 2005 et 2010, le droit à la rente a été maintenu (communications des 15 janvier 1998, 2 octobre 2001, 15 décembre 2005 et 22 avril 2010).
A.c. Le 30 avril 2011 à C._, les inspecteurs du "Contrôle des chantiers de la construction dans le canton de Vaud" ont constaté la présence de A._ sur un chantier alors qu'il effectuait des travaux de jardinage en tant que faux indépendant (cf. rapport de contrôle n° xxx remis le 23 mai 2011 à l'office AI). L'administration a suspendu, par voie de mesures provisionnelles, le versement de la rente d'invalidité avec effet au 30 juin 2011 (décision du 30 mai 2011, confirmée le 27 février 2012), au motif que l'assuré avait violé son obligation d'annoncer sans délai tout changement important pouvant avoir une influence sur le droit aux prestations. Les recours déposés par A._ contre les décisions des 30 mai 2011 et 27 février 2012 auprès de la juridiction cantonale ont été rejetés et celui déposé auprès du Tribunal fédéral a été déclaré irrecevable (arrêt 9C_881/2012 du 27 décembre 2012).
A.d. Au même moment, l'office AI a ouvert une nouvelle procédure de révision (questionnaire complété le 9 juin 2011). Il a mandaté la Clinique D._ pour qu'elle mette en oeuvre une expertise pluridisciplinaire. Les docteurs E._, spécialiste en médecine physique et réhabilitation, et F._, spécialiste en médecine interne et rhumatologie, ont retenu les diagnostics ayant une répercussion sur la capacité de travail de lombosciatalgies bilatérales chroniques (M 54.4) ainsi que d'hémilaminectomie et discectomie L5-S1 droite le 25 novembre 1994 pour un syndrome radiculaire droit irritatif et déficitaire sur le plan sensitif, prédominant dans le territoire S1 (Z98.9). Au vu des limitations fonctionnelles observées, les experts ont constaté une capacité totale de travail dans une activité adaptée, dès le 30 août 2012 (rapport du 23 octobre 2012). L'administration a également soumis l'assuré à un stage d'observation professionnelle auprès du Centre G._, à l'issue duquel les responsables ont conclu qu'au vu du faible taux de présence ainsi que du comportement plaintif et démonstratif de A._, ils n'étaient pas en mesure de se prononcer sur la capacité résiduelle de travail (rapports des 13 mai et 28 juin 2013).
Par décision du 30 juillet 2014, l'office AI a supprimé la rente entière d'invalidité avec effet rétroactif au 1 er mai 2011, malgré les objections formulées par l'assuré contre le projet de décision du 22 juillet 2013 et les avis des docteurs B._ (rapports des 17 septembre 2013, 13 décembre 2013 et 5 mai 2014) et H._ (rapport du 23 juin 2014), spécialiste en psychiatrie et psychothérapie, qu'il a produits. Par décision du 13 août 2014, l'administration a requis de A._ la restitution du montant de 2'850 fr. (2 x 1'425 fr.) à titre de prestations versées à tort en mai et juin 2011.
B.
L'assuré a recouru contre ces décisions auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 29 juin 2015, la juridiction cantonale l'a débouté.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la constatation de son droit à des prestations sous forme de rente complète de l'assurance-invalidité, avec effet rétroactif au 1 er juillet 2011 et sans obligation de restituer aucune prestations, ainsi qu'au renvoi du dossier de la cause à l'office intimé pour complément d'instruction et nouvelle décision dans le sens des considérants. Il produit par ailleurs un avis du docteur B._ (rapport du 31 août 2015).

Considérant en droit :
1.
1.1. Saisi d'un recours en matière de droit public (<ref-law>), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (<ref-law>) et statue sur la base des faits retenus par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (<ref-law>). Il examine en principe seulement les griefs motivés (<ref-law>) et ne peut pas aller au-delà des conclusions des parties (<ref-law>). Le recourant ne peut critiquer la constatation des faits importants pour le sort de l'affaire que si ceux-ci ont été établis en violation du droit ou de façon manifestement inexacte (<ref-law>).
1.2. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le recourant fait parvenir à l'instance fédérale un rapport du docteur B._ établi le 31 août 2015, soit postérieurement au jugement cantonal du 29 juin 2015. Ce nouveau moyen de preuve fait état d'un trouble somatoforme douloureux qui existe "depuis longtemps". Si cette pathologie existait avant la décision administrative litigieuse du 30 juillet 2014 - visant ainsi des faits ayant constitué l'objet de la procédure cantonale - la pièce nouvellement produite devrait être qualifiée de moyen de preuve nouveau ne résultant pas du jugement attaqué; les faits qui ressortent de ladite pièce auraient alors pu être démontrés auparavant (cf. ULRICH MEYER, in Basler Kommentar, Bundesgerichtsgesetz, 2 e éd. 2011, n° 22 ad <ref-law>). Si au contraire l'atteinte à la santé diagnostiquée est survenue après la décision administrative litigieuse du 30 juillet 2014, elle aurait alors dû faire l'objet d'une nouvelle décision administrative (<ref-ruling> consid. 2.1 p. 243 et les références). Dans les deux hypothèses, le rapport du docteur B._ du 31 août 2015 ne peut pas être pris en considération.
2.
Le litige porte sur le droit du recourant à une rente d'invalidité dans le contexte d'une procédure de révision (<ref-law>), en particulier sur le point de savoir si une amélioration de l'état de santé de l'assuré depuis le 11 novembre 1996 justifie la suppression de la rente à partir du 1 er mai 2011. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels nécessaires à la résolution du litige. Il suffit d'y renvoyer.
3.
En comparant la situation du recourant prévalant en 1996 (date de la dernière décision reposant sur un examen matériel des faits; <ref-ruling>) avec celle prévalant en 2014 (date de la décision litigieuse), la juridiction cantonale a constaté une amélioration de l'état de santé permettant à l'assuré d'exercer désormais une activité lucrative à 100 % dans une activité adaptée. Pour ce faire, elle s'est fondée sur l'expertise pluridisciplinaire de la Clinique D._ (rapport du 23 octobre 2012). Elle a notamment expliqué les raisons pour lesquelles elle avait écarté l'appréciation des docteurs B._ (en particulier les rapports des 13 décembre 2013 et 5 mai 2014) et H._ (rapport du 23 juin 2014). Elle a également relevé qu'aucune constatation ne pouvait être faite sur la base des remarques faites par les responsables du stage effectué au Centre G._ (rapports des 13 mai et 28 juin 2013). Se référant à l'instruction menée au sujet de la présence du recourant en avril 2011 sur un chantier à C._, elle a observé que l'assuré avait failli à l'obligation de renseigner qui lui incombait, de sorte que la suppression de la rente prenait effet de manière rétroactive à partir du 1 er mai suivant. En application de ces différents éléments, elle a confirmé la décision de l'office intimé de supprimer la rente d'invalidité dès le 1 er mai 2011 ainsi que celle d'exiger la restitution des prestations servies à tort en mai et juin 2011.
4.
Le recourant se limite d'une part à exprimer ses doutes quant à la pertinence des conclusions de l'expertise pluridisciplinaire, en mentionnant que ses atteintes ont été fortement minimisées et que le séjour à la Clinique D._ n'a duré que trois jours. Il se contente également de déclarer que l'avis de la doctoresse H._ a été injustement écarté. Quant à l'appréciation du docteur B._, elle aurait été évincée par un avis lapidaire et non argumenté du docteur I._ du Service médical régional de l'assurance-invalidité (SMR; rapport du 24 juin 2014). Il reproche d'autre part au tribunal cantonal d'avoir mal interprété le rapport qui a fait suite au stage d'observation professionnelle auprès du Centre G._ ainsi que sa présence sur le chantier où étaient exécutés des travaux de débroussaillage par un compatriote qu'il accompagnait.
4.1. Les griefs de l'assuré sont infondés. Le recourant n'adresse en effet qu'une vague critique à la juridiction cantonale quant à l'appréciation que cette dernière a faite de l'expertise du 23 octobre 2012, sans expliquer en quoi les conclusions médicales seraient erronées. Les premiers juges ont mentionné de manière convaincante non seulement les raisons qui les ont menés à considérer cette expertise comme probante (étude des pièces du dossier, prise en considération des plaintes du recourant, examen clinique, rapport détaillé et cohérent tant sur la capacité de travail résiduelle que sur les limitations fonctionnelles) mais aussi celles qui les ont conduits à réfuter l'avis des docteurs H._ et B._. La spécialiste en psychiatrie et psychothérapie a procédé à une appréciation isolée et insuffisamment détaillée, dans la mesure où elle indiquait uniquement le diagnostic et la capacité de travail, sans aucune explication. Quant au médecin traitant, la juridiction cantonale a fait mention de l'avis du docteur I._, dans la mesure où ce dernier indiquait, à juste titre, que le statut clinique décrit par le docteur B._ était superposable à celui figurant dans l'expertise pluridisciplinaire, laquelle revêtait valeur probante. Elle a aussi et surtout relevé que le médecin traitant n'apportait aucun élément nouveau qui n'aurait pas été pris en compte par les experts. Quant à la durée du séjour à la Clinique D._ (du 27 au 29 août 2012), elle ne saurait remettre en question la valeur probante du travail des médecins qui se sont prononcés. En effet, le rôle d'un expert consiste notamment à se faire une idée sur l'état de santé de l'assuré dans un délai relativement bref (arrêts 9C_812/2014 du 16 février 2015 consid. 4.1, 9C_482/2008 du 18 mai 2009 consid. 4.1 et I 1084/06 du 26 novembre 2007 consid. 4).
4.2. Les autres arguments du recourant ne résistent pas non plus à l'examen. C'est en vain que l'assuré s'appuie sur les remarques des responsables du stage d'observation professionnelle, se référant au fait qu'il "n'a[vait] pas pu être observé de façon contributive à l'étude de son cas". Or c'est en raison de son comportement, plaintif et démonstratif, qu'aucune conclusion quant à sa capacité de travail n'avait pu être prise. On ne voit par ailleurs pas en quoi cette constatation aurait dû influer sur la qualité des observations et des conclusions des experts de la Clinique D._. Finalement, lorsqu'il déclare que son interpellation sur le chantier est une affaire qui a été "montée en épingle", le recourant ne fait que substituer sa propre appréciation à celle de la juridiction cantonale et ne discute aucunement les considérants de cette dernière.
4.3. Au vu de ce qui précède, l'assuré n'expose pas en quoi les constatations des premiers juges seraient manifestement inexactes ou contraires au droit. Il n'y a donc pas lieu de s'écarter de leur appréciation motivée et convaincante de l'évolution positive de la situation du recourant ainsi que des effets de celle-ci sur la capacité de travail.
Le recours est partant mal fondé.
5.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (<ref-law>) qui ne peut prétendre des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 19 avril 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury