Caisse cantonale vaudoise de compensation AVS-AI-APG, place Chauderon 7, Lausanne, intimée, et Tribunal des assurances du canton de Vaud, Lausanne A.- D'origine slovaque, B._ est entré en Suisse dans le canton de Neuchâtel comme réfugié politique, le 8 juillet 1981. En 1986, il a été mis au bénéfice d'une rente ordinaire de l'assurance-invalidité. Après l'obtention d'un permis d'établissement, B._ a transféré son domicile dans le canton de Vaud. La Caisse cantonale neuchâteloise de compensation a aussi- tôt transmis son dossier à la Caisse cantonale vaudoise de compensation (ci-après : la caisse), qui a repris le verse- ment des rentes et a par ailleurs octroyé à l'assuré, par décision du 22/29 avril 1994, des prestations complémentai- res à l'AI à partir du 1er avril 1994. Dans une communica- tion du 25 juin 1996, l'Office fédéral des réfugiés a fait savoir à la caisse que le statut de réfugié de B._ était révoqué depuis le 17 janvier 1989. Sur la base de cette information, la caisse a suspendu le versement des prestations complémentaires à l'AI à compter du 1er août 1996, en indiquant à B._ que la perte de son statut de réfugié avait pour conséquence de supprimer son droit à la rente AI et aux prestations complémentaires en décou- lant, et que par ailleurs, vu qu'il n'avait pas annoncé à l'administration ce changement dans sa situation personnel- le, il serait vraisemblablement tenu de restituer les ren- tes d'invalidité et les prestations complémentaires versées à tort, sous réserve d'une éventuelle remise de cette obli- gation. Par décision du 18 décembre 1997, l'Office de l'assu- rance-invalidité pour le canton de Vaud (ci-après : l'offi- ce) a exigé de B._ la restitution des rentes AI indûment touchées de janvier 1993 à juillet 1997. Suite au recours du prénommé, l'office a proposé en cours de procé- dure d'annuler sa décision du 18 décembre 1997, motif pris que le droit de demander la restitution des rentes AI était déjà périmé lorsqu'elle avait rendu ladite décision. Le Tribunal des assurances du canton de Vaud a suivi la propo- sition de l'office et a classé le recours après l'avoir déclaré sans objet (jugement du 5 mai 1999). Dans l'intervalle, la caisse a également réclamé à B._ la restitution des prestations complémentaires à l'AI versées à tort du 1er avril 1994 au 31 juillet 1996, jusqu'à concurrence du montant de 38 255 fr. (décision du 11 mars 1998). B.- B._ a recouru contre cette dernière déci- sion, en faisant valoir qu'à l'instar de l'office, la caisse était déchue du droit d'exiger la restitution des prestations versées à tort, en raison de la péremption de ce droit. Par jugement du 2 septembre 1999, le Tribunal des assurances du canton de Vaud a rejeté le recours. C.- B._ interjette recours de droit administra- tif contre ce jugement. Reprenant son argumentation de pre- mière instance, il conclut sous suite de dépens à la libé- ration du montant réclamé par la caisse. Il demande égale- ment le bénéfice de l'assistance judiciaire gratuite. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas dé- terminé. Considérant en droit : 1.- Le jugement entrepris expose correctement les dis- positions légales et réglementaires (art. 47 LAVS; art. 27 al. 1 OPC-AVS/AI) ainsi que la jurisprudence applicables au présent cas, de sorte qu'on peut renvoyer à ses considé- rants. Aux termes de la jurisprudence, le délai de péremption annal de l'art. 47 al. 2 LAVS ne commence à courir que lorsque l'administration est informée de toutes les cir- constances qui sont déterminantes dans le cas concret et dont la connaissance permet de conclure à l'existence, dans son principe et son étendue, d'un droit d'exiger la resti- tution de prestations à l'égard d'une personne déterminée. Pour que la caisse de compensation puisse s'estimer en droit d'exiger la restitution de prestations, il ne suffit donc pas qu'elle ait seulement connaissance de faits qui pourraient éventuellement créer un tel droit, ou que ce droit soit établi quant à son principe mais non quant à son étendue; il en va de même si la personne tenue à restitu- tion n'est pas précisément connue (ATF 112 V 181 con- sid. 4a, 111 V 17 consid. 3; RCC 1989 p. 596 consid. 4b). 2.- a) Selon les premiers juges, le moment où la caisse de compensation a eu, au sens de l'art. 47 al. 2 LAVS, "connaissance du fait" fondant la demande de resti- tution, correspond à celui où l'office a exigé du recourant la restitution des rentes AI, soit le 18 décembre 1997.