A.- Par jugement du 2 novembre 1981, le Tribunal de première instance du canton de Genève a prononcé le divorce de D._ et de M._, née S._. Aux termes de ce jugement, l'autorité parentale et la garde des enfants du couple - T._ et C._ - ont été attribuées à leur mère. En outre, le tribunal a ratifié la convention sur les effets accessoires du divorce signée par les parties, selon laquelle le père s'engageait à payer à son ex-épouse, à titre de part contributive à l'entretien de chacun de ses enfants, la somme mensuelle indexée de 300 fr. jusqu'à l'âge de 10 ans et de 400 fr. jusqu'à l'âge de 20 ans. Il était précisé que le père s'engageait à augmenter ce montant de 100 fr. lorsque son revenu mensuel atteindrait 4000 fr., puis 5500 fr. et, enfin, 7000 fr.
Par décision du 23 juin 1997, l'Office AI du canton de Vaud a alloué à D._ une rente entière d'invalidité à partir du 1er août 1993. En outre, par des décisions du 13 octobre 1997, notifiées à T._ et C._, il a accordé des rentes pour enfants dès le 1er août 1993.
Sur demande de leur mère, la Caisse cantonale vaudoise
de compensation (ci-après : la caisse) a versé les rentes pour enfants, ainsi que leurs arriérés, en mains de la mère. D._ ayant contesté ce versement, la caisse lui a notifié, le 8 janvier 1999, que ce mode de procéder était conforme à la jurisprudence et qu'il lui était loisible, dans un délai de trente jours à compter de la notification de cette décision, de recourir contre le versement des rentes pour enfants en mains de son ex-épouse.
B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud, par son président, l'a rejeté par jugement du 7 octobre 1999.
C.- D._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant, sous suite de dépens, à ce que la caisse soit condamnée à lui payer un montant de 38 730 fr. - somme correspondant à la contribution à l'entretien de ses deux enfants versée par lui à son ex-épouse durant la période du 1er août 1993 au 30 avril 1996 - avec intérêt à 5 % l'an dès le 13 octobre 1997. En outre, il demande l'assistance judiciaire gratuite.
L'office AI et l'Office fédéral des assurances sociales ont renoncé à présenter des déterminations.
La caisse conclut au rejet du recours. D._ s'est exprimé sur cette écriture le 8 février 2001.

Considérant en droit :
1.- Le jugement entrepris indique l'Office de l'assurance-invalidité pour le canton de Vaud en tant que partie intimée au procès. En l'occurrence, c'est toutefois la caisse qui a versé les rentes pour enfants, ainsi que les arriérés, en mains de la mère, sur demande de cette dernière. C'est également la caisse qui a rendu la décision du 8 janvier 1999, par laquelle le versement des rentes pour enfants en mains de la mère a été confirmé. En instances tant cantonale que fédérale, la caisse apparaît donc comme la partie intimée et le jugement attaqué doit être rectifié d'office sur ce point.
2.- a) Le recourant se plaint d'une violation de son droit d'être entendu par le premier juge. Il allègue avoir reçu du tribunal, le 4 octobre 1999, une copie de la duplique de la caisse du 24 août 1999, sur laquelle il s'est déterminé par acte du 11 octobre suivant. Le jugement entrepris ayant été rendu le 7 octobre 1999, soit avant la réception de ladite détermination, son droit d'être entendu n'aurait pas été respecté.
Ce grief doit être examiné d'entrée de cause.
b) Selon l'art. 29 al. 2 de la Constitution fédérale du 18 avril 1999, les parties ont le droit d'être entendues. Cette disposition constitutionnelle ne contient pas une définition différente du droit d'être entendu consacré par la jurisprudence sous l'empire de la Constitution du 29 mai 1874. Cette jurisprudence reste donc toujours applicable en regard de l'art. 29 al. 2 Cst. (<ref-ruling> s. consid. 2a).
c) En l'espèce, le recourant a fait valoir ses moyens dans son mémoire de recours daté du 10 février 1999. Invité par la juridiction cantonale à déposer ses déterminations éventuelles sur la réponse de la caisse du 24 mars 1999, il a répliqué par mémoire du 29 juin suivant, document qu'il a par ailleurs complété par courrier du 13 août 1999. La caisse s'est exprimée sur ces écritures par duplique du 24 août 1999, laquelle a été dûment notifiée à l'intéressé.
Dès lors, celui-ci n'est fondé à se plaindre d'une violation de son droit d'être entendu que si les conditions de mise en oeuvre d'un échange d'écritures supplémentaire étaient réalisées. Or, tel n'est pas le cas en l'occurrence, du moment que par sa duplique du 24 août 1999, la caisse n'a pas fait valoir un point de vue nouveau et décisif, sur lequel le recourant n'avait pas encore eu l'occasion de s'exprimer (<ref-ruling> consid. 4b; confirmé dans l'arrêt non publié D. du 28 août 2000, 2P.134/2000, et au consid. 3b, non publié, de l'arrêt <ref-ruling>). Dans l'écriture en question, la caisse s'est limitée, en effet, à répondre aux griefs soulevés par le recourant dans sa réplique du 29 juin 1999.
Le grief de violation du droit d'être entendu par la juridiction cantonale se révèle ainsi mal fondé.
3.- Le litige porte sur le point de savoir si la caisse intimée était en droit de verser en mains de l'ex-épouse du recourant les rentes pour enfants avec effet rétroactif.
a) Dans sa version en vigueur jusqu'au 31 décembre 1996, aucune disposition de l'art. 35 LAI ne prévoyait - à la différence de l'art. 34 LAI en ce qui concerne la rente complémentaire - de versement à un tiers de la rente pour enfant. Mais le Tribunal fédéral des assurances, par une interprétation s'inspirant notamment de l'esprit de la loi et du but visé par la rente pour enfant, a admis dans certains cas le versement direct de cette rente en mains du tiers qui s'occupe effectivement de l'entretien et de l'éducation de l'enfant, alors même que les conditions - strictes - de l'art. 76 al. 1 RAVS (auquel renvoie l'art. 84 RAI) n'étaient pas remplies. C'est ainsi que, sauf décision contraire du juge civil, la rente pour enfant à laquelle avait droit un père invalide devait, sur demande, être payée en mains de l'épouse séparée ou divorcée lorsque cette dernière détenait l'autorité parentale, que l'enfant n'habitait pas avec le père invalide et que l'obligation de celui-ci envers celui-là se limitait au versement d'une contribution aux frais d'entretien. Il s'agissait là de cas où la situation de droit était claire et en règle ordinaire stable; les principes ainsi posés ne pouvaient être étendus à des situations éminemment labiles et provisoires, où le juge civil pouvait en tout temps prendre les mesures nécessaires à la sauvegarde des intérêts de l'union conjugale (<ref-ruling> consid. 3, 101 V 210 consid. 2, 98 V 216; SVR 1999 IV no 2 p. 5 consid. 2a; cf. aussi Thomas Geiser, Das EVG als heimliches Familiengericht?, in Mélanges pour le 75e anniversaire du TFA, p. 362; Michel Valtério, Droit et pratique de l'assurance-invalidité [Les prestations], p. 241).
Selon la jurisprudence, l'obligation du parent bénéficiaire de rente se réduit à une contribution aux frais d'entretien si les prestations à sa charge n'atteignent pas les normes définies par H. Winzeler en collaboration avec l'Office de la jeunesse du canton de Zurich (SVR 1999 IV no 2 p. 6 consid. 2a; voir aussi à propos de ces normes : <ref-ruling>, relatif au droit de la femme divorcée à la rente complémentaire pour épouse selon l'art. 34 al. 2 aLAI; <ref-ruling> consid. 2b et la jurisprudence citée, concernant la notion d'enfant recueilli). Les normes en question ont été adaptées périodiquement par ledit office en fonction du renchérissement.
Depuis le 1er janvier 1997, l'art. 35 al. 4 in fine LAI attribue au Conseil fédéral le pouvoir d'édicter des prescriptions complémentaires sur le versement de la rente pour enfant, notamment pour les enfants de parents séparés ou divorcés. Le Conseil fédéral, à ce jour, n'a pas fait usage de cette délégation de compétence, de sorte que les principes jurisprudentiels ci-dessus exposés conservent toute leur valeur (SVR 2000 IV 22, p. 65 s. consid. 2a).
b) En l'espèce, il est constant que les prestations à
la charge du recourant en vertu du jugement de divorce sont largement inférieures aux normes susmentionnées. Dans ces conditions, ses obligations envers ses enfants se réduisent à une contribution aux frais d'entretien et la caisse intimée était en droit de verser les rentes pour enfants en mains de l'ex-épouse qui détenait l'autorité parentale et dont les enfants n'habitaient pas avec le père.
Au demeurant, le recourant ne demande pas le versement
en ses mains des rentes pour enfants, mais conclut au remboursement du montant correspondant à sa contribution à l'entretien de ses enfants versée à son ex-épouse. Comme le relève le jugement entrepris, auquel il suffit de renvoyer sur ce point, une telle prétention ne relève pas du juge des assurances sociales mais du juge civil.
4.- Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé dans la mesure où il est recevable.
5.- Le recourant a demandé à bénéficier de l'assistance judiciaire gratuite. Cette requête est toutefois sans objet, du moment que la procédure est gratuite (art. 134 OJ) et que le recourant n'est pas représenté par un avocat.

Par ces motifs, le Tribunal fédéral des assurances
p r o n o n c e :
I. Dans la mesure où il est recevable, le recours est re-
jeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tri-
bunal des assurances du canton de Vaud, à l'Office de
l'assurance-invalidité pour le canton de Vaud et à
l'Office fédéral des assurances sociales.
Lucerne, le 13 février 2001
Au nom du
Tribunal fédéral des assurances
p. le Président de la IIe Chambre :
Le Greffier :