A.- B._, bénéficie d'une rente entière de l'assurance-invalidité, assortie d'une rente pour enfant en faveur de sa fille I._, née le 15 juin 1974, étudiante à l'école A._.
Par décision du 29 mars 1999, l'Office AI du canton de Vaud a supprimé le droit à la rente pour enfant dès le
31 mars suivant, motif pris que la fille de l'assuré achevait ses études à cette date.
B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement de son président, du 4 juin 1999.
C.- B._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant à l'octroi d'une rente pour enfant pour la période des mois d'avril à juin 1999.
L'office intimé déclare n'avoir aucune remarque à formuler au sujet du recours. De son côté, l'Office fédéral des assurances sociales n'a pas présenté de détermination.

Considérant en droit :
1.- Le litige porte sur le point de savoir si la fille du recourant accomplissait une formation durant la période du 1er avril au 30 juin 1999, mois au cours duquel elle a atteint l'âge de 25 ans révolus, ce qui entraîne l'extinction du droit à la rente pour enfant (cf. <ref-law>, en relation avec l'<ref-law>).
2.- Par une attestation du 11 mars 1998, l'école A._ a indiqué qu'I. _ était inscrite dans cette école dès le 17 mars suivant pour y suivre le deuxième semestre d'étude en vue de l'obtention d'un diplôme commercial, dont les épreuves d'examen auraient lieu au mois de mars 1999. Toutefois, la prénommée a échoué à cet examen. Elle a ensuite envisagé de suivre un cours de langue dispensé par l'Ecole professionnelle pour la formation continue. L'administration ayant considéré que ce cours - qui n'avait lieu qu'un jour par semaine de 18.15 heures à 20.50 heures - ne constituait pas une formation au sens de l'<ref-law>, la fille de l'assuré a exprimé le désir de suivre, à partir du 21 mai 1999, un cours d'informatique dispensé par l'école précitée. Toutefois, selon une attestation délivrée par cette école, l'inscription d'I. _ a été momentanément écartée en raison du nombre élevé de candidats déjà inscrits et n'a pu être prise en considération que pour la période de cours suivante, à partir de la fin du mois d'octobre 1999.
Cela étant, il n'y pas de motif de mettre en doute le point de vue de la juridiction cantonale, selon lequel rien ne permet de considérer que la fille de l'assuré accomplissait, durant la période du 1er avril au 30 juin 1999, une formation au sens de l'<ref-law>.
Certes, le recourant produit en instance fédérale des pièces d'où il ressort que sa fille a obtenu un diplôme de l'A. _ au mois de février 2000. On ne peut toutefois inférer de cette circonstance que l'intéressée suivait une formation durant la période litigieuse. En effet, au mois de mars 1999 déjà, elle avait suivi les deux semestres de cours requis pour se présenter aux examens de diplôme et il n'est nulle part allégué qu'elle a continué de suivre, durant la période litigieuse, les cours dispensés par l'A. _.
Vu ce qui précède, l'office intimé était en droit, par sa décision du 29 mars 1999, de supprimer le droit de l'assuré à la rente pour enfant à partir du 31 mars suivant. Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 15 septembre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :