A.- Né en 1982, L._ a bénéficié dès sa naissance de diverses prestations de l'assurance-invalidité, en particulier des contributions aux frais de soins à domicile.
Par décision du 23 mai 1997, l'Office de l'assuranceinvalidité pour le canton de Vaud (OAI) a accordé à l'assuré une contribution aux frais d'école en externat pour la période allant du 1er janvier 1988 au 31 juillet 1997. En raison de l'octroi de ces subsides, il a, dans la même décision, réduit de moitié la contribution aux frais de soins à domicile.
B.- L._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Par jugement du 12 février 1999, la juridiction cantonale a rejeté le recours.
C.- L._ interjette recours de droit administratif contre ce jugement dont il demande la réforme et conclut à l'octroi de contributions aux frais de soins à domicile, sans réduction. Se prévalant en outre d'une violation du principe de célérité, il invite le Tribunal fédéral des assurances à transmettre le dossier à l'Etat de Vaud d'une part et à la Confédération d'autre part, afin qu'ils lui allouent une indemnité équitable pour retard injustifié.
L'OAI conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales (OFAS).
Considérantendroit :
1.- Comme en instance cantonale, le litige porte en premier lieu sur la légalité de la réduction de la contribution aux frais de soins à domicile.
2.- a) L'assurance-invalidité peut prendre en charge, en tout ou en partie, les frais supplémentaires occasionnés par le traitement à domicile (art. 14 al. 3 deuxième phrase LAI).
Edicté sur la base de l'<ref-law>, l'<ref-law>, dans sa teneur en vigueur depuis le 1er juillet 1991 applicable au cas d'espèce (la réduction opérée ne portant pas sur la période antérieure), dispose que lorsque les soins à domicile dus à l'invalidité excèdent en intensité et en temps, durant plus de trois mois, ce que l'on peut raisonnablement exiger, l'assurance rembourse les frais occasionnés par l'engagement de personnel d'assistance supplémentaire jusqu'à concurrence d'une limite à déterminer dans le cas d'espèce (al. 1). Si les soins dus à l'invalidité excèdent deux heures par jour en moyenne, ou si une surveillance constante est nécessaire, on admettra que l'assistance raisonnablement exigible est dépassée (al. 2). La limite du remboursement est déterminée en fonction de la durée quotidienne des soins nécessaires dans le cas d'espèce (al. 3 première phrase). L'assistance est considérée comme peu intense, lorsque des soins intensifs d'une durée moyenne de deux heures au moins ou une surveillance constante sont quotidiennement nécessaires (al. 4 let. d); elle est considérée d'intensité moyenne, lorsque des soins intensifs d'une durée moyenne de quatre heures au moins sont quotidiennement nécessaires (al. 4 let. c).
Selon la jurisprudence, sont considérés comme soins à domicile (traitement et soins de base) ceux prodigués dans le cadre des mesures des art. 12 ou 13 LAI (<ref-ruling> consid. 3a).
Seuls les frais effectifs peuvent être remboursés, ce qui découle de l'<ref-law> ("frais supplémentaires") et de la lettre de l'<ref-law> ("frais occasionnés par l'engagement de personnel d'assistance supplémentaire"). Il en résulte que ces frais ne sont remboursés, en principe, à hauteur du degré d'assistance reconnu, que sur la base de justificatifs relatifs au personnel supplémentaire rétribué (Directives de l'OFAS sur les soins à domicile [<ref-law>], du mois de juillet 1992, n. 2.1, 2.4 et 4.3). Toutefois, selon la jurisprudence, le droit à la substitution de la prestation trouve application dans le cas de parents ayant prodigué des soins au sens de l'<ref-law>, en lieu et place de tiers, pour autant que toutes les conditions de ce droit soient remplies (<ref-ruling> sv. consid. 4a; VSI 1997 p. 256 sv. consid. 3).
b) Dans le cas particulier, ainsi que cela ressort d'un document du 22 décembre 1993, l'intimé a octroyé au recourant, à compter du 5 novembre 1990, des contributions pour frais supplémentaires de soins à domicile en raison de l'assistance de degré intense fournie par ses parents (cf. <ref-law>). Cette décision se fondait en fait sur l'enquête effectuée sur mandat de l'OAI par une déléguée de Pro Infirmis. Il ressortait de son rapport du 7 décembre 1993 que le temps supplémentaire nécessaire à l'accomplissement des soins quotidiens était de 7 heures et que les 7 heures restantes, non comprises dans le décompte, étaient consacrées à la scolarisation et aux sorties. A la suite d'une demande de révision, la déléguée de Pro Infirmis a effectué une nouvelle enquête à domicile. Selon son rapport du 6 mars 1995, auquel se réfère l'intimé dans une communication au mandataire de l'assuré du 22 mai 1995, le total du temps supplémentaire était alors de 11 heures 40 min. , le solde du temps à disposition (8 heures 35 min. compte tenu d'une durée moyenne de sommeil de 6 heures) étant consacré à la scolarisation et aux sorties. Sur la base de ce rapport, l'OAI, dans une communication du 5 juillet 1995 au mandataire de l'assuré, l'a avisé qu'elle lui allouait des contributions pour assistance de degré très intense avec effet dès le 1er janvier 1995 (cf. <ref-law>).
3.- a) Selon l'<ref-law> (dans sa version en vigueur depuis le 1er janvier 1996), des subsides sont alloués pour la formation scolaire spéciale des assurés éducables qui n'ont pas atteint l'âge de 20 ans révolus mais qui, par suite d'invalidité, ne peuvent suivre l'école publique ou dont on ne peut attendre qu'ils la suivent. La formation scolaire spéciale comprend la scolarisation proprement dite ainsi que, pour les mineurs incapables ou peu capables d'assimiler des disciplines élémentaires, des mesures destinées à développer soit leur habileté manuelle, soit leur aptitude à accomplir les actes ordinaires de la vie ou à établir des contacts avec leur entourage.
Par ailleurs, selon la jurisprudence la plus récente, il existe également un droit à des prestations de l'assurance-invalidité lorsque la formation scolaire spéciale est assumée par le père ou la mère de l'assuré et que les conditions matérielles et formelles (conditions de reconnaissance) sont réalisées (<ref-ruling>).
b) En l'espèce où la formation spéciale de l'assuré a été assumée par sa mère, le droit à des subsides a été finalement reconnu par l'OAI, toutes conditions matérielles et formelles étant considérées comme réunies.
Dans sa décision du 23 mai 1997 portant sur la contribution aux frais d'école en externat (<ref-law>) pour la période allant du 1er janvier 1988 au 31 juillet 1997, l'intimé a déduit du montant total de ces contributions, une partie des sommes déjà versées pour les soins à domicile à partir du 1er juillet 1991.
Il fondait son calcul sur les Directives sur les soins à domicile de l'OFAS (Annexe 3 à la circulaire concernant les mesures médicales de réadaptation de l'assurance-invalidité [CMRM], valable dès le 1erjanvier1995). Selonlech. m.13,silapersonnerequérantlessoinsséjournedurablementàlamaison(parex. : enfants en âge préscolaire; handicapés ne fréquentant pas une école spéciale), les limites maximales du remboursement selon l'<ref-law> sont applicables. En revanche, selon le ch. m. 14, lorsque la personne requérant les soins ne séjourne pas durablement à la maison, on applique seulement une quote-part des limites citées sous ch. m. 13. Cette quote-part équivaut au nombre de jours du mois pris en compte. Les jours entamés (fréquentation d'une école spéciale en qualité d'externe, jours de trajets aller et retour entre l'école et la maison) comptent comme demi-jour.
Il en résultait qu'au regard des 234 jours de scolarité à prendre en compte par année, la contribution aux frais de soins était réduite de moitié pour ces jours-là.
4.- a) Après un examen minutieux, les premiers juges ont considéré que le ch. m. 14 de la directive précitée était conforme à l'esprit de la loi et à son but. Dès lors que l'assuré était scolarisé pendant une partie de la journée, il ne se justifiait pas, pour la période correspondante, de lui accorder une contribution aux frais de soins.
En instance fédérale, le recourant soutient que cette disposition de la directive est contraire à la loi.
b) Le juge des assurances sociales n'est pas lié par les ordonnances administratives. Il ne doit en tenir compte que dans la mesure où elles permettent une application correcte des dispositions légales dans un cas d'espèce. Il doit en revanche s'en écarter lorsqu'elles établissent des normes qui ne sont pas conformes aux règles légales applicables (<ref-ruling> consid. 4a, 122 V 253 consid. 3d, 363 consid. 3c et les références).
c) La LAI et son ordonnance prévoient notamment la possibilité d'octroyer des contributions pour les frais supplémentaires des soins à domicile (aux conditions de l'<ref-law>) et des subsides pour la formation scolaire spéciale, prestations qui ne visent pas les mêmes situations et qui ne sont pas destinées à couvrir les mêmes besoins. Ainsi que le relève le jugement attaqué, ni la loi, ni l'ordonnance ne prévoient la possibilité de procéder à une réduction des contributions aux soins à domicile lorsque l'assuré bénéficie de subsides pour la formation scolaire.
Le ch. m. 14 de la directive précitée de l'OFAS vise, en réalité, à éviter une forme de surindemnisation ou de cumul de prestations dès lors que l'assuré percevrait des subsides pour la formation scolaire spéciale donnée pendant la même période où, à raison des soins à domicile, il bénéficierait de ces contributions spéciales.
Selon la jurisprudence toutefois, il n'existe pas un principe général du droit des assurances sociales qui interdit la surindemnisation ou le cumul de prestations de même nature. L'existence d'une base légale empêchant la surindemnisation pour les prestations de même nature, soit d'une manière générale, soit entre des branches particulières de l'assurance sociale est ainsi nécessaire (<ref-ruling> consid. 7c).
Dès lors que la disposition réglementaire litigieuse, qui fixe une réduction arithmétique et linéaire - 50 % par jour d'école quelle que soit l'intensité de l'assistance à domicile -, ne repose ni sur un principe général du droit ni sur une base légale, elle doit être considérée comme contraire à la loi.
d) Il ne s'ensuit pas pour autant que la scolarisation spéciale, même à domicile, demeure sans influence sur le montant de la contribution pour soins. Comme le prescrit l'<ref-law>, il y a lieu d'examiner, concrètement, la durée quotidienne des soins encore nécessaires, après avoir tenu compte de celle de la fréquentation scolaire.
Dans le cas particulier, la formation scolaire spéciale correspond, selon les propres données du recourant, à 6 heures 30 par jour. Comme l'enquête à domicile réalisée en 1995 a retenu, par inadvertance ou erreur, un horaire journalier de plus de 26 heures - comprenant 6 heures de sommeil en moyenne par nuit, 11 heures 40 de temps supplémentaire nécessaire à l'accomplissement des soins quotidiens et 8 heures 35 consacrées à la scolarisation à la maison et aux sorties -, il n'est pas possible de s'y référer pour déterminer l'intensité de l'assistance encore nécessaire, partant le montant de la contribution que peut prétendre le recourant.
Le jugement attaqué du 12 février 1999 comme la décision administrative litigieuse du 23 mai 1997 seront en conséquence annulés et la cause renvoyée à l'intimé pour instruction complémentaire et nouvelle décision.
5.- a) Le litige porte ensuite sur la prétention à une indemnité équitable, en raison de la durée de la procédure, le recourant fondant sa demande sur l'ancien art. 50 CEDH.
b) A la suite de l'arrêt rendu le 7 novembre 1995 par le Tribunal fédéral des assurances, la cause a été renvoyée à l'administration pour instruction complémentaire et nouvelle décision. L'instruction achevée, l'intimé a rendu la nouvelle décision le 23 mai 1997. Le recourant ayant entrepris cette décision devant le Tribunal des assurances du canton de Vaud, la juridiction cantonale a statué le 12 février 1999, le jugement étant notifié le 23 novembre 1999 aux parties.
La question de savoir si, dans ces conditions, un retard inadmissible doit être reproché à l'administration et/ou aux premiers juges peut toutefois demeurer indécise, dès lors que pour d'autres motifs la prétention à une indemnité, formée pour la première fois devant le Tribunal fédéral des assurances, doit être déclarée irrecevable.
Selon la CEDH, si la Cour déclare qu'il y a eu violation de la Convention ou de ses protocoles, et si le droit interne de la Haute partie contractante ne permet d'effacer qu'imparfaitement les conséquences de cette violation, la Cour accorde à la partie lésée, s'il y a lieu, une satisfaction équitable (art. 41 CEDH, entré en vigueur pour la Suisse le 1er novembre 1998, disposition qui a remplacé l'ancien art. 50 CEDH).
Cette disposition fixe en premier lieu une règle de compétence. L'indemnité équitable, consistant en une compensation pécuniaire à titre d'indemnité satisfactoire ou destinée à réparer un dommage matériel est due au recourant personnellement. La prétention est dirigée contre l'Etat en tant que sujet de droit public. C'est ainsi au titre du droit public que l'Etat sera, cas échéant, obligé d'indemniser. Pour ce motif, selon la jurisprudence de la Cour européenne, le recourant n'est pas obligé d'épuiser les instances de recours internes. Pour le même motif, le requérant ne pourra faire valoir contre l'Etat sa prétention fondée sur l'art. 41 CEDH devant les tribunaux nationaux (Villiger, Handbuch der Europäischen Menschenrechtskonvention, 2e éd., Zurich 1999, n° 237 et les références).
Il n'appartient dès lors pas au Tribunal fédéral des assurances, devant lequel la prétention est formée pour la première fois, de statuer sur une telle demande d'indemnité, faute de compétence ratione materiae. Au surplus, et conformément à la jurisprudence, les prétentions éventuelles à des dommages-intérêts fondées sur le droit interne doivent faire l'objet, suivant la procédure applicable aux actions en responsabilité, de demandes devant les tribunaux compétents (consid. 6a/dd non publié de l'arrêt <ref-ruling>).
6.- Le recourant a droit à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ). L'autorité de l'instance précédente doit être invitée à statuer sur les dépens pour l'instance cantonale (art. 85 al. 2 let. f LAVS en liaison avec l'<ref-law>).


Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est
admis en ce sens que le jugement du Tribunal des assurances
du canton de Vaud, du 12 février 1999, et la
décision administrative litigieuse du 23 mai 1997 sont
annulés, la cause étant renvoyée à l'Office de l'assurance-invalidité
pour le canton de Vaud pour instruction
complémentaire au sens des considérants et
nouvelle décision.
II. Il n'est pas perçu de frais de justice.
III. L'intimé versera au recourant la somme de 2000 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
IV. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 12 avril 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier: