A.- B._ a bénéficié d'une demi-rente d'invalidité pour son fils A._. Par décision du 31 juillet 2000, l'Office de l'assurance-invalidité pour le canton de Vaud a supprimé cette prestation, avec effet dès ce jour-là, au motif que A._ avait terminé ses études.
B.- B._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. A l'appui de son recours, elle a produit une attestation de l'Association Y._ du 17 août 2000, dont il ressort que son fils participait à un semestre de motivation du 14 août 2000 au 13 février 2001.
Par jugement du 21 décembre 2000, la juridiction cantonale a rejeté le recours.
C.- A._ et B._ interjettent recours de droit administratif contre ce jugement dont ils demandent l'annulation.
L'office intimé conclut au rejet du recours, en se référant au préavis de la Caisse cantonale vaudoise de compensation (la caisse). L'Office fédéral des assurances sociales (OFAS) propose de rejeter le recours, au terme d'un préavis sur lequel les parties ont eu l'occasion de se déterminer.

Considérant en droit :
1.- La décision litigieuse du 31 juillet 2000 a été notifiée à B._, qui seule a recouru contre cette décision. B._ était donc partie à la procédure cantonale, nonobstant le rubrum du jugement attaqué qui désignait à tort son fils A._ comme recourant, représenté par sa mère.
A._ a signé le mémoire de recours de droit administratif avec sa mère. Il est donc partie à la procédure fédérale.
Quant à X._, il a également apposé sa signature sur le recours, aux côtés de celles des deux prénommés, en tant que responsable du Semestre de motivation Z._.
Cette fonction ne lui confère toutefois pas qualité pour recourir en son nom contre le jugement du 21 décembre 2000, de sorte que le présent arrêt ne lui sera pas notifié.
2.- a) Aux termes de l'<ref-law>, les hommes et les femmes qui peuvent prétendre une rente d'invalidité ont droit à une rente pour chacun des enfants qui, au décès de ces personnes, auraient droit à la rente d'orphelin de l'assurance-vieillesse et survivants.
Selon l'<ref-law> in fine, le droit à la rente d'orphelin s'éteint au 18ème anniversaire ou au décès de l'orphelin. L'<ref-law> prévoit cependant que pour les enfants qui accomplissent une formation, le droit à la rente s'étend jusqu'au terme de cette formation, mais au plus jusqu'à l'âge de 25 ans révolus. Le Conseil fédéral peut définir ce que l'on entend par formation.
b) Selon la jurisprudence, la notion générale de formation professionnelle ("Ausbildung") au sens de l'<ref-law> et des anciens art. 25 al. 2 et 26 al. 2 LAVS (en vigueur jusqu'au 31 décembre 1996) comprend non seulement la formation visant une profession déterminée (formation professionnelle au sens étroit), mais également la préparation à l'exercice d'une profession sans diplôme ainsi que la formation qui, ne visant pas a priori une profession déterminée, constitue une base générale pour un certain nombre de professions ou une formation générale, comme la maturité fédérale (<ref-ruling> consid. 1c, RAMA 1986 n° U 2 p. 253 consid. 4 et les références; arrêt non publié R. du 5 octobre 1988, I 522/87). On entend ainsi par formation professionnelle toute activité qui a pour but de préparer d'une manière systématique à une future activité lucrative (<ref-ruling> consid. 1a et les arrêts cités).
Lors de l'entrée en vigueur de la 10e révision de l'AVS, le 1er janvier 1997, les secondes phrases des anciens art. 25 al. 2 et 26 al. 2 LAVS ont été reprises dans le nouvel <ref-law>, moyennant quelques modifications rédactionnelles; le législateur a remplacé à cette occasion l'expression "apprentissage ou études" par celle de "formation". Dans son message du 5 mars 1990 (FF 1990 II 93), le Conseil fédéral avait exposé qu'il incombe aux tribunaux et à l'administration de définir ce qu'il faut entendre par apprentissage ou études. La Cour de céans ne voit aucune raison de s'écarter des principes jurisprudentiels qu'elle avait rendus jadis à propos de la notion générale de formation professionnelle; ceux-ci conservent ainsi toute leur actualité, malgré les adaptations de la LAVS survenues entre-temps, d'autant plus que le texte de l'<ref-law> n'a, à l'exception d'un mot, pas été modifié dans l'intervalle.
3.- En l'espèce, il s'agit de déterminer si le semestre de motivation organisé par l'association Y._, auquel A._ a participé, doit être reconnu comme une formation au sens de la jurisprudence précitée et des ch. 3257 ss des Directives de l'OFAS concernant les rentes (DR).
4.- a) A l'appui de leurs conclusions, les recourants produisent un avis du Secrétariat d'Etat à l'économie (seco) du 9 mars 2001. Le seco y rappelle que le semestre de motivation est une mesure de marché du travail de l'assurance-chômage, destinée aux jeunes sortant de leur scolarité et cherchant une voie de formation. Il ajoute que cette mesure a été créée pour éviter aux jeunes chômeurs de rester inactifs durant le délai d'attente de six mois pendant lequel ils n'ont pas droit à l'indemnité.
Le seco précise que la finalité du semestre de motivation est d'aider cette catégorie de chômeurs à trouver une voie de formation professionnelle par des stages pratiques, et qu'il ne s'agit donc pas de les insérer directement dans le marché du travail. Le seco estime que le semestre de motivation lui paraît avoir un caractère de formation qui prime sur le caractère d'occupation, pareille mesure devant être distinguée des autres programmes d'occupation destinés aux chômeurs en général et dont le but poursuivi est la réinsertion au marché du travail.
b) Dans sa réponse, l'intimé se réfère à un avis que le seco, autrefois Office fédéral du développement économique et de l'emploi (OFDE), avait jadis donné à l'OFAS à l'occasion d'une affaire analogue au présent procès. L'OFDE avait alors indiqué que les semestres de motivation dispensés par l'association Y._ ont avant tout le caractère de mesures d'occupation au sens des art. 14 al. 5bis et 72 LACI. Ils visent à faciliter la recherche d'une formation professionnelle (apprentissage) et à assurer une meilleure réintégration dans le système social, tout en respectant le profil de chaque candidat. L'OFDE précisait que ces semestres se définissent comme étant des "mesures mixtes de réinsertion", sous forme d'emplois temporaires avec large financement des frais d'encadrement (cours, etc.). En sa qualité d'employeur, l'association verse un salaire au candidat, avant d'être indemnisée par l'assurance-chômage sur une base contractuelle.
Se fondant sur cet avis, l'OFAS avait estimé que de tels semestres de motivation, d'une durée maximale de six mois, n'ont pas, en tant que tels, valeur de formation au sens des ch. 3257 ss DR, bien qu'ils visent à faciliter la recherche d'une formation idéale (apprentissage) pour la personne au chômage. Selon l'OFAS, ces semestres ne représentent qu'une mesure d'aide à la réinsertion professionnelle en faveur des jeunes assurés ayant quitté le secteur de formation et qui sont inscrits à l'office du travail. Il avait conclu que ces mesures comprennent certes une part de formation, mais que celle-ci n'est pas prépondérante et trop éloignée des critères fixés par la jurisprudence (cf.
<ref-ruling>, mentionné au ch. 3258 DR).
c) Au vu des déclarations apparemment contradictoires du seco, le Tribunal a invité l'OFAS à lui faire connaître ses observations sur cette question.
Dans son préavis, l'autorité fédérale de surveillance a maintenu le point de vue qu'elle avait exprimé précédemment.
L'OFAS a conclu que les semestres de motivation ont un fort caractère d'orientation professionnelle, de motivation et d'incitation à s'insérer dans le monde du travail.
5.- a) La partie H de la Circulaire du seco relative aux mesures de marché du travail (MMT), que les recourants produisent devant la Cour de céans, porte le titre "Semestre de motivation (programmes d'emploi temporaire destinés aux jeunes sortant de l'école)". Sous la rubrique "Objectif de la mesure", le seco précise que ladite mesure, qui combine occupation et formation, vise à aider les jeunes chômeurs dans le choix d'une filière de formation et à les insérer sur le marché du travail. Le programme s'articule autour de trois questions : "Qui suis-je, qu'est-ce que je veux, que suis-je capable de faire ?". Il comporte un "Volet occupation", dans lequel il est indiqué que parallèlement à l'accompagnement individuel, le groupe fonctionne comme une petite entreprise qui exécute des travaux distribués chaque jour par le responsable du programme. Ce dernier organise pour chaque participant une journée de travail de 8 heures. Quant au "Volet formation" du programme, il met l'accent en premier lieu sur l'initiation du participant au monde du travail (discipline liée au travail, temps de travail, contre-prestation correspondant à un salaire, règles et consignes, etc.).
b) En examinant les conditions posées la jurisprudence (cf. <ref-ruling> consid. 1c), on constate qu'un participant à un semestre de motivation ne suit pas une formation aboutissant à une profession déterminée et qu'il ne se prépare pas non plus à l'exercice d'une profession sans diplôme; de plus, il ne bénéficie pas d'une formation constituant une base générale pour un certain nombre de professions, ni d'une formation générale. Par ailleurs, cette mesure n'a pas pour but de le préparer d'une manière systématique à une future activité lucrative.
Comme l'OFAS le fait observer à juste titre dans son préavis, un semestre de motivation a pour finalité d'encourager l'intégration professionnelle des chômeurs ou des personnes sur le point d'être au chômage, tout en permettant de faciliter la recherche d'une filière de formation professionnelle et d'assurer une meilleure intégration dans le système social. L'aspect de l'occupation professionnelle l'emporte nettement sur celui de la formation, de sorte que cette mesure de marché du travail n'entre pas dans le cadre de la notion générale de formation professionnelle, telle est définie par la jurisprudence rappelée ci-dessus au consid. 2b.
c) Il s'ensuit que A._ n'accomplissait plus de formation au sens de l'<ref-law>, si bien que la décision litigieuse était en tous points conforme au droit fédéral.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale vaudoise de compensation, au Tribunal des assurances du canton de Vaud, ainsi qu'à l'Office
fédéral des assurances sociales.
Lucerne, le 5 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la Ière Chambre :
Le Greffier :