Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Anspruch auf Sonderschulunterrichts-Beiträge (Art. 19 IVG, Art. 8 ff. IVV) besteht nach der Rechtsprechung (AHI 2000 S. 77) nur, wenn das besuchte Institut formell, sei es generell durch das BSV (Art. 10 Abs. 1 SZV), sei es im Einzelfall durch die zuständige kantonale Amtsstelle (Art. 10 Abs. 2 SZV), als IV-rechtliche Sonderschule zugelassen worden ist (Art. 26bis IVG, Art. 1 ff.
SZV).
2.- a) Vorliegend scheiterte die Gewährung von Sonderschulbeiträgen daran, dass das für den Unterricht vorgesehene Institut keine Zulassung besitzt. Die Vorinstanz stellte fest, dass bislang kein ordnungsgemässes Zulassungsverfahren eingeleitet worden sei. Die IV-Stelle habe die Akten dem BSV übermittelt, welches ihr am 25. Januar 2001 mitgeteilt habe, dass die erwähnte Schule weder generell noch im Einzelfall zugelassen sei. Diese Mitteilung sei jedoch weder der Schule eröffnet noch mit einer Rechtsmittelbelehrung versehen worden. Überdies sei das BSV nur für generelle Zulassungen zuständig, nicht hingegen für solche im Einzelfall. Wo noch kein Zulassungsverfahren eingeleitet worden sei, habe die IV-Stelle nach konstanter Praxis der Vorinstanz das Institut darauf aufmerksam zu machen, dass es ein Zulassungsgesuch einreichen könne, den Ausgang dieses Verfahrens abzuwarten, und erst bei Vorliegen eines entsprechenden Entscheides über die Gewährung oder Verweigerung von Sonderschulbeiträgen zu verfügen.
Demzufolge wies das kantonale Gericht die Sache an die IV-Stelle zurück, damit diese die Schule Y._ darauf hinweise, dass sie beim Erziehungsdepartement des Kantons X._ ein Verfahren um Zulassung im Einzelfall einleiten könne.
b) Hiegegen wendet das BSV ein, es habe in Absprache mit der zuständigen kantonalen Behörde am 6. Dezember 1996 die Zulassung der Schule Y._ abgelehnt, weil sie die Anforderungen gemäss SZV nicht erfülle. Dieser Entscheid sei rechtskräftig geworden. Es sei sodann nach der Rechtsprechung ausschliesslich Sache der Schule selbst, ein Zulassungsverfahren einzuleiten. Daher könne die IV-Stelle nicht verpflichtet werden, die Schule zu entsprechenden Schritten aufzufordern. Zudem sei zu vermuten, dass das Institut absichtlich auf eine Zulassung verzichtet habe, da es um die fehlende Qualifikation seines Personals wisse.
c) Die Zulassung eines Instituts als Sonderschule durch das BSV oder durch einen Kanton ist an ein von der Sonderschule einzureichendes Gesuch geknüpft (Art. 11 und 12 SZV; AHI 2000 S. 203 Erw. 2 Abs. 2). Die Invalidenversicherung kann nur Sonderschulbeiträge gewähren, wenn eine Zulassung vorliegt. Nach konstanter Rechtsprechung ist die IV-Stelle nicht zuständig, ein Zulassungsverfahren für den Fall einzuleiten, dass eine Schule noch nicht zugelassen worden ist. Einem Gericht, das eine Beschwerde gegen eine Verfügung über die Verweigerung von Beiträgen behandelt, fehlt diese Zuständigkeit ebenso (BGE 120 V 424 Erw. 1a, 109 V 15 Erw. 2b; AHI 2000 S. 203 Erw. 2 in fine, je mit Hinweisen). Das Zulassungsgesuch hat zwingend durch die betroffene Schule zu erfolgen (jüngst bestätigt im Urteil S. vom 5. März 2002, I 333/01). Die Vorinstanz verkennt dies zwar insofern nicht, als sie die IV-Stelle nicht dazu anhielt, selber ein Zulassungsgesuch zu stellen, sondern sie nur verpflichtete, die Schule Y._ darauf hinzuweisen, dass sie ein Gesuch um Zulassung im Einzelfall einreichen könne. Damit verlangt die Vorinstanz von der Verwaltung jedoch ein aktives Vorgehen in einer Sache, in welcher diese eben gerade nicht die Initiative zu ergreifen hat. Solcherart ging das kantonale Gericht zu weit, kann doch eine Beschwerdeinstanz die IV-Stelle nicht auffordern, Schritte mit dem Ziel einzuleiten, eine Verfügung über die Zulassung einer Institution zu erwirken (AHI 2000 S. 203 Erw. 3; erwähntes Urteil S.).
Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde wird
der Entscheid des Versicherungsgerichts des Kantons
Aargau vom 3. Juli 2001 aufgehoben.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und der IV-Stelle des Kantons Aargau zugestellt.
Luzern, 27. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: