A.- Der 1982 geborene und am 7. September 1998 verstorbene G. P._ litt an Epilepsie. Am 10. April 1997 ersuchte sein Vater, H. P._, die IV-Stelle Aargau um Kostengutsprache für dessen Ausbildung am Institut Dr. X._ (nachfolgend Institut). Am 1. September 1997 trat G. P._ ins Institut ein. Am 5. März 1998 teilte die IV-Stelle dem Vater mit, das Leistungsbegehren müsse abgelehnt werden, weil das Institut als Sonderschule nicht zugelassen sei. Mit Verfügung vom 18. September 1998 lehnte sie eine Kostenübernahme unter dem Titel erstmalige berufliche Ausbildung ab. Eine gegen diese Verfügung erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau in dem Sinne gut, dass es die Sache an die IV-Stelle zurückwies, damit diese für das Schuljahr 1997/98 die Einleitung des Zulassungsverfahrens bezüglich Sonderschulung im Einzelfall veranlasse und über die Mehrkosten der erstmaligen beruflichen Ausbildung in der Zeit ab 31. August 1998 neu verfüge (Entscheid vom 12. Januar 1999). In Vollziehung dieses in Rechtskraft erwachsenen Entscheides sprach die IV-Stelle dem Vater am 19. April 1999 für die Zeit vom 31. August 1998 bis 7. September 1998 einen Kostenersatz von Fr. 840.- im Sinne einer beruflichen Massnahme zu. Mit weiterer Verfügung vom 10. November 1999 lehnte sie die Ausrichtung von Sonderschulbeiträgen für das Schuljahr 1997/98 ab, da das Gesuch um Zulassung als IV-Sonderschule im Einzelfall vom Erziehungsrat des Kantons Y.
abgewiesen worden sei.
B.- Die gegen die Verfügung vom 10. November 1999 erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 1. März 2000 ab, soweit es darauf eintrat.
C.- Mit Verwaltungsgerichtsbeschwerde beantragt H. P._, es seien ihm die Kosten von Fr. 50'572.- für das Ausbildungsjahr 1997/1999 (recte 1997/1998) seines Sohnes im Institut zu erstatten; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Am 18. April 2000 reichte er weitere Akten ein.
Die IV-Stelle reicht eine Vernehmlassung ein, während das Bundesamt für Sozialversicherung auf eine solche verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die Rechtsprechung zur Teilnahme der Erwägungen eines Rückweisungsentscheides an dessen formeller Rechtskraft (BGE 125 V 416 Erw. 2c, 120 V 237 Erw. 1a, 111 II 94, 101 IV 105; RKUV 1999 Nr. U 331 S. 127 Erw. 2) sowie zu den Voraussetzungen für eine vom materiellen Recht abweichende Behandlung im Falle berechtigten Vertrauens in behördliches Verhalten gestützt auf den Grundsatz von Treu und Glauben (BGE 121 V 66 Erw. 2a; RKUV 2000 KV Nr. 126 S. 223 Erw. 2) zutreffend dargelegt.
Darauf kann verwiesen werden.
2.- a) Der Erziehungsrat des Kantons Zug lehnte am 18. August 1999 die Zulassung des Instituts als IV-Sonderschule im Einzelfall für G. P._ ab. Dieser Entscheid erwuchs in Rechtskraft.
Gestützt hierauf verneinte die IV-Stelle die Ausrichtung von Beiträgen an die Sonderschulung für das Schuljahr 1997/98 (Verfügung vom 10. November 1999). Auf die hiegegen erhobene Beschwerde trat die Vorinstanz insoweit nicht ein, als der Beschwerdeführer verlangt hatte, das Schuljahr 1997/98 im Institut Dr. X._ sei als erstmalige Ausbildung gemäss Art. 16 IVG und nicht als Sonderschulung nach Art. 19 IVG zu qualifizieren.
b) aa) In der Verwaltungsgerichtsbeschwerde rügt der Beschwerdeführer das Nichteintreten, befasst sich aber auch mit der materiellen Seite des Streitfalles, indem er erneut die Erfassung des Schuljahres 1997/98 als erstmalige berufliche Ausbildung verlangt.
Das Eidgenössische Versicherungsgericht hat nur zu prüfen, ob die Vorinstanz zu Recht auf die Beschwerde nicht eingetreten ist, während es auf das materielle Begehren nicht eintreten kann (BGE 117 V 122 Erw. 1 mit Hinweisen).
Da es in diesem Punkt somit nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen, sondern ausschliesslich um eine prozessrechtliche Frage geht, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
bb) Im Entscheid vom 12. Januar 1999 wies die Vorinstanz die Sache im Dispositiv an die IV-Stelle zurück, "damit diese für das Schuljahr 1997/98 die Einleitung des Zulassungsverfahrens bezüglich Sonderschulung im Einzelfall veranlasse". In den Erwägungen legte sie dar, der Besuch des Instituts im Schuljahr 1997/98 sei nicht Teil der erstmaligen beruflichen Ausbildung von G. P._ gewesen, sondern habe "der Schliessung von Schullücken oder der Vorbereitung auf die Berufsausbildung" im Sinne von Art. 8 Abs. 3 IVV gedient. Die Vorinstanz qualifizierte mithin nicht nur in den Erwägungen, sondern auch im Dispositiv das Schuljahr 1997/98 als Sonderschulung. Diese Qualifizierung nahm daher an der formellen Rechtskraft des Entscheides vom 12. Januar 1999 teil. Daran war die Vorinstanz bei ihrem neuerlichen Entscheid vom 1. März 2000 gebunden, weshalb sie in diesem Punkt zu Recht auf die Beschwerde nicht eintrat.
Wäre der Beschwerdeführer mit diesem Ergebnis nicht einverstanden gewesen, hätte er gegen den Entscheid vom 12. Januar 1999 Verwaltungsgerichtsbeschwerde an das Eidgenössische Versicherungsgericht erheben müssen.
3.- Zu prüfen bleibt, ob der Beschwerdeführer sich auf den Grundsatz von Treu und Glauben berufen kann. Diese Frage überprüft das Eidgenössische Versicherungsgericht mit voller Kognition, da die Vorinstanz diesbezüglich auf die Beschwerde eingetreten ist und es um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (Art. 132 OG).
a) Die Vorinstanz hat zutreffend dargelegt, dass der Beschwerdeführer wegen der langen Dauer des Verfahrens bei der IV-Stelle nichts zu seinen Gunsten ableiten kann. Darauf kann verwiesen werden. Zu ergänzen ist, dass die IV-Stelle seit dem Leistungsgesuch vom 10. April 1997 bis zum negativen Vorbescheid vom 5. März 1998 bzw. bis zur ablehnenden Verfügung vom 18. September 1998 in keiner Weise untätig war, sondern verschiedene Abklärungen in medizinischer, schulischer und beruflicher Hinsicht traf.
Die Voraussetzungen, unter denen Untätigkeit einer Behörde ausnahmsweise vertrauensbildend sein kann, sind vorliegend nicht gegeben (Weber-Dürler, Vertrauensschutz im öffentlichen Recht, Basel und Frankfurt am Main 1983, S. 228 ff.
mit Hinweisen).
b) Der Beschwerdeführer bringt vor, die IV-Stelle habe in der Vernehmlassung an die Vorinstanz vom 17. November 1998 die Gutachten des Kinder- und Jugendpsychiatrischen Dienstes Aarau vom 31. Oktober 1997, des Dr. med.
E._ vom 20. August 1997 und des Dr. med. M._ vom 10. Januar 1998 zitiert, worin festgehalten worden sei, dass sein Sohn einen strukturierten Rahmen gebraucht habe, wie ihn das Institut geboten habe. Weiter sei in dieser Vernehmlassung festgehalten worden, als erstmalige berufliche Ausbildung gelte der Besuch einer Mittelschule nach Abschluss der Volksschule, die sein Sohn am 1. September 1997 beendet habe. Damit habe sie sein Vertrauen in die Übernahme der Schulungskosten begründet.
Aus der Vernehmlassung vom 17. November 1998 kann der Beschwerdeführer ebenfalls nichts zu seinen Gunsten ableiten.
Erforderlich ist nämlich, dass das behördliche Verhalten für die Dispositionen des Betroffenen ursächlich war.
Ein Kausalzusammenhang zwischen dem behördlichen Verhalten und dem darauf folgenden Handeln des Versicherten ist gegeben, wenn angenommen werden kann, dieser hätte sich ohne die Auskunft anders verhalten. Diese Kausalität fehlt vorliegend, da der Sohn des Beschwerdeführers das Institut schon seit 1. September 1997 besucht hatte und die nicht wieder rückgängig zu machende Disposition damit bereits vor der Vernehmlassung vom 17. November 1998 getroffen wurde (nicht veröffentlichtes Urteil A. vom 7. Mai 2001, C 27/01).
Im Übrigen erfolgte die Vernehmlassung der IV-Stelle vom 17. November 1998 im Rahmen des ersten Verfahrens vor der Vorinstanz. Dem Beschwerdeführer musste deshalb klar sein, dass er sich nicht auf Angaben in der Vernehmlassung verlassen durfte, sondern dass es nunmehr Sache der Vorinstanz war, über seine Ansprüche zu entscheiden.
c) Weiter macht der Beschwerdeführer geltend, die Mitarbeiter/-innen der IV-Stelle, insbesondere Frau J._, hätten immer wieder bestätigt, sein Sohn sei am richtigen Ort; es bedürfe nur noch gewisser Detailabklärungen zur Kostenübernahme. Frau J._ habe ihm unter anderem auch versichert, es sei ein Antrag "nach Bern" zur Übernahme des Schulgeldes unterwegs; dessen Gutheissung sei gleichsam nur noch Formsache.
Beim Vorbringen betreffend die Auskunftserteilung durch Frau J._ handelt es sich um eine neue Behauptung, die prozessual zulässig ist (RKUV 1999 Nr. U 333 S. 197 Erw. 1). Auch wenn ein Antrag in Bern zur Beurteilung des Leistungsgesuchs gestellt wurde, durfte der Beschwerdeführer annehmen, Frau Jung sei als Angestellte der IV-Stelle zuständig gewesen, ihn über die Erfolgsaussichten seines Leistungsgesuchs zu informieren. Falls sie ihm - wie behauptet - die Auskunft gegeben haben sollte, die Bewilligung in Bern sei bloss Formsache, so läge grundsätzlich eine vertrauensbildende Auskunft vor. Unter diesen Umständen bedürfen der Zeitpunkt und die Art der Vorsprache des Beschwerdeführers bei Frau Jung sowie der genaue Inhalt der Auskunft der näheren Abklärung. Gegen eine solche Weiterung lässt sich, jedenfalls bei der gegebenen Aktenlage, nicht einwenden, es fehle an einer der übrigen Voraussetzungen einer erfolgreichen Berufung auf den Vertrauensschutz.
Ob insbesondere die Kausalität zwischen der allfälligen Auskunft und der Disposition des Beschwerdeführers (Internatsbesuch seines Sohnes) vorläge, lässt sich erst beurteilen, wenn der Zeitpunkt der Auskunft feststeht. Die Sache ist daher an die Vorinstanz zurückzuweisen, damit sie die nötigen Abklärungen vornehme und gestützt auf die dabei gewonnenen Erkenntnisse erneut über die Berufung auf den Vertrauensschutz befinde.
Demnach erkennt das Eidg. Versicherungsgericht:
I. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde
wird der angefochtene Entscheid vom 1. März
2000 aufgehoben, und es wird die Sache an das Versicherungsgericht
des Kantons Aargau zurückgewiesen,
damit dieses, nach erfolgter Abklärung im Sinne der
Erwägungen, neu entscheide.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 15. Januar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: