A.- U._, geboren 1998, leidet infolge der Polytoxikomanie seiner Mutter unter verschiedenen Geburtsgebrechen, insbesondere unter den Auswirkungen eines fetalen Alkoholsyndroms und den Folgen einer Frühgeburt in der 31. Schwangerschaftswoche. Mit Verfügungen vom 25., 26. und
27. Januar sowie vom 18. November 1999 sprach die IV-Stelle des Kantons Solothurn U._ zur Behandlung verschiedener Geburtsgebrechen (Ziffern 493, 494, 496 und 497 gemäss Anhang der Verordnung über Geburtsgebrechen [GgV-Anhang]) medizinische Massnahmen zu. Im Zusammenhang mit den Geburtsgebrechen Ziffern 395 (leichte cerebrale Bewegungsstörungen) und 387 GgV-Anhang (angeborene Epilepsie) beantragte Dr. med. B._, Spital X._, mit Bericht vom 29. Juni 1999 (Posteingangsstempel der IV-Stelle) neben der Übernahme von Physiotherapie als weitere medizinische Massnahme zusätzlich unter anderem eine "heilpädagogische Früherfassung wahrscheinlich ab Herbst 99". Während die IV-Stelle zur Behandlung des Geburtsgebrechens Ziffer 395 GgV-Anhang ärztlich verordnete Behandlungsgeräte und Physiotherapie als medizinische Massnahmen gewährte (Verfügung vom 12. Juli 1999) und als Durchführungsstellen das Spital X._, die Stiftung A._ und Kinderarzt Dr. med.
F._ bezeichnete, lehnte sie mit unangefochten in Rechtskraft erwachsener Verfügung vom 16. September 1999 die Anerkennung des Geburtsgebrechens Ziffer 387 GgV-Anhang ab, da gestützt auf die medizinischen Abklärungsergebnisse der Verdacht auf eine angeborene Epilepsie nicht bestätigt worden sei. Da keine ärztlich angeordneten medizinische Massnahmen durch medizinische Hilfspersonen in Hauspflege erbracht wurden, lehnte die IV-Stelle sodann einen Antrag auf Kostenübernahme für Hauspflege mit ebenfalls unangefochten in Rechtskraft erwachsener Verfügung vom 21. April 2000 ab.
Dr. med. F._ beantragte mit Schreiben vom 18. Oktober 1999 die Kostenübernahme durch die Invalidenversicherung für den Heimaufenthalt von U._ seit Eintritt vom 11. Oktober 1999. Weil er eine sehr schwere alkoholisch bedingte Hirnschädigung aufweise, geistig schwerstens retardiert sei sowie aufwändige Pflege und Förderung brauche, welche seine Mutter zumindest vorübergehend nicht mehr erbringen könne, sei er in Absprache mit der Vormundschaftsbehörde der Einwohnergemeinde Y._ und der Familienberatungsstelle T._ ins Kinderheim Z._ (nachfolgend: Kinderheim) eingewiesen worden.
Mit Verfügung vom 24. April 2000 lehnte die IV-Stelle eine Kostenübernahme des Aufenthaltes im Kinderheim ab, weil die Heimeinweisung nicht aus medizinischen, sondern psychosozialen Gründen erfolgt sei.
B.- Die hiegegen erhobene Beschwerde des Versicherten hiess das Versicherungsgericht des Kantons Solothurn in dem Sinne gut, als es die Verfügung vom 24. April 2000 aufhob und die Sache zur Aktenergänzung im Sinne der Erwägungen und Neuverfügung an die IV-Stelle zurück wies (Entscheid vom 3. April 2001).
C.- Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des angefochtenen Entscheids, da die als medizinische Massnahme zugesprochene Physiotherapie keinen stationären Aufenthalt erfordere und das Kinderheim weder eine Kranken- noch eine Kuranstalt, sondern eine vom Bundesamt für Sozialversicherung (BSV) anerkannte Sonderschule zur heilpädagogischen Förderung hochgradig geistigbehinderter Kinder sei.
Während U._ auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, beantragt das BSV in seiner Vernehmlassung sinngemäss die Gutheissung der Verwaltungsgerichtsbeschwerde unter Verweis darauf, dass sich keine weiteren Abklärungen aufdrängen würden, da die medizinische Behandlung keinen stationären Aufenthalt erfordere.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Streitig ist, ob die IV-Stelle zu Recht mit Verfügung vom 24. April 2000 eine Kostenübernahme für den Aufenthalt des Beschwerdegegners im Kinderheim abgelehnt hat.
Dabei ist zu prüfen, ob die Behandlung der Geburtsgebrechen den Aufenthalt im Kinderheim erfordert. Diese Frage ist nicht nur unter Berücksichtigung der ärztlich verordneten und gemäss rechtskräftiger Verfügung zugesprochenen Physiotherapie zu beantworten, sondern auch mit Blick auf die durch Dr. med. B._ und Dr. med. C._ vertretene Auffassung, ab Herbst 1999 sei wahrscheinlich eine heilpädagogische Frühförderung angezeigt.
2.- a) Gemäss <ref-law> haben minderjährige Versicherte Anspruch auf die zur Behandlung von Geburtsgebrechen notwendigen medizinischen Massnahmen. Diese umfassen die Behandlung, die vom Arzt selbst oder auf seine Anordnung durch medizinische Hilfspersonen in Anstalts- oder Hauspflege vorgenommen wird, sowie die Abgabe der vom Arzt verordneten Arzneien (<ref-law>). Erfolgt die ärztliche Behandlung in einer Kranken- oder Kuranstalt, so hat der Versicherte überdies Anspruch auf Unterkunft und Verpflegung in der allgemeinen Abteilung (<ref-law>). Beim Entscheid darüber, ob die ärztliche Behandlung in Anstalts- oder Hauspflege zu gewähren ist, ist auf den Vorschlag des behandelnden Arztes und auf die persönlichen Verhältnisse des Versicherten in billiger Weise Rücksicht zu nehmen (<ref-law>).
b) Nach <ref-law> gewährt die Invalidenversicherung Beiträge an die Sonderschulung bildungsfähiger Versicherter, die das zwanzigste Altersjahr noch nicht vollendet haben und denen infolge Invalidität der Besuch der Volksschule nicht möglich oder nicht zumutbar ist. <ref-law> besagt, dass der Bundesrat im einzelnen die gemäss Absatz 1 erforderlichen Voraussetzungen für die Gewährung von Beiträgen bezeichnet und deren Höhe fest setzt. Er erlässt Vorschriften über die Gewährung entsprechender Beiträge an Massnahmen für invalide Kinder im vorschulpflichtigen Alter, insbesondere zur Vorbereitung auf die Sonderschulung sowie an Massnahmen für invalide Kinder, die die Volksschule besuchen. Gemäss dem seit 1. Januar 1997 in Kraft stehenden <ref-law>, der Art. 12 aIVV abgelöst hat (<ref-ruling> Erw. 3b), übernimmt die Invalidenversicherung die Kosten für die Durchführung von Massnahmen pädagogisch-therapeutischer Art, die im vorschulpflichtigen Alter zur Vorbereitung auf den Besuch des Sonder- oder Volksschulunterrichts notwendig sind (Abs. 1); die Massnahmen umfassen unter anderem heilpädagogische Früherziehung (Abs. 2 lit. c), die nicht nur ambulant, sondern auch stationär im Rahmen einer darauf spezialisierten Einrichtung durchgeführt werden kann (<ref-ruling> Erw. 4b mit Hinweisen), sodass die Invalidenversicherung gegebenenfalls auch die Kosten eines entsprechenden stationären Aufenthalts zu übernehmen hat (<ref-ruling> Erw. 4c).
3.- a) Die Vorinstanz erwog, in den Akten werde zwar mehrfach angeführt, die Mutter des Beschwerdegegners sei mit dessen Betreuung überfordert. Dies hänge möglicherweise mit ihrer Polytoxikomanie zusammen, die während der Schwangerschaft bestand. Nähere Angaben zur familiären Situation fehlten indes, weshalb nicht beurteilt werden könne, inwieweit diese Umstände einer ambulanten Durchführung der Physiotherapie entgegen stünden. Zudem werde nicht restlos klar, ob der Heimaufenthalt nur - oder wenigstens überwiegend - dazu diene, die Physiotherapie zu ermöglichen, oder ob der Beschwerdegegner ohnehin, unabhängig von der laufenden Behandlung, in einem Heim untergebracht werden müsste.
Die IV-Stelle habe deshalb diese Punkte vorweg ergänzend abzuklären, bevor sie über das Gesuch um Kostenübernahme für den Aufenthalt im Kinderheim neu zu befinden habe. Demgegenüber vertritt die Beschwerdeführerin die Auffassung, der Sachverhalt sei mit Blick auf die ärztlich verordnete Physiotherapie im Rahmen der Behandlung des Geburtsgebrechens Ziffer 395 GgV-Anhang, welche die IV-Stelle mit rechtskräftiger Verfügung als medizinische Massnahme übernommen habe, umfassend und ausreichend abgeklärt worden. Da diese physiotherapeutische Massnahme weder einen Aufenthalt in einer Kranken- oder Kuranstalt noch in der vom BSV anerkannten Sonderschule Kinderheim Z._ erfordere, sei die verfügte Ablehnung der Kostenübernahme für diesen Heimaufenthalt zu Recht erfolgt.
b) IV-Stelle und BSV weisen zutreffend darauf hin, dass es sich beim genannten Kinderheim um eine anerkannte Sonderschule und nicht um eine Heilanstalt (Kranken- oder Kuranstalt) im Sinne von <ref-law> handle. Das Kinderheim bietet einerseits Sonderschulunterricht für Geistigbehinderte (mit Mindestalter von vier Jahren) an, die auf den Besuch einer Sonderschule vorbereitet werden, und anderseits pädagogisch-therapeutische Massnahmen zum Spracherwerb (Sprachanbahnung) und Sprachaufbau für hochgradig Geistigbehinderte. Obwohl das BSV in seiner Vernehmlassung vom 26. Juni 2001 auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, weist es darauf hin, die IV-Stelle werde in Bezug auf den Heimaufenthalt des Beschwerdegegners noch zu prüfen haben, ob diesem ein Kostgeldbeitrag von Fr. 56.- gemäss <ref-law> zu gewähren sei. Fest steht im vorliegenden Fall, dass der Beschwerdegegner durch die leichten cerebralen Bewegungsstörungen mit Tetraspastizität beeinträchtigt ist, was zur Folge hat, dass er regelmässige Physiotherapie benötigt.
Weiter ist aktenkundig, dass er voraussichtlich ab Herbst 1999 heilpädagogische Frühförderung benötigen wird. Anlässlich der psychomotorischen Entwicklungs-Untersuchung vom 26. November 1999 des damals gut dreizehn Monate alten Beschwerdegegners durch Dr. med. C._ schätzte dieser den gesamtmotorischen Entwicklungsstand auf die vergleichbare Altersstufe eines gesunden sieben- bis achtmonatigen Kindes. Zwar ist dem Gesuch des behandelnden Kinderarztes Dr. med. F._ vom 18. Oktober 1999 um Kostenübernahme für den Aufenthalt im Kinderheim kein expliziter Hinweis auf die zuvor bereits durch Dr. med. B._ erwähnte voraussichtliche Erforderlichkeit von heilpädagogischen Früherziehungsmassnahmen ab Herbst 1999 zu entnehmen. Statt dessen verwies Dr. med. F._ auf offensichtlich ebenfalls vorhandene psychosoziale Gründe für die Heimeinweisung, da die Mutter die nötige Pflege und Förderung zumindest vorübergehend nicht mehr habe erbringen können. Trotzdem wäre die IV-Stelle unter angemessener Mitberücksichtigung der Arztberichte der Dres. med. B._ und C._ im Rahmen des im Sozialversicherungsrecht herrschenden Untersuchungsgrundsatzes (<ref-ruling> Erw. 2) gehalten gewesen, die beantragte Kostenübernahme in Bezug auf den Heimaufenthalt nicht nur unter dem Gesichtspunkt der - auch ambulant durchführbaren - Physiotherapie, sondern auch im Hinblick auf die im Kinderheim tatsächlich angebotene heilpädagogische Früherziehung im Sinne von <ref-law> zu prüfen.
c) Gestützt auf die vorliegenden Akten kann nicht beurteilt werden, welche konkreten Massnahmen (nebst Physiotherapie) der Aufenthalt im Kinderheim (seit 11. Oktober 1999) umfasst. Weiter fehlen Angaben dazu, in welcher Form und in welchem Ausmass sowie ab welchem Zeitpunkt der Beschwerdegegner konkret pädagogisch-therapeutischer Massnahmen bedarf. IV-Stelle und BSV vermögen demnach mit Ihren Vorbringen gegen den vorinstanzlichen Rückweisungsentscheid nicht durchzudringen. Da der Aufenthalt im Kinderheim vorliegend auch aus anderen (nämlich pädagogisch-therapeutischen Gründen) als den bisher aktenkundig geprüften Gründen erforderlich geworden sein kann, wie dies verschiedene Ärzte bereits ausdrücklich empfohlen hatten, ist der Sachverhalt im Sinne der vorinstanzlichen und vorliegenden Erwägungen durch die IV-Stelle näher abzuklären. Nach entsprechender Aktenergänzung wird sie über die geltend gemachte Kostenübernahme - oder gegebenenfalls auch nur einen Kostenanteil - an den Aufenthalt des Beschwerdegegners im Kinderheim neu verfügen. Unter Berücksichtigung des Gesagten ist der angefochtene Entscheid, womit die Vorinstanz die Sache an die IV-Stelle zu ergänzenden Sachverhaltsabklärungen zurückwies, nicht zu beanstanden.
4.- Das Verfahren ist kostenlos (Art. 134 OG). Die durch eine Sozialarbeiterin der Pro Infirmis vertretene Partei hat grundsätzlich einen Anspruch auf Parteientschädigung, da die diesbezügliche Rechtsprechung bei einer Vertretung durch den Schweizerischen Invalidenverband (<ref-ruling> Erw. 3) oder durch den Rechtsdienst für Behinderte der Schweizerischen Arbeitsgemeinschaft zur Eingliederung Behinderter (SAEB; SVR 1997 IV Nr. 110 S. 341 Erw. 3) auf die Vertretung durch die Pro Infirmis analog anzuwenden ist. Die Parteientschädigung ersetzt die durch den Rechtsstreit verursachten notwendigen Kosten der obsiegenden Partei (Art. 159 Abs. 1 und 2 OG in Verbindung mit Art. 135 OG). Die Parteientschädigung bemisst sich somit grundsätzlich nach dem Umfang der konkret aufwandabhängigen notwendigen Kosten und setzt daher minimale Bemühungen der beauftragten Rechtsvertreterin voraus. Im vorinstanzlichen Verfahren obsiegte U._ in dem Sinne als das kantonale Gericht die Sache zur weiteren Abklärung und Neuverfügung an die IV-Stelle zurückwies. Im vorliegenden Verfahren äussert sich die Rechtsvertreterin des Beschwerdegegners zur Verwaltungsgerichtsbeschwerde der IV-Stelle abschliessend in einem einzigen Satz, womit der Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde gestellt und zur Begründung auf den vorinstanzlichen Entscheid verwiesen wird. Unter diesen Umständen rechtfertigen die minimalen Bemühungen der Rechtsvertreterin bei geringstem Arbeitsaufwand im letztinstanzlichen Verfahren nur eine reduzierte Entschädigung.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird im Sinne der
Erwägungen abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Solothurn hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine reduzierte Parteientschädigung
von Fr. 100.-- (einschliesslich Mehrwertsteuer)
zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 10. April 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: