A.- U._, geboren 1998, leidet infolge der Polytoxikomanie seiner Mutter unter verschiedenen Geburtsgebrechen, insbesondere unter den Auswirkungen eines fetalen Alkoholsyndroms und den Folgen einer Frühgeburt in der 31. Schwangerschaftswoche. Mit Verfügungen vom 25., 26. und 27. Januar sowie vom 18. November 1999 sprach die IV-Stelle des Kantons Solothurn U._ zur Behandlung verschiedener Geburtsgebrechen (Ziffern 493, 494, 496 und 497 gemäss Anhang der Verordnung über Geburtsgebrechen [GgV-Anhang]) medizinische Massnahmen zu. Im Zusammenhang mit den Geburtsgebrechen Ziffern 395 (leichte cerebrale Bewegungsstörungen) und 387 GgV-Anhang (angeborene Epilepsie) beantragte Dr. med. B._, Spital X._, mit Bericht vom 29. Juni 1999 (Posteingangsstempel der IV-Stelle) neben der Übernahme von Physiotherapie als weitere medizinische Massnahme zusätzlich unter anderem eine "heilpädagogische Früherfassung wahrscheinlich ab Herbst 99". Während die IV-Stelle zur Behandlung des Geburtsgebrechens Ziffer 395 GgV-Anhang ärztlich verordnete Behandlungsgeräte und Physiotherapie als medizinische Massnahmen gewährte (Verfügung vom 12. Juli 1999) und als Durchführungsstellen das Spital X._, die Stiftung A._ und Kinderarzt Dr. med. F._ bezeichnete, lehnte sie mit unangefochten in Rechtskraft erwachsener Verfügung vom 16. September 1999 die Anerkennung des Geburtsgebrechens Ziffer 387 GgV-Anhang ab, da gestützt auf die medizinischen Abklärungsergebnisse der Verdacht auf eine angeborene Epilepsie nicht bestätigt worden sei. Da keine ärztlich angeordneten medizinische Massnahmen durch medizinische Hilfspersonen in Hauspflege erbracht wurden, lehnte die IV-Stelle sodann einen Antrag auf Kostenübernahme für Hauspflege mit ebenfalls unangefochten in Rechtskraft erwachsener Verfügung vom 21. April 2000 ab. Dr. med. F._ beantragte mit Schreiben vom 18. Oktober 1999 die Kostenübernahme durch die Invalidenversicherung für den Heimaufenthalt von U._ seit Eintritt vom 11. Oktober 1999. Weil er eine sehr schwere alkoholisch bedingte Hirnschädigung aufweise, geistig schwerstens retardiert sei sowie aufwändige Pflege und Förderung brauche, welche seine Mutter zumindest vorübergehend nicht mehr erbringen könne, sei er in Absprache mit der Vormundschaftsbehörde der Einwohnergemeinde Y._ und der Familienberatungsstelle T._ ins Kinderheim Z._ (nachfolgend: Kinderheim) eingewiesen worden. Mit Verfügung vom 24. April 2000 lehnte die IV-Stelle eine Kostenübernahme des Aufenthaltes im Kinderheim ab, weil die Heimeinweisung nicht aus medizinischen, sondern psychosozialen Gründen erfolgt sei. B.- Die hiegegen erhobene Beschwerde des Versicherten hiess das Versicherungsgericht des Kantons Solothurn in dem Sinne gut, als es die Verfügung vom 24. April 2000 aufhob und die Sache zur Aktenergänzung im Sinne der Erwägungen und Neuverfügung an die IV-Stelle zurück wies (Entscheid vom 3. April 2001). C.- Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des angefochtenen Entscheids, da die als medizinische Massnahme zugesprochene Physiotherapie keinen stationären Aufenthalt erfordere und das Kinderheim weder eine Kranken- noch eine Kuranstalt, sondern eine vom Bundesamt für Sozialversicherung (BSV) anerkannte Sonderschule zur heilpädagogischen Förderung hochgradig geistigbehinderter Kinder sei. Während U._ auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, beantragt das BSV in seiner Vernehmlassung sinngemäss die Gutheissung der Verwaltungsgerichtsbeschwerde unter Verweis darauf, dass sich keine weiteren Abklärungen aufdrängen würden, da die medizinische Behandlung keinen stationären Aufenthalt erfordere.