Das Eidg. Versicherungsgericht zieht in Erwägung :
1.- Streitig und zu prüfen ist im vorliegenden Verfahren nur noch der Anspruch der Beschwerdegegnerin auf Physiotherapie unter dem Rechtstitel von <ref-law> ab
11. August 1997. Nicht mehr streitig ist die Abweisung des Begehrens für die Zeit bis zum Eintritt der Versicherten in den Kindergarten der Heilpädagogischen Sonderschule Frick am 11. August 1997.
2.- Sowohl in rechtlicher wie auch in tatsächlicher Hinsicht kann vollumfänglich auf den vorinstanzlichen Entscheid vom 23. Mai 2000 verwiesen werden, in welchem das kantonale Gericht unter richtiger Anwendung der Rechtsprechung des Eidgenössischen Versicherungsgerichts (nicht veröffentlichte Urteile C. vom 16. April 1992, I 185/90, und S. vom 17. November 1997, I 316/96) und in eingehender Würdigung der medizinischen Aktenlage sorgfältig und ausführlich dargelegt hat, dass die Versicherte ab 11. August 1997 bis vorderhand 31. Juli 2000 einen Anspruch auf ambulante Physiotherapie als Sondergymnastik zur Förderung gestörter Motorik im Sinne von <ref-law> in Verbindung mit <ref-law> hat. Das Eidgenössische Versicherungsgericht hat diesen umfassenden Ausführungen nichts beizufügen. Daran vermögen die Einwände in der Verwaltungsgerichtsbeschwerde nichts zu ändern, zumal sie sich weder mit der Rechtsprechung noch mit der schlüssigen Argumentation der Vorinstanz auseinandersetzen.
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.
4.- Das Verfahren ist kostenlos (Art. 134 OG). Dem Prozessausgang entsprechend steht der Beschwerdegegnerin eine Parteientschädigung zu (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht :
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Das Bundesamt für Sozialversicherung hat der Beschwerdegegnerin eine Parteientschädigung von Fr. 800.- zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und der IV-Stelle des Kantons Aargau zugestellt.
Luzern, 4. Oktober 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: