A.- Die 1941 geborene P._ leidet als Folge einer im Kindesalter durchgemachten Poliomyelitis vor allem an Paresen und allgemeiner Schwäche beider Beine mit gelegentlichem Einknicken. Sie ist neben der Besorgung des Haushalts teilzeitlich als Sekretärin (75 %) erwerbstätig.
Seit ihrem 50. Lebensjahr benötigt sie u.a. regelmässige ambulante Physiotherapie, für welche die Invalidenversicherung seit 1995 jährlich wiederkehrende Kostengutsprache leistete. Letztmals war die ambulante Physiotherapie mit Verfügung vom 2. September 1997 bis zum 30. September 1998 zugesprochen worden.
Am 4. Dezember 1998 ersuchte P._ die Invalidenversicherung um Kostengutsprache für die Physiotherapie, welche sie auch nach dem 30. September 1998 benötige. Dieses Begehren wies die IV-Stelle Basel-Landschaft nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 10. August 1999 ab.
B.- Das Versicherungsgericht des Kantons Basel-Landschaft hiess mit Entscheid vom 26. Juli 2000 die dagegen eingereichte Beschwerde gut, hob die angefochtene Verfügung vom 10. August 1999 auf und wies die IV-Stelle an, die ambulante Physiotherapie als medizinische Massnahme ab
1. Oktober 1998 zu übernehmen.
C.- Das Bundesamt für Sozialversicherung führt Verwaltungsgerichtsbeschwerde und beantragt, in Aufhebung des vorinstanzlichen Entscheides sei die Verfügung vom 10. August 1999 wiederherzustellen.
Die Versicherte schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde. Die IV-Stelle trägt auf Gutheissung der Beschwerde an.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
2.- a) Das kantonale Gericht hat die massgebenden Bestimmungen über den Anspruch auf medizinische Massnahmen physiotherapeutischer Art bei Lähmungen und andern motorischen Funktionsausfällen (insbesondere Art. 12 Abs. 1 und 2 IVG sowie Art. 2 Abs. 2 und 3 IVV) und die dazu ergangene Rechtsprechung im Wesentlichen (vgl. auch <ref-ruling> Erw. 3a, 108 V 217 Erw. 1a, je mit weiteren Hinweisen) zutreffend dargelegt. Es kann darauf verwiesen werden.
b) Erwähnt sei lediglich noch, dass <ref-law> namentlich bezweckt, die Aufgabenbereiche der Invalidenversicherung einerseits und der sozialen Kranken- und Unfallversicherung anderseits gegeneinander abzugrenzen. Diese Abgrenzung beruht auf dem Grundsatz, dass die Behandlung einer Krankheit oder einer Verletzung ohne Rücksicht auf die Dauer des Leidens primär in den Aufgabenbereich der Kranken- und Unfallversicherung gehört (<ref-ruling> Erw. 1, 102 V 41 f.).
Das Gesetz umschreibt die Vorkehren medizinischer Art, welche von der Invalidenversicherung nicht zu übernehmen sind, mit dem Rechtsbegriff "Behandlung des Leidens an sich". Wo und solange labiles pathologisches Geschehen besteht und mit medizinischen Vorkehren angegangen wird, seien sie kausal oder symptomatisch, auf das Grundleiden oder dessen Folgeerscheinungen gerichtet, stellen solche Heilmassnahmen, sozialversicherungsrechtlich betrachtet, Behandlung des Leidens an sich dar. Dem labilen pathologischen Geschehen hat die Rechtsprechung seit jeher im Prinzip alle nicht stabilisierten Gesundheitsschäden gleichgestellt, die Krankheitswert haben. Demnach gehören jene Vorkehren, welche auf die Heilung oder Linderung pathologischen oder sonstwie Krankheitswert aufweisenden Geschehens labiler Art gerichtet sind, nicht ins Gebiet der Invalidenversicherung. Erst wenn die Phase des (primären oder sekundären) labilen pathologischen Geschehens insgesamt abgeschlossen und ein stabiler bzw. relativ stabilisierter Zustand eingetreten ist, kann sich - bei volljährigen Versicherten - überhaupt die Frage stellen ob eine Vorkehr Eingliederungsmassnahme sei. Die Invalidenversicherung übernimmt in der Regel nur unmittelbar auf die Beseitigung oder Korrektur stabiler Defektzustände oder Funktionsausfälle gerichtete Vorkehren, sofern sie die Wesentlichkeit und Beständigkeit des angestrebten Erfolges im Sinne des <ref-law> voraussehen lassen. Dagegen hat die Invalidenversicherung eine Vorkehr, die der Behandlung des Leidens an sich zuzuzählen ist, auch dann nicht zu übernehmen, wenn ein wesentlicher Eingliederungserfolg vorausgesehen werden kann. Der Eingliederungserfolg, für sich allein betrachtet, ist im Rahmen des <ref-law> kein taugliches Abgrenzungskriterium, zumal praktisch jede ärztliche Vorkehr, die medizinisch erfolgreich ist, auch im erwerblichen Leben eine entsprechende Verbesserung bewirkt (<ref-ruling> Erw. 3a, 115 V 194 Erw. 3, 112 V 349 Erw. 2, 105 V 19 und 149, 104 V 82, 102 V 42).
c) Die Voraussetzungen für die Gewährung von Physiotherapie bei Lähmungen und andern motorischen Funktionsausfällen als medizinische Massnahmen durch die Invalidenversicherung hat der Bundesrat näher umschrieben (<ref-law> in Verbindung mit <ref-law>). Auch im Anwendungsbereich dieser Verordnungsbestimmungen muss das gesetzliche Erfordernis eines stabilen oder zumindest relativ stabilisierten Gesundheitszustandes erfüllt sein. Der Invalidenversicherung erwächst nach <ref-law> auch dann keine Leistungspflicht, wenn die Physiotherapie auf die Behandlung eines - auf die Lähmung zurückgehenden - sekundären Krankheitsgeschehens gerichtet ist wie beispielsweise Zirkulationsstörungen, Skelettdeformitäten oder Kontrakturen. Ebenfalls nicht zu Lasten der Invalidenversicherung gehen physiotherapeutische Vorkehren, die nur labiles pathologisches Geschehen mildern (<ref-ruling> Erw. 1a mit Hinweisen).
d) Die Rechtsprechung hat festgehalten, dass sich stabilisierende Vorkehren stets gegen labiles pathologisches Geschehen richten. Deshalb muss eine kontinuierliche Therapie, die notwendig ist, um das Fortschreiten eines Leidens zu verhindern, als Behandlung des Leidens an sich bewertet werden. Keine stabile Folge von Krankheit, Unfall oder Geburtsgebrechen ist daher ein Zustand, der sich nur dank therapeutischer Massnahmen einigermassen im Gleichgewicht halten lässt, gleichgültig welcher Art die Behandlung sei. Ein solcher Zustand ist, solange er im Gleichgewicht bewahrt werden kann, wohl stationär, aber nicht im Sinne der Rechtsprechung stabil. Die medizinischen Vorkehren, die zur Aufrechterhaltung des stationären Zustandes erforderlich sind, können daher von der Invalidenversicherung nicht übernommen werden (<ref-ruling> f.; AHI 1999 S. 127 Erw. 2d, ZAK 1988 S. 86 f. Erw. 1).
3.- Vorliegend haben die IV-Stelle und das Bundesamt für Sozialversicherung aus den in den Akten liegenden Unterlagen, insbesondere den Berichten des Dr. med.
R._ vom 19. Februar 1999 und 23. Juni 1998 (vgl.
auch Berichte der Klinik X._ vom 18. März 1997 und des Dr. med. G._ vom 2. Februar 1996), namentlich zu Recht den Schluss gezogen, dass die bei der Beschwerdegegnerin seit Jahren durchgeführte Physiotherapie voraussichtlich dauernd weiter notwendig ist, weshalb die in Frage stehenden Vorkehren nicht auf stabile Folgen der Lähmungen und damit auch nicht auf einen zumindest relativ stabilisierten Zustand gerichtet sind. Bei den umstrittenen Therapien geht es vielmehr primär darum, den zunehmenden Beinparesen und der bestehenden Rezidivgefahr durch regelmässige physiotherapeutische Behandlungen vorzubeugen bzw.
entgegen zu wirken und auf diese Weise den Zustand einigermassen im Gleichgewicht zu halten (vgl. Erw. 2d hievor).
Wie das Bundesamt und die IV-Stelle zutreffend darlegen, liegt damit ein im Sinne der Rechtsprechung stationärer, nicht aber stabiler Zustand vor, weshalb die anbegehrten Therapien invalidenversicherungsrechtlich als Behandlung des Leidens an sich zu bewerten sind. Bei diesen Gegebenheiten kann die streitige Physiotherapie nicht als medizinische Eingliederungsmassnahme im Sinne von <ref-law> in Verbindung mit <ref-law> qualifiziert werden. Daran vermögen die Ausführungen der Vorinstanz und der Beschwerdegegnerin nichts zu ändern. Dass die vorgenommenen Behandlungen sich günstig auf die Arbeits- resp. Erwerbsfähigkeit auswirken bzw. für die Erhaltung derselben wesentlich sind, wie seitens der Beschwerdegegnerin sinngemäss eingewendet wird, gibt ebenfalls zu keiner andern Beurteilung Anlass.
Denn ein - in der Regel mit jeder Therapie verbundener - Eingliederungserfolg allein ist nicht entscheidend dafür, ob eine medizinische Vorkehr als Eingliederungsmassnahme im Sinne des <ref-law> anerkannt werden kann (dazu Erw. 2b hievor in fine mit Hinweisen). Ebenso wenig ergibt sich aus dem von der Vorinstanz erwähnten Umstand etwas Anderes, wonach mit der Therapie die Funktionstüchtigkeit, von der die Erwerbsfähigkeit abhängt, erhalten werden könne (<ref-law>), weil auch im Anwendungsbereich dieser Verordnungsbestimmung das gesetzliche Erfordernis eines stabilen oder zumindest relativ stabilisierten Gesundheitszustandes erfüllt sein muss (vgl. vorstehende Erw. 2c).
Dass dies vorliegend nicht der Fall ist, haben IV-Stelle und Bundesamt zutreffend dargelegt, worauf auch die Vorinstanz unter Einräumung der sich aus den Akten ergebenden zunehmenden Verschlechterung des Gesundheitszustandes selbst hinweist. Bezüglich der von der Vorinstanz noch erwähnten "neuen Tatsachen", die vorliegend im Sinne einer "Quasi-Revision" zur Ablehnung der Leistungen erfüllt sein müssten, wird auf die zutreffenden Ausführungen der IV-Stelle in der Vernehmlassung zur Verwaltungsgerichtsbeschwerde vom 26. September 2000 verwiesen. Es muss daher bei der Feststellung sein Bewenden haben, dass die Invalidenversicherung die anbegehrte, an sich zweckmässige und sinnvolle Physiotherapie gleichwohl nicht zu übernehmen hat, indem die Massnahme in den Bereich der Krankenversicherung gehört. Im Übrigen kann auf die eingehenden Darlegungen der Verwaltung, insbesondere auch des Bundesamtes in seiner Verwaltungsgerichtsbeschwerde, verwiesen werden, denen das Eidgenössische Versicherungsgericht nichts beizufügen hat.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde wird
der Entscheid des Versicherungsgerichts des Kantons
Basel-Landschaft vom 26. Juli 2000 aufgehoben.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Basel-Landschaft und der IV-Stelle Basel-Landschaft zugestellt.
Luzern, 4. Dezember 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: