A.- Die 1948 geborene S._ leidet seit dem
18. Juni 1995 an einer sensomotorisch kompletten Paraplegie unterhalb Th 6. Die IV-Stelle des Kantons Aargau sprach ihr mit Verfügung vom 26. Januar 1998 unter Berücksichtigung eines Invaliditätsgrades von 73 % ab 1. Juni 1996 eine ganze Invalidenrente zu. Mit einer weiteren Verfügung vom selben Datum gewährte die IV-Stelle S._ mit Wirkung ebenfalls ab 1. Juni 1996 eine Hilflosenentschädigung wegen Hilflosigkeit "mittleren Grades" in der Höhe von Fr. 498.- pro Monat. Dieser Betrag entsprach denn auch dem im Verfügungsformular angegebenen mittleren Hilflosigkeitsgrad, wogegen die IV-Stelle sowohl im der Verfügung beiliegenden Begründungsblatt als auch im Vorbescheid vom 3. November 1997 und in der Mitteilung des "HE/IV-Beschlusses" an die Ausgleichskasse des Kantons Aargau vom 30. Dezember 1997 jeweils festgestellt hatte, es liege eine Hilflosigkeit "leichten Grades" vor. Dass sie irrtümlicherweise eine Entschädigung für den mittleren statt für den geringsten Hilflosigkeitsgrad verfügt und ausgerichtet hatte, realisierte die Verwaltung erst im Januar 2000. Am 18. Oktober 2000 setzte die IV-Stelle die bisher ausgerichtete Hilflosenentschädigung wegen Hilflosigkeit mittleren Grades rückwirkend ab Leistungsbeginn (1. Juni 1996) auf eine solche wegen leichter Hilflosigkeit herab und forderte gleichzeitig von S._ den zu Unrecht bezogenen Differenzbetrag im Umfange von insgesamt Fr. 11'330.- zurück.
B.- S._ erhob hiegegen Beschwerde beim Versicherungsgericht des Kantons Aargau und beantragte die weitere Ausrichtung der ursprünglich verfügten Hilflosenentschädigung wegen mittelschwerer Hilflosigkeit; eventuell sei von einer Rückforderung abzusehen. Das kantonale Gericht hiess die Beschwerde mit Entscheid vom 4. April 2001 in dem Sinne gut, als es die streitige Herabsetzungs- und Rückerstattungsverfügung aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung hinsichtlich des Hilflosigkeitsgrades von S._, über deren Anspruch auf Hilflosenentschädigung ab 1. Juni 1996 und eine allfällige Rückerstattungspflicht neu verfüge (Dispositiv-Ziffer 1 mit Verweisung auf die Erwägungen).
C.- Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids.
Während S._ in ihrer Stellungnahme die vorinstanzlichen Anträge wiederholt, hat sich das Bundesamt für Sozialversicherung (BSV) zur Verwaltungsgerichtsbeschwerde nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Es stellt sich zunächst die Frage, ob die Beschwerdegegnerin Anspruch auf eine Hilflosenentschädigung wegen mittelschwerer oder bloss wegen leichter Hilflosigkeit hat.
a) <ref-law> sieht drei Hilflosigkeitsgrade vor.
Unter anderem gilt die Hilflosigkeit als mittelschwer, wenn der Versicherte trotz der Abgabe von Hilfsmitteln in den meisten alltäglichen Lebensverrichtungen regelmässig in erheblicher Weise auf die Hilfe Dritter angewiesen ist (<ref-law>); nach der Rechtsprechung ist im Rahmen dieser Bestimmung Hilfsbedürftigkeit in mindestens vier alltäglichen Lebensverrichtungen vorausgesetzt (<ref-ruling> Erw. 3b). Dagegen liegt leichte Hilflosigkeit unter anderem dann vor, wenn der Versicherte trotz der Abgabe von Hilfsmitteln in mindestens zwei alltäglichen Lebensverrichtungen regelmässig in erheblicher Weise auf die Hilfe Dritter angewiesen ist (<ref-law>) oder wegen eines schweren körperlichen Gebrechens nur dank regelmässiger und erheblicher Dienstleistungen Dritter gesellschaftliche Kontakte pflegen kann (lit. d der letztgenannten Verordnungsbestimmung).
Nach der Rechtsprechung zu <ref-law> (und <ref-law>) sind die folgenden sechs alltäglichen Lebensverrichtungen massgebend:
-Ankleiden, Auskleiden;-Aufstehen, Absitzen, Abliegen;-Essen;-Körperpflege;-Verrichtung der Notdurft;-Fortbewegung (im oder ausser Haus), Kontaktaufnahme (BGE
127 V 97 Erw. 3c, 125 V 303 Erw. 4a, 124 II 247 f., je
mit Hinweisen).
b) Der Vorinstanz ist darin beizupflichten, dass sich auf Grund der vorliegenden Akten der Hilfsbedürftigkeitsgrad der Beschwerdegegnerin nicht beurteilen lässt. Die Verwaltung hat - entgegen ihren Angaben im Vorbescheid und im Begründungsblatt zur ursprünglichen Verfügung vom 26. Januar 1998 - offenbar keinerlei Abklärungen über das Ausmass der bei der Versicherten bestehenden Hilflosigkeit vorgenommen, sondern von der Diagnose der sensomotorisch kompletten Paraplegie direkt auf eine leichtgradige Hilfsbedürftigkeit geschlossen. Der diesbezüglich mit der Verwaltungsgerichtsbeschwerde nachgereichten, vom Spital X._ am 13. Oktober 1997 verfassten Gesuchsbegründung betreffend die Abgabe eines Ersatzbezuges für das Antidekubitus-Kissen kann jedenfalls für die hier relevante Rechtsfrage nach dem Hilflosigkeitsgrad nichts Wesentliches entnommen werden. Im Hinblick auf die Ausführungen der Beschwerdegegnerin in der letztinstanzlichen Vernehmlassung ist jedoch angesichts der gegebenen Aktenlage nicht auszuschliessen, dass sie neben der bei kompletter Paraplegie zum Vornherein zu bejahenden Hilfsbedürftigkeit beim Aufstehen/Absitzen/Abliegen und bei der Fortbewegung/ Kontaktaufnahme (<ref-ruling> ff. Erw. 3a und b) in zwei weiteren alltäglichen Lebensverrichtungen regelmässig in erheblicher Weise auf Dritthilfe angewiesen ist, womit eine mittelschwere Hilflosigkeit bestehen würde (Erw. 1a hievor).
Die vorinstanzlich angeordnete Rückweisung zur unumgänglichen Abklärung des Hilflosigkeitsgrades ist demnach rechtens.
Soweit Rz 8059 in Verbindung mit Rz 8058 des Kreisschreibens des BSV über Invalidität und Hilflosigkeit in der Invalidenversicherung (KSIH) - wie die Beschwerde führende IV-Stelle geltend macht - in der Weise auszulegen wäre, dass in Fällen kompletter Paraplegie ohne zusätzliches Gebrechen (nur) eine Hilflosenentschädigung wegen leichter Hilflosigkeit ausgerichtet werden könnte und Abklärungen hinsichtlich einer höhergradigen Hilfsbedürftigkeit stets zu unterbleiben hätten, erwiese sich die Verwaltungsweisung als mit den anwendbaren gesetzlichen Bestimmungen (Erw. 1a hievor) und mit dem für Verwaltung wie Sozialversicherungsgericht gleichermassen geltenden Untersuchungsgrundsatz (<ref-ruling> Erw. 2 mit Hinweisen) offensichtlich nicht vereinbar.
2.- Falls die von der Verwaltung vorzunehmenden ergänzenden Abklärungen zum Ergebnis führen, dass der Beschwerdegegnerin seit Leistungsbeginn lediglich eine Hilflosenentschädigung wegen leichter Hilflosigkeit zugestanden hätte - wie die IV-Stelle seinerzeit annahm, aber irrtümlicherweise nicht verfügte -, stellt sich die Frage nach der rückwirkenden Leistungsherabsetzung und nach der Rückerstattung der unrechtmässig bezogenen Differenzbetreffnisse.
a) Die Vorinstanz hat die diesbezüglich massgebenden gesetzlichen Bestimmungen (<ref-law> in Verbindung mit <ref-law>; <ref-law>) richtig wiedergegeben, worauf verwiesen werden kann. IV-Stelle und kantonales Gericht (letzteres stillschweigend) gehen sodann zu Recht davon aus, dass der Fehler der Verwaltung bei der verfügungsmässigen Umsetzung ihrer Annahme einer bloss leichten Hilflosigkeit einen AHV-analogen Gesichtspunkt betraf (<ref-ruling> Erw. 2b). Unter diesen Umständen griffe gegebenenfalls grundsätzlich die rückwirkende Leistungsherabsetzung mit daraus resultierender Rückerstattungspflicht der Beschwerdegegnerin Platz (<ref-law>; Meyer-Blaser, Die Rückerstattung von Sozialversicherungsleistungen, in: ZBJV 131/1995 S. 473 ff., S. 493 f.).
b) Wie indessen im angefochtenen Entscheid zutreffend festgestellt wurde, ist die Rückforderung von zu Unrecht bezogenen Geldleistungen in der Sozialversicherung nur unter den für die Wiedererwägung oder die prozessuale Revision formell rechtskräftiger Verfügungen massgebenden Voraussetzungen zulässig (126 V 23 Erw. 4b, 46 Erw. 2b, 399 Erw. 1). Auf die im vorinstanzlichen Entscheid angeführten Wiedererwägungsvoraussetzungen (<ref-ruling> Erw. 4b, 46 Erw. 2b, 400 Erw. 2b/aa) kann ebenfalls verwiesen werden.
Vorliegend erhebt sich - wiederum unter der Voraussetzung, dass die nachzuholenden Abklärungen der Verwaltung eine bloss leichtgradige Hilfsbedürftigkeit zu Tage fördern - die Frage, ob die (irrtümlich erfolgte) Zusprechung einer Hilflosenentschädigung wegen mittelschwerer Hilflosigkeit gemäss Verfügung vom 26. Januar 1998 auch materiell zweifellos unrichtig war und insofern die Erfordernisse für eine Wiedererwägung erfüllt waren. Die IV-Stelle hat mithin ihre zusätzlichen Abklärungsmassnahmen gegebenenfalls auch auf diesen Punkt zu richten (vgl. <ref-ruling> Erw. 3).
Von deren Ergebnis wird abhängen, ob der Verwaltung ein Rückforderungsanspruch gegenüber der Beschwerdegegnerin zusteht.
3.- Der vorinstanzliche Rückweisungsentscheid bedarf nach dem Gesagten (nur) insofern der Korrektur, als er die allenfalls zur Diskussion stehenden Wiedererwägungsvoraussetzungen und die dadurch bestimmte Rückerstattungspflicht der Versicherten bejaht. Auch diesbezüglich hätte die IV-Stelle gegebenenfalls ergänzende Abklärungen durchzuführen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Abweisung der Verwaltungsgerichtsbeschwerde wird
Dispositiv-Ziffer 1 des Entscheids des Versicherungsgerichts
des Kantons Aargau vom 4. April 2001 im Sinne
der Erwägungen abgeändert.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse des Kantons Aargau und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 13. September 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: