Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Die vorliegende Streitigkeit um Invalidenleistungen im Rahmen der beruflichen Vorsorge (bzw. Überentschädigung) unterliegt der Gerichtsbarkeit der in Art. 73 BVG erwähnten richterlichen Behörden, welche sowohl in zeitlicher als auch in sachlicher Hinsicht zuständig sind (<ref-ruling> Erw. 2, 120 V 18 Erw. 1a, 313 Erw. 1a, je mit Hinweisen).
b) Der Streit um Überentschädigung ist ein Streit um Versicherungsleistungen im Sinne von Art. 132 OG (<ref-ruling> Erw. 1b), weshalb die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt ist, sondern sich auch auf die Angemessenheit der angefochtenen Verfügung erstreckt; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen.
2.- Gegenstand des Verfahrens bildet die Überentschädigungsberechnung ab 1. Januar 1995 bis zum Erlass des kantonalen Klageentscheids vom 26. Januar 1999 (vgl. SZS 1999 S. 149 Erw. 3 Ingress). Dabei stellt sich einzig die Frage, in welchem Umfange die seitens der Invalidenversicherung ausgerichtete Rente in die von der Pensionskasse vorzunehmende Ermittlung der Überentschädigung mit einzubeziehen ist. Die Beschwerdeführerin vertritt die Auffassung, die Rente der Invalidenversicherung sei in diesem Zusammenhang völlig ausser Rechnung zu lassen bzw. lediglich insoweit zu berücksichtigen, als sie dazu dient, die Erwerbsunfähigkeit zu entschädigen. Demgegenüber stellen sich Vorsorgeeinrichtung, Vorinstanz und BSV auf den Standpunkt, eine Ausserachtlassung desjenigen Teils der Invalidenversicherungsrente, welcher der Abgeltung der Beeinträchtigung im Haushalt dient, komme nur für die Überentschädigungsberechnung hinsichtlich der (ab 1. November 1996 ausgerichteten) BVG-Minimalrente in Frage, während § 14 Abs. 2 der Versicherungsbedingungen der Pensionskasse für den Bereich der weitergehenden beruflichen Vorsorge die vollumfängliche Mitberücksichtigung der Rente der Invalidenversicherung vorschreibe.
3.- a) Bei als Teilerwerbstätige zu qualifizierenden Versicherten wird die Rente der Invalidenversicherung nach der gemischten Methode der Invaliditätsbemessung ermittelt. Diese Rente gleicht zum einen die Erwerbseinbusse und zum andern die Unfähigkeit aus, sich im bisherigen Aufgabenbereich im Sinne von Art. 5 Abs. 1 IVG zu betätigen (Art. 27bis Abs. 1 IVV; <ref-ruling>). Im Gegensatz dazu dient die Invalidenrente der beruflichen Vorsorge allein dem Ausgleich der Beeinträchtigung in erwerblicher Hinsicht. Das Eidgenössische Versicherungsgericht hat deshalb in seinem Grundsatzurteil X. vom 16. Juli 1998, B 24/97, im Hinblick auf Art. 34 Abs. 2 BVG in Verbindung mit Art. 24 Abs. 1 und 2 BVV 2 festgestellt, bei der Konkurrenz zwischen einer nach der gemischten Invaliditätsbemessungsmethode berechneten Rente der Invalidenversicherung und einer Invalidenrente der beruflichen Vorsorge sei nach dem Grundsatz der sachlichen Kongruenz nur jener Teil der Invalidenversicherungsrente in die Überentschädigungsberechnung mit einzubeziehen, welcher dazu bestimmt ist, die Erwerbsunfähigkeit zu entschädigen (<ref-ruling>). Diesem Leitentscheid ist überdies die Formel zur Bestimmung des im Rahmen der Überentschädigungsermittlung zu berücksichtigenden Ausmasses der Rente der Invalidenversicherung zu entnehmen (<ref-ruling> Erw. 2b/cc).
b) Nach § 14 Abs. 2 erster Satz der Versicherungsbedingungen der Aargauischen Beamtenpensionskasse vom 25. Oktober 1958 (nachfolgend: VB BPK/AG) sind die Invaliden- und Hinterlassenenrenten der Pensionskasse soweit herabzusetzen, als sie zusammen mit Lohnersatzleistungen oder mit Leistungen der eidgenössischen AHV, der IV, gemäss Unfallversicherungsgesetz (UVG) und der eidgenössischen Militärversicherung 90 % der Bruttobesoldung übersteigen. Der Passus "... mit Lohnersatzleistungen oder ..." gelangte im Rahmen einer auf den 1. Januar 1995 in Kraft gesetzten Novelle in die angeführte Reglementsbestimmung und stellt eine Präzisierung auf Grund bisher geübter Praxis (z.B. im Zusammenhang mit Taggeldleistungen) dar (S. 18 des Berichtes des Vorstandes der Aargauischen Beamtenpensionskasse vom 3. Oktober 1994). Teilinvalidenrenten werden entsprechend der wegfallenden Bruttobesoldung nach den Koordinationsregeln von Abs. 2 gekürzt (§ 14 Abs. 3 VB BPK/AG).
4.- Pensionskasse, kantonales Gericht und BSV vertreten - im Gegensatz zur Beschwerdeführerin - den Standpunkt, dass sich das in Erw. 3a hievor dargelegte Grundsatzurteil <ref-ruling> lediglich auf den obligatorischen Bereich der beruflichen Vorsorge beziehe, wogegen es den Vorsorgeeinrichtungen im ausserobligatorischen Bereich auf Grund der ihnen diesbezüglich zustehenden prinzipiellen Gestaltungsfreiheit (Art. 49 Abs. 2 BVG) unbenommen sei, die Koordination mit anderen Sozialversicherungen abweichend von Art. 34 Abs. 2 BVG in Verbindung mit Art. 24 BVV 2 und der dazu ergangenen Rechtsprechung zu regeln. Wie es sich damit verhält, bräuchte indessen vorliegend nur dann abschliessend beantwortet zu werden, wenn die Pensionskasse mit § 14 Abs. 2 VB BPK/AG für den Bereich der weitergehenden Vorsorge tatsächlich eine von der aufgezeigten Gerichtspraxis abweichende Regelung statuiert hätte, wie die Vorsorgeeinrichtung ausdrücklich geltend macht und Vorinstanz sowie BSV stillschweigend annehmen. Es rechtfertigt sich deshalb, nachfolgend zunächst dieser Frage nachzugehen.
5.- a) Die Auslegung der erwähnten Bestimmung hat - da es sich bei der betroffenen Vorsorgeeinrichtung um eine solche des öffentlichen Rechts handelt (§ 1 Abs. 1 der Statuten der Aargauischen Beamtenpensionskasse vom 25. Oktober 1958) - nach den gewöhnlichen Regeln der Gesetzesauslegung zu geschehen. Denn anders als bei den privatrechtlichen Vorsorgeträgern, wo das Rechtsverhältnis zu den Versicherten im Bereich der freiwilligen Vorsorge auf dem Vorsorgevertrag beruht, dessen Auslegung folgerichtig nach Vertrauensprinzip, unter Berücksichtigung der Unklarheits- und Ungewöhnlichkeitsregeln erfolgt (<ref-ruling> Erw. 4c, 116 V 221 Erw. 2, je mit Hinweisen), weist das dem öffentlichen Recht unterstehende Vorsorgeverhältnis keine vertraglichen Elemente auf (SZS 2001 S. 384 Erw. 3, 2000 S. 154 Erw. 5a, 1998 S. 68 Erw. II/3b).
Das Gesetz ist in erster Linie nach seinem Wortlaut auszulegen. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente, namentlich des Zwecks, des Sinnes und der dem Text zu Grunde liegenden Wertung. Wichtig ist ebenfalls der Sinn, der einer Norm im Kontext zukommt. Vom klaren, d.h. eindeutigen und unmissverständlichen Wortlaut darf nur ausnahmsweise abgewichen werden, u.a. dann nämlich, wenn triftige Gründe dafür vorliegen, dass der Wortlaut nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Grund und Zweck oder aus dem Zusammenhang mit andern Vorschriften ergeben (<ref-ruling> Erw. 5b/aa, 127 V 5 Erw. 4a, 92 Erw. 1d, 198 Erw. 2c, je mit Hinweisen).
b) Der von Pensionskasse, kantonalem Gericht und BSV eingenommene Standpunkt, wonach die seitens der Invalidenversicherung ausgerichtete Rente im Rahmen der weitergehenden beruflichen Vorsorge vollumfänglich in die Überentschädigungsberechnung mit einzubeziehen ist, beruht auf dem Umstand, dass im (unter Erw. 3b hievor zitierten) ersten Satz von § 14 Abs. 2 VB BPK/AG an sich ohne Einschränkung die Anrechnung u.a. von "Leistungen der eidgenössischen ... IV" vorgeschrieben wird. Ebenfalls unter Berufung auf den Wortlaut der fraglichen Reglementsbestimmung macht die Beschwerdeführerin geltend, wenn im selben Satzteil ausdrücklich von zu berücksichtigenden "Lohnersatzleistungen" die Rede sei, dürfe bei der Überentschädigungsermittlung jener Anteil der Invalidenversicherungsrente nicht angerechnet werden, mit welchem die Beeinträchtigung im bisherigen (nichterwerblichen) Aufgabenbereich abgegolten wird. Unter dem Blickwinkel einer rein grammatikalischen Auslegung wären beide Auffassungen vertretbar.
Sämtliche Verfahrensbeteiligten sind in systematischer Hinsicht, ohne sich allerdings ausdrücklich mit diesem Aspekt der Reglementsinterpretation auseinanderzusetzen, davon ausgegangen, § 14 Abs. 2 VB BPK/AG beziehe sich nur auf die Kürzung der Invaliden- und Hinterlassenenleistungen im Bereich der weitergehenden Vorsorge. Dies trifft indes nicht zu. Die Versicherungsbedingungen der Aargauischen Beamtenpensionskasse nehmen keinerlei formelle Trennung zwischen Leistungen im obligatorischen und solchen im ausserobligatorischen Bereich der beruflichen Vorsorge vor. Die streitige Vorschrift findet sich im Abschnitt B. "Leistungen der Kasse" unter dem 1. Titel "Allgemeine Bestimmungen", weshalb sich ihre Geltung auf die überentschädigungsbedingte Kürzung der Invaliden- und Hinterlassenenrenten aus dem gesamten (d.h. sowohl obligatorischen wie auch ausserobligatorischen) Leistungsbereich der als umhüllende Kasse konzipierten Vorsorgeeinrichtung erstreckt. Dies bedeutet, dass eine gestützt auf § 14 Abs. 2 VB BPK/AG vorzunehmende Überentschädigungsberechnung (zumindest) hinsichtlich des obligatorischen Bereichs nicht mit Art. 34 Abs. 2 BVG in Verbindung mit Art. 24 Abs. 1 und 2 BVV 2 sowie der in Erw. 3a hievor angeführten Rechtsprechung <ref-ruling> im Widerspruch stehen darf. Und wie am Ende des vorstehenden Absatzes festgestellt, kann die Reglementsbestimmung durchaus in Übereinstimmung mit den genannten gesetzlichen Normen und der erwähnten Gerichtspraxis ausgelegt werden. Wenn nun aber - wie dargetan - § 14 Abs. 2 VB BPK/AG sowohl für Leistungen aus dem obligatorischen wie auch für solche aus dem weitergehenden Bereich der beruflichen Vorsorge Geltung beansprucht, ist die Vorschrift mit Bezug auf beide Leistungsbereiche gleich, nämlich dahin gehend zu interpretieren, dass eine seitens der Invalidenversicherung ausgerichtete Rente nur insoweit in die Überentschädigungsberechnung mit einzubeziehen ist, als damit die Erwerbsunfähigkeit entschädigt wird. Allein eine solche Auslegung bringt die wahre Tragweite des unklaren, verschiedene Interpretationen zulassenden Reglementstextes zum Ausdruck. Im Falle einer nach der gemischten Methode der Invaliditätsbemessung berechneten Invalidenversicherungsrente bleibt deren auf die Einschränkung im bisherigen Aufgabenbereich gemäss Art. 5 Abs. 1 IVG entfallende Anteil somit im Rahmen jeglicher Überentschädigungsermittlung der Vorsorgeeinrichtung unberücksichtigt.
Dieses Auslegungsergebnis entspricht <ref-ruling>, weshalb die in Erw. 4 aufgeworfene Frage nicht abschliessend zu beantworten ist.
6.- a) Der Hauptantrag der Beschwerdeführerin, wonach die Invalidenrente der Pensionskasse bis 31. Oktober 1996 ungekürzt auszurichten sei, weil sie bis zu jenem Zeitpunkt im erwerblichen Teilbereich mit 33 % keine im Sinne der Invalidenversicherung rentenrelevante Invalidität erreicht habe, ist unbegründet. Abgesehen davon, dass sie im genannten Teilbereich bereits ab 1. Juli 1996 eine vollständige Erwerbsunfähigkeit aufwies (vgl. die Rentenrevisionsverfügung der IV-Stelle vom 5. Mai 1997 und deren Erläuterung vom 2. Juni 1997), schreibt § 14 Abs. 2 VB BPK/AG - um eine Überentschädigung zu verhindern - die Mitberücksichtigung des auf die Beeinträchtigung in erwerblicher Hinsicht entfallenden Anteils an der Invalidenversicherungsrente unabhängig vom jeweiligen Ausmass der Invalidität in diesem Teilbereich vor.
b) Was das eingangs angeführte Eventualbegehren anbelangt, gilt es nachfolgend im Hinblick auf <ref-ruling> Erw. 2b/cc den Umfang zu bestimmen, in welchem die jeweilige Rente der Invalidenversicherung in die Überentschädigungsberechnung mit einzubeziehen ist: Wie bereits erwähnt, versah die Beschwerdeführerin vor Eintritt der Invalidität ein Arbeitspensum von 25 Stunden pro Woche gegenüber der Normalarbeitszeit in der kantonalen Verwaltung von 42 Stunden. Unter Berücksichtigung einer zunächst 33 %igen, später vollständigen Beeinträchtigung in erwerblicher Hinsicht und einer (ab Invaliditätseintritt durchgehend) 60 %igen Einschränkung bei der Haushaltführung ermittelten die IV-Organe Gesamtinvaliditätsgrade von 43,93 % bzw. 83,81 % gemäss folgenden Berechnungen (vgl. auch Rz 3110 des ab 1. Januar 2000 gültigen Kreisschreibens des BSV über Invalidität und Hilflosigkeit in der Invalidenversicherung):
25 X 33 +(42-25) X 60 = 43,93
42
bzw. 25 X 100+(42-25) X 60 = 83,81
42
Der ursprüngliche Gesamtinvaliditätsgrad von 43,93 % setzte sich aus einer Invalidität von 19,64 % im erwerblichen Teilbereich und einer solchen von 24,29 % im Haushaltsbereich zusammen. Die aktuelle Gesamtinvalidität von 83,81 % entspricht Teilinvaliditätsgraden von 59,52 % im Bereich der Erwerbstätigkeit und von (weiterhin) 24,29 % bei der Haushaltführung. Der jeweilige Anteil der auf den erwerblichen Teilbereich beschränkten Invaliditätsgrade von 19,64 % und59, 52%anderentsprechendenGesamtinvaliditätvon43, 93%bzw. 83,81%beläuftsichauf44, 71%([19, 64X100] :43, 93)und71, 02%([59, 52X100] : 83,81). Mit anderen Worten diente die bis Ende Juni 1996 ausgerichtete Viertelsrente der Invalidenversicherung im Umfange von 44,71 % und dient die ab 1. Juli 1996 ausgerichtete ganze IV-Rente im Umfange von 71,02 % der Entschädigung der Erwerbsunfähigkeit. Die genannten Invalidenversicherungsrenten sind im jeweils zutreffenden Ausmass in die Überentschädigungsberechnung gemäss § 14 Abs. 2 VB BPK/AG mit einzubeziehen.
c) Auf Grund vorstehender Erwägungen ist dem in der Verwaltungsgerichtsbeschwerde erhobenen Eventualbegehren weitestgehend zu entsprechen. Zu beachten gilt, dass die (gekürzte) volle Invalidenrente der Pensionskasse unbestrittenermassen erst ab 1. November 1996 auszurichten war (§ 17 Abs. 1bis VB BPK/AG; Art. 26 Abs. 2 BVG; <ref-ruling> Erw. 5c/cc mit Hinweisen), während die Erhöhung der bis anhin bezogenen Viertelsrente auf eine ganze Rente der Invalidenversicherung - entgegen den sinngemässen Ausführungen der Beschwerdeführerin zum Eventualbegehren - bereits auf den 1. Juli 1996 erfolgte. Ab dem letztgenannten Zeitpunkt bis zum 31. Oktober 1996 bestand somit Konkurrenz zwischen einer Teilinvalidenrente der Vorsorgeeinrichtung (vgl. § 19 Abs. 4 VB BPK/AG) und einer (im Umfange von 71,02 % in die Überentschädigungsberechnung mit einzubeziehenden) ganzen Rente der Invalidenversicherung. Die Sache geht zur betraglichen Feststellung der der Versicherten ab 1. Januar 1995 im Rahmen der beruflichen Vorsorge zustehenden Invalidenrente an die Pensionskasse. Diese wird auch die von ihr ab Klageeinreichung (vom 10. April 1996) geschuldeten Verzugszinsen auf den nachzuzahlenden Rentenbetreffnissen festzusetzen haben (<ref-ruling>; SZS 1997 S. 470 Erw. 4).
7.- Für das Verfahren vor dem Eidgenössischen Versicherungsgericht werden im Hinblick auf Art. 134 OG keine Gerichtskosten erhoben. Dem Ausgang des letztinstanzlichen Verfahrens entsprechend steht der Beschwerdeführerin eine reduzierte Parteientschädigung zu (Art. 135 in Verbindung mit Art. 159 OG).
Für das kantonale Verfahren hat die Vorinstanz der Versicherten ausgangsgemäss keine Parteientschädigung zugesprochen. Weil auf dem Gebiete der beruflichen Vorsorge kein bundesrechtlicher Anspruch auf Parteientschädigung für das erstinstanzliche Verfahren besteht (vgl. Art. 73 BVG), ist davon abzusehen, die Akten zu einer allfälligen Festsetzung einer Parteientschädigung dem kantonalen Gericht zuzustellen. Hingegen ist es der letztinstanzlich teilweise obsiegenden Beschwerdeführerin unbenommen, mit Blick auf den Ausgang des Prozesses vor dem Eidgenössischen Versicherungsgericht bei der Vorinstanz einen entsprechenden Antrag zu stellen.

Demnach erkennt das Eidg. Versicherungsgericht:
I. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichts des Kantons Aargau vom 26. Januar 1999 aufgehoben mit der Feststellung, dass die der Beschwerdeführerin zustehenden Leistungen (Invalidenrente, Verzugszins) im Sinne der Erwägungen zu berechnen sind. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die Aargauische Beamtenpensionskasse hat der Beschwerdeführerin für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2000. - (einschliesslich Mehrwertsteuer) zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 18. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber:
i.V.