Art. 9 BV (Rechtsöffnung), hat sich ergeben:
A.-In der am 14. April 1998 unterzeichneten Vereinbarung verpflichtete sich R.W._ I.W._ ab dem
1. Mai 1998 bis zu seinem Ableben monatlich, jeweils am Ersten des Monats einen Betrag von Fr. 3'000.-- zu bezahlen.
Laut Vereinbarung ist der Betrag auch geschuldet, wenn die Ehe der Parteien auf Begehren der Ehefrau geschieden wird, nicht aber bei Scheidung der Ehe auf Antrag des Ehemannes (Ziff. 1 der Vereinbarung). Diese Abmachung wurde mit Entscheid des Gerichtspräsidiums Kulm vom 27. April 1998 genehmigt und das Präliminarverfahren als erledigt abgeschrieben.
Das Scheidungsverfahren wurde nicht fortgeführt. Die Parteien lebten von Herbst 1998 bis Mitte Februar 2001 wieder in der ehelichen Liegenschaft; nach den Feststellungen des Obergerichts des Kantons Aargau wurde der gemeinsame Haushalt im April 2001 erneut aufgelöst. Die Ehefrau blieb die Unterhaltsbeiträge ab September 1998 schuldig.
B.-Der Ehemann betrieb die Ehefrau mit Zahlungsbefehl Nr. 20010221 des Betreibungsamtes X._ vom 2. Mai 2001 für die Unterhaltsbeiträge von September 1998 bis und mit Mai 2001 im Betrag von Fr. 99'000.- nebst Zins, worauf die Ehefrau Rechtsvorschlag erhob. Am 31. August 2001 erteilte der Präsident des Bezirksgerichts Kulm dem Ehemann provisorische Rechtsöffnung für die Unterhaltsbeiträge von September 1998 bis und mit April 2001 im Betrag von Fr. 96'000.-- nebst Zins. Auf Beschwerde der Ehefrau wies das Obergericht des Kantons Aargau das Rechtsöffnungsbegehren ab.
C.-Mit rechtzeitiger staatsrechtlicher Beschwerde beantragt der Ehemann im Wesentlichen, das obergerichtliche Urteil sei aufzuheben. Vernehmlassungen sind nicht eingeholt worden.

Das Bundesgericht zieht in Erwägung:
1.-Der Beschwerdeführer beruft sich in seinen Ausführungen zur Willkür sowohl auf Art. 9 BV als auch auf § 10 der Verfassung des Kantons Aargau. Er legt jedoch nicht rechtsgenüglich dar, inwiefern ihm die kantonale Bestimmung im Verhältnis zu Art. 9 BV einen besseren Rechtsschutz gewährt (vgl. zur Darlegungspflicht: <ref-ruling> E. 2). Die Beschwerde ist somit nur unter dem Gesichtswinkel von Art. 9 BV zu behandeln.
2.-Das Obergericht ist zusammenfassend zum Schluss gelangt, die Auffassung der Beschwerdegegnerin, dass die getroffene Unterhaltsregelung nur für das Getrenntleben der Parteien bestimmt gewesen sei, erweise sich als naheliegender.
Der Beschwerdeführer rügt diese Schlussfolgerung unter verschiedenen Aspekten als willkürlich. Willkür liegt indes nach ständiger Rechtsprechung des Bundesgerichts nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen materieller Rechtsverweigerung nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 3a S. 117; <ref-ruling> E. 4a S. 319 f.; <ref-ruling> E. 5a). Für eine Aufhebung des angefochtenen Entscheides wegen Willkür ist zudem erforderlich, dass sich nicht nur die Begründung, sondern auch das Ergebnis als unhaltbar erweist (<ref-ruling> E. 5b mit Hinweisen).
a) Der Beschwerdeführer erachtet die Annahme des Obergerichts einmal deshalb als willkürlich, weil der Endtermin der Unterhaltspflicht der Beschwerdegegnerin längstens bis zu seinem Tod befristet worden sei, es sei denn die Ehe werde auf sein Verlangen geschieden. Damit liege eine Verpflichtung im Sinne von Art. 516 OR vor. Diesen rechtlichen Gesichtspunkt hat der Beschwerdeführer im kantonalen Verfahren nicht vorgetragen. Als Novum ist er somit in der staatsrechtlichen Beschwerde wegen Willkür grundsätzlich unzulässig (<ref-ruling> E. 1a; <ref-ruling> E. 3 S. 115 f.).
Da Ausnahmen von dieser Regel vom Beschwerdeführer nicht behauptet wurden, kann insoweit auf die staatsrechtliche Beschwerde nicht eingetreten werden.
b) Der Beschwerdeführer setzt des Weiteren auseinander, selbst wenn die Vereinbarung - entgegen seiner Ansicht - nur für die Dauer des Getrenntlebens hätte gelten sollen, so würde sie nur dahinfallen, wenn bei jedem Ehegatten der vorbehaltlose Wille zur dauerhaften Wiederherstellung der ehelichen Gemeinschaft vorhanden sei. Bleibe die Wiedervereinigung umstritten, so trage jener Ehegatte die Beweislast, der das Dahinfallen der Eheschutzmassnahme geltend mache. Im vorliegenden Fall treffe somit die Beschwerdegegnerin die Beweislast für die Tatsache, dass sie mit dem Einzug des Beschwerdeführers im Herbst 1998 auch bereit gewesen sei, das Eheleben wieder aufzunehmen; diesbezüglich fehlten indes seitens der Beschwerdegegnerin sowohl Hinweise als auch Beweise.
Der Beschwerdeführer bestreitet nicht, im Oktober 1998 wieder "eingezogen" zu sein. Er ist jedoch der Ansicht, die Parteien hätten das eigentliche Eheleben nicht wieder aufgenommen. Nun hat das Obergericht - wenn auch nicht ausdrücklich - für die Anwendung von Art. 179 Abs. 2 ZGB als ausreichend angesehen, dass die Parteien wieder im gleichen Haushalt leben; es hat somit - sinngemäss - nicht verlangt, dass es sich um eine umfassende Lebensgemeinschaft handle, was an sich der Begriff des Zusammenlebens nahelegen könnte.
Der Beschwerdeführer legt indes nicht dar, inwieweit das Obergericht mit diesem Gesetzesverständnis geradezu in Willkür verfiel. Auch in der Literatur wird der Standpunkt vertreten, dass für die Wiederaufnahme des Zusammenlebens gemäss Art. 179 Abs. 2 ZGB auf äussere Kriterien, wie etwa die wieder aufgenommene Haushaltsgemeinschaft, abgestellt werden könne (Bräm/Hasenböhler, Zürcher Kommentar, N. 47 zu Art. 179 ZGB). Die Rüge der Verletzung der Beweislast geht ins Leere und erweist sich damit als unbegründet.
c) Als unhaltbar bezeichnet der Beschwerdeführer schliesslich die Schlussfolgerung des Obergerichts auch deshalb, weil er - entgegen der Annahme der letzten kantonalen Instanz - nie auf die Unterhaltsbeiträge seitens der Beschwerdegegnerin verzichtet habe. Die anwaltlich vertretene Beschwerdegegnerin habe mit Schreiben vom 8. September 1999 um eine Verzichtserklärung für die Zeit ersucht, "solange die Parteien zusammenleben". Damit aber gelte als erstellt, dass auch sie im September 1999 davon ausgegangen sei, die Unterhaltspflicht bestehe auch nach Aufgabe des Zusammenlebens weiter. Willkürlich sei aber auch der Vorhalt, er (der Beschwerdeführer) habe seine Ansprüche gegenüber der Beschwerdegegnerin nie durchgesetzt, zumal die Verjährung erst 2003 eintrete und der Gläubiger nicht verpflichtet sei, den Anspruch sofort mit voller Härte durchzusetzen.
Das Obergericht hat keineswegs verkannt, dass der Beschwerdeführer nicht dafür zu gewinnen war, für die Zeit des Zusammenlebens mit der Beschwerdegegnerin auf die Unterhaltsbeiträge zu verzichten. Hervorgehoben hat es auch, dass sich aus dem Wortlaut der Vereinbarung nicht schliessen lasse, die Unterhaltspflicht entfalle mit der Wiederaufnahme des gemeinsamen Haushaltes. Entscheidend war für das Obergericht, dass der Beschwerdeführer seine Ansprüche gegenüber der Beschwerdegegnerin bis nach der erneuten Auflösung des gemeinsamen Haushaltes im April 2001, also auch nach Ablehnung des Verzichts, nicht eingefordert hat und überdies am 14. September 1999 sogar noch Zahlungen für Unterkunft und Wäschebesorgung an die Beschwerdegegnerin leistete. Angesichts dieses nachträglichen Verhaltens des Beschwerdeführers (Kramer, Berner Kommentar, N. 28 zu Art. 18 OR) erweist sich die Schlussfolgerung des Obergerichts nicht als willkürlich.
Dass ein Gläubiger mit der Eintreibung seiner Forderung grundsätzlich zuwarten kann und einzig die Verjährung zu beachten hat, vermag daran ebenso wenig etwas zu ändern, wie der Umstand, dass kein ausdrücklicher Verzicht des Beschwerdeführers vorliegt.
3.-Damit ist die staatsrechtliche Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 OG). Er schuldet indes der Beschwerdegegnerin keine Entschädigung für das bundesgerichtliche Verfahren, da keine Vernehmlassung eingeholt worden ist.

Demnach erkennt das Bundesgericht:
1.-Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.-Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.-Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, 5. Zivilkammer, schriftlich mitgeteilt.
_
Lausanne, 13. März 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: