hat sich ergeben:
A.- Die Parteien heirateten 1965. Mit Urteil des Bezirksgerichtes Brugg vom 11. August 2000 wurde ihre Ehe geschieden. Gegen dieses Urteil erklärten beide Parteien die Berufung ans Obergericht des Kantons Aargau, und zwar je bezüglich der Vorsorgeleistung im Sinne von Art. 124 ZGB und H._ auch bezüglich des ehelichen Güterrechts.
Mit Urteil vom 23. August 2001 wurde die Berufung von G._ abgewiesen, diejenige von H._ dagegen teilweise gutgeheissen.
B.- G._ hat gegen den Entscheid des Obergerichts staatsrechtliche Beschwerde und Berufung erhoben. Mit jener verlangt er deren Gutheissung und die Aufhebung des angefochtenen Urteils, ferner die Rückweisung der Sache an das Obergericht.
C.- H._ beantragt Abweisung der staatsrechtlichen Beschwerde, soweit darauf einzutreten sei; das Obergericht hat auf Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Es besteht vorliegend kein Anlass, von der Regel des Art. 57 Abs. 5 OG abzuweichen, weshalb die staatsrechtliche Beschwerde vor der Berufung zu behandeln ist.
2.- Zulässig, aber unnötig ist der Rückweisungsantrag des Beschwerdeführers; denn im Falle der Gutheissung der Beschwerde hätte das Obergericht unter Berücksichtigung der Ergebnisse des vorliegenden Verfahrens ohne besondere Anweisung durch die erkennende Abteilung neu zu entscheiden (<ref-ruling> E. 2; <ref-ruling> E. 3c/bb).
3.-Die staatsrechtliche Beschwerde stützt sich auf Willkür, mithin auf Art. 9 BV. Der Beschwerdeführer macht geltend, die Feststellung des Obergerichts sei aktenwidrig, dass er über ein Vermögen von rund Fr. 60'565.-- verfüge und die Beschwerdegegnerin über ein solches von Fr. 46'535.--, denn aufgrund der drei massgebenden Faktoren (Eigengut Fr. 82'360.-- und Ersatzforderung Fr. 13'430.--, beides aufgrund des erstinstanzlichen Urteils; Fr. 16'930.-- aus ehelichem Güterrecht gemäss zweitinstanzlichem Urteil) belaufe sich das Vermögen der Beschwerdegegnerin in Wirklichkeit auf Fr. 112'000.--.
Diese Vorbringen genügen den Begründungsanforderungen des Art. 90 Abs. 1 lit. c OG in keiner Weise (dazu <ref-ruling> E. 3c und 4 S. 43; zum Willkürbegriff: <ref-ruling> E. 2b S. 56), weshalb darauf nicht eingetreten werden kann.
Unbeachtlich ist in diesem Zusammenhang der Verweis auf die Seiten 28 - 30 des Urteils des Bezirksgerichts Brugg, denn inwiefern der angefochtene Entscheid verfassungsmässige Rechte verletzt, ist in der Beschwerdeschrift selbst darzulegen (BGE 99 I 344 E. 4; <ref-ruling> E. 4a S. 30).
4.- Dementsprechend wird der Beschwerdeführer für das vorliegende Verfahren kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien sowie dem Obergericht (2. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 7. Februar 2002
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: