wird festgestellt und in Erwägung gezogen:
1.- Mit Präliminarentscheid vom 11. Dezember 1992 war die im Eigentum von A.N._ stehende Liegenschaft für die Dauer des angehobenen Scheidungsprozesses B.N._ und den Kindern als eheliche Wohnung zugewiesen worden. Am 20. September 1998 schied das Bezirksgericht Baden die Ehe. A.N._ appellierte am 13. Januar 1999 hinsichtlich des Unterhaltsbeitrages, der Überweisung eines Teils seiner Vorsorgeeinrichtung und der güterrechtlichen Auseinandersetzung ans Obergericht.
Am 28. April 2000 schrieb das Obergericht das Verfahren zufolge des (bereits am 23. Dezember 1999 erfolgten) Rückzugs der Appellation ab.
Am 30. April 1999 hatte B.N._ den Bezirksgerichtspräsidenten u.a. um Festsetzung des Unterhaltsbeitrages für die weitere Dauer des Scheidungsverfahrens ersucht. Im Rahmen der Klageantwort ersuchte A.N._ widerklageweise, die Klägerin zu verpflichten, die Liegenschaft bis spätestens am 31. August 1999 zu verlassen. Am 20. Oktober 1999 erkannte der Bezirksgerichtspräsident, die Klägerin habe bis spätestens zum 31. März 2000 die Liegenschaft zu verlassen. Am 27. März 2000 beantragte A.N._ beim Bezirksgerichtspräsidenten gestützt auf dessen Entscheid vom 20. Oktober 2000, die örtliche Polizeibehörde mit der Räumung seines Wohnhauses zu beauftragen.
Am 20. Juni 2000 verpflichtete der Bezirksgerichtspräsident die Beklagte, das Haus binnen 10 Tagen nach Rechtskraft des Entscheides zu räumen. Eine von der Beklagten dagegen erhobene Beschwerde hiess das Obergericht am 28. September 2000 gut und wies die Vollstreckungsklage ab.
Mit staatsrechtlicher Beschwerde vom 24. November 2000 verlangte der Kläger u.a. wegen Verletzung des Willkürverbots die Aufhebung des Urteils des Obergerichts und Rückweisung der Sache zur Neubeurteilung. Die Beschwerdegegnerin machte in ihrer Antwort u.a. geltend, die Liegenschaft Ende 2000 verlassen zu haben, weshalb das Verfahren gegenstandslos geworden sei. Der Beschwerdeführer bestätigte, dass die Beschwerdeführerin die Liegenschaft am 9. Januar 2001 verlassen habe, beharrte aber auf der Aufhebung des Kostenentscheides und verlangt, die Beschwerdegegnerin zur Tragung sämtlicher Verfahrenskosten und einer Parteientschädigung vor allen Instanzen zu verurteilen.
2.- a) Mit dem Auszug der Beschwerdegegnerin aus der Liegenschaft des Beschwerdeführers ist das Verfahren gegenstandslos geworden und fehlt es insoweit am Erfordernis des aktuellen praktischen Interesses. Das Verfahren ist daher abzuschreiben.
b) Der Beschwerdeführer beharrt allerdings auf seinem Rechtsschutzinteresse an der Aufhebung des kantonalen Kosten- und Entschädigungsentscheides. In der staatsrechtlichen Beschwerde hat er nebst der Aufhebung des angefochtenen Entscheides zudem verlangt, sämtliche Gerichts- und Anwaltskosten vor den kantonalen Instanzen auf die Beschwerdegegnerin zu überbinden.
Abgesehen davon, dass der Antrag, soweit mit ihm mehr als die Kassation des angefochtenen Entscheides verlangt wird, ohnehin unzulässig wäre, kann sich das Bundesgericht damit aus anderem Grunde nicht befassen. Nach Art. 157 und 159 Abs. 6 OG und der einschlägigen Rechtsprechung kann das Bundesgericht den kantonalen Kosten- und Entschädigungsentscheid nur abändern, wenn es auch den Entscheid in der Sache selbst ändert (<ref-ruling> E.3). Das ist, wenn wie hier die Sache gegenstandslos geworden ist, nicht der Fall. Auf den entsprechenden Antrag kann daher nicht eingetreten werden. Zudem bildete das kantonale Kostendispositiv nicht Gegenstand eines besonderen Begehrens und es wurde auch in der Begründung der Beschwerde nicht etwa geltend gemacht, der Kostenspruch verstosse als solcher gegen das Willkürverbot, weil er z.B. mit dem materiellen Entscheid in Widerspruch stehe. Allerdings kann dem Umstand, dass der Beschwerdeführer im kantonalen Verfahren mit Kosten belastet bleibt, von denen nicht feststeht, ob sie auch bei materieller Behandlung der Beschwerde noch von ihm zu tragen gewesen wären, im Rahmen der Billigkeit beim bundesgerichtlichen Kostenentscheid Rechnung getragen werden.
3.- Bleibt der Kostenentscheid. Liegt der Grund der Gegenstandslosigkeit wie vorliegend in einem nach Einreichen der staatsrechtlichen Beschwerde eingetretenen Umstand, wird die Verlegung der Kosten und Entschädigung des bundesgerichtlichen Verfahrens aufgrund der Sachlage entschieden, wie sie sich vor Eintritt des Ereignisses darstellte (<ref-law> i.V.m. Art. 40 OG). Dabei wird in erster Linie auf den mutmasslichen Prozessausgang abgestellt. Lässt sich dieser nicht bestimmen, gehen die Kosten zu Lasten jener Partei, die das gegenstandslos gewordene Verfahren veranlasst hat oder bei der die Gründe eingetreten sind, die zur Gegenstandslosigkeit des Prozesses geführt haben (<ref-ruling> E. 4a S. 494).
a) Die Gutheissung der Beschwerde der Beschwerdegegnerin bzw. die Abweisung der Klage des Beschwerdeführers begründete das Obergericht u.a. damit: Mit Appellationsrückzug vom 23. Dezember 1999 sei das am 30. September 1998 ergangene Scheidungsurteil in Rechtskraft erwachsen. Mit Vorliegen eines rechtskräftigen Urteils fielen im Rahmen des vorsorglichen Rechtsschutzes ergangene Verfügungen dahin, so auch der am 30. April (recte 20. Oktober) 1999 an B.N._ gerichtete Befehl, die Liegenschaft bis spätestens am 31. März 2000 zu räumen. Das Präliminarurteil vom 20. Oktober 1999 bilde infolgedessen keinen Vollstreckungstitel.
b) Angefochtene Entscheide werden mit dem Rückzug des Rechtsmittels rechtskräftig (<ref-law>/AG). Der Beschwerdeführer zog die Appellation am 23. Dezember 1999 zurück. Damit, so das Obergericht, sei das Scheidungsurteil in Rechtskraft erwachsen.
Dabei hat es übersehen, dass ein Teil des bezirksgerichtlichen Scheidungsurteils, so namentlich die Scheidung als solche, da nicht angefochten, nach Ablauf der Rechtsmittelfrist und nicht erst mit dem Appellationsrückzug rechtskräftig geworden war (<ref-law>/AG) und infolgedessen nicht Gegenstand des Appellationsverfahrens bildete. Mit der rechtskräftigen Scheidung fiel aber die vorsorgliche, für die Zeit des blossen Getrenntlebens getroffene Regelung vom 11. Dezember 1992 betreffend die Zuweisung der Familienwohnung ohne Weiteres dahin (<ref-law>/AG), und das materielle Recht (Art. 145 aZGB bzw. 137 nZGB) bot keine Grundlage mehr, um über die Zuweisung der Familienwohnung neu zu befinden. Die Beschwerdegegnerin hatte denn auch, wie der Beschwerdeführer bemerkt, nach Rechtskraft der Scheidung keine solche verlangt. Wenn nun der Beschwerdeführer in der Folge in dem von der Beschwerdegegnerin u.a. wegen des Unterhalts angehobenen Präliminarverfahren II seinerseits, gestützt auf die rechtskräftige Scheidung, widerklageweise deren Ausweisung verlangte, handelte es sich damit zwar um eine vorsorgliche Massnahme (<ref-law>/AG), die aber mit der im ordentlichen Verfahren noch hängigen Sache (<ref-law>/AG) in keinerlei Zusammenhang stand. Infolgedessen konnte das mit dem Appellationsrückzug rechtskräftig gewordene Urteil in Bezug auf die Ausweisungsverfügung des Bezirksgerichtspräsidenten vom 20. Oktober 1999 die in <ref-law>/AG vorgesehene Wirkung nicht entfalten.
Unter diesen Umständen ist anzunehmen, dass die staatsrechtliche Beschwerde erfolgreich gewesen wäre, so dass die Kosten des bundesgerichtlichen Verfahrens der Beschwerdegegnerin zu überbinden sind. Zum selben Ergebnis gelangt man, wenn darauf abgestellt wird, dass die Gründe, die zur Gegenstandslosigkeit des Prozesses geführt haben, bei der Beschwerdegegnerin eingetreten sind. Bei der Höhe der Parteientschädigung sind bis zu einem gewissen Grad auch den Kosten des kantonalen Verfahrens Rechnung zu tragen.

Demnach beschliesst das Bundesgericht
in Anwendung von <ref-law> i.V.m. Art. 40 OG:
_
1.- Die staatsrechtliche Beschwerde wird abgeschrieben.
2.- Die Gerichtsgebühr von Fr. 1'000.-- wird der Beschwerdegegnerin auferlegt.
3.- Die Beschwerdegegnerin hat den Beschwerdeführer mit Fr. 5'000.-- zu entschädigen.
4.- Dieser Beschluss wird den Parteien und dem Obergericht (5. Zivilkammer) des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 13. März 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: