Art. 4 und 22ter BV (Baubewilligung), hat sich ergeben:
A.- I._ ist Eigentümerin der Parzelle GS Nr. 463 an der alten Landstrasse 105 in Unterägeri. Das Grundstück liegt gemäss dem kommunalen Zonenplan in der Kernzone 1 und innerhalb der Ortsbildschutzzone. Auf dem Grundstück stehen das Gasthaus K._ und ein damit durch einen Zwischenbau verbundener grösserer Schopf. Westlich davon liegt die Parzelle GS Nr. 462 von S._, die mit einem Wohnhaus und einer direkt an den Schopf von I._ angebauten Remise bebaut ist.
B.- Anfang 1994 bewilligte der Gemeinderat Unterägeri ein Baugesuch von I._, welche den Schopf durch ein Wohnhaus ersetzen wollte. Der Regierungsrat des Kantons Zug hob auf Beschwerde von S._ die Baubewilligung mit Entscheid vom 24. Januar 1995 auf.
Am 9. März 1998 bewilligte der Gemeinderat Unterägeri ein geändertes Bauprojekt von I._ für den Ersatz ihres Schopfes durch ein Wohnhaus. Gleichzeitig lehnte er eine neue Einsprache von S._ ab.
In der Folge wies der Regierungsrat eine Beschwerde von S._ gegen das Projekt am 11. August 1998 ab. Dessen Beschwerde wurde vom Verwaltungsgericht mit Urteil vom 23. September 1999 abgewiesen.
C.- S._ hat gegen das Urteil des Verwaltungsgerichts am 17. November 1999 staatsrechtliche Beschwerde beim Bundesgericht erhoben. Er beantragt die Aufhebung des Entscheides des Verwaltungsgerichts und rügt eine Verletzung von Art. 4 und 22ter der damals noch in Kraft stehenden Bundesverfassung (aBV). Auf die Begründung der Beschwerde ist, soweit erforderlich, in den Erwägungen einzugehen.
I._, der Regierungsrat und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Der Gemeinderat Unterägeri hat unter Verweis auf die Stellungnahme der Beschwerdegegnerin auf Vernehmlassung verzichtet.
D.- Der Präsident der I. öffentlichrechtlichen Abteilung hat der Beschwerde am 16. Dezember 1999 aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- Nach Art. 88 OG steht das Recht zur Erhebung der staatsrechtlichen Beschwerde Bürgern (Privaten) und Korporationen bezüglich solcher Rechtsverletzungen zu, die sie durch allgemein verbindliche oder sie persönlich treffende Entscheide oder Verfügungen erlitten haben. Gemäss ständiger Rechtsprechung kann mit staatsrechtlicher Beschwerde lediglich die Verletzung in rechtlich geschützten Interessen gerügt werden; zur Verfolgung bloss tatsächlicher Vorteile oder zur Geltendmachung allgemeiner öffentlicher Interessen steht dieses Rechtsmittel nicht zur Verfügung (<ref-ruling> E. 1a S. 111, mit Hinweisen).
Auch die Legitimation von Nachbarn zur staatsrechtlichen Beschwerde bestimmt sich nach den Voraussetzungen von Art. 88 OG. Danach sind Eigentümer benachbarter Grundstücke befugt, die Erteilung einer Baubewilligung anzufechten, wenn sie die Verletzung von Bauvorschriften geltend machen, die ausser den Interessen der Allgemeinheit auch oder in erster Linie dem Schutz der Nachbarn dienen. Zusätzlich müssen sie dartun, dass sie sich im Schutzbereich der Vorschriften befinden, durch die behaupteten widerrechtlichen Auswirkungen der Bauten betroffen werden und ein aktuelles praktisches Interesse an der Aufhebung des angefochtenen Entscheides haben. Der Umstand, dass ein Beschwerdeführer im kantonalen Verfahren Parteistellung hatte, ist für das bundesgerichtliche
Verfahren nicht entscheidend (<ref-ruling> E. 1a und 2a, ZBl 100/1999 S. 135 E. 1b, mit Hinweisen).
Der Beschwerdeführer rügt die Verletzung von Vorschriften über die Gebäudemasse und den Grenzbau. Diesen kommt klarerweise nachbarschützende Funktion zu. Der Beschwerdeführer ist daher zur staatsrechtlichen Beschwerde legitimiert und kann geltend machen, die Auslegung der entsprechenden kommunalen Vorschriften im angefochtenen Entscheid sei willkürlich und verletze die Eigentumsgarantie.
Da auch die übrigen Eintretensvoraussetzungen erfüllt sind, kann auf die Beschwerde eingetreten werden.
2.- Der Beschwerdeführer macht mit seinen Rügen wegen Verletzung von Art. 4 und 22ter aBV lediglich geltend, das Verwaltungsgericht habe den Sachverhalt willkürlich festgestellt und das kommunale Baurecht willkürlich ausgelegt und angewendet. Zu prüfen ist daher - im Rahmen der vorgebrachten Rügen - allein, ob die Tatsachenfeststellungen und die Auslegung des kommunalen Rechts durch das Verwaltungsgericht vor dem Willkürverbot nach Art. 4 aBV standhält.
Willkür liegt nach der bundesgerichtlichen Rechtsprechung nicht schon vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen materieller Rechtsverweigerung nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt nur vor, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 5b S. 134, mit Hinweisen).
3.- a) Das umstrittene Bauprojekt sieht im Einzelnen folgende Elemente vor: Der bestehende Schopf am Westrand der Parzelle der Beschwerdegegnerin soll weitgehend abgebrochen und durch ein Wohnhaus ersetzt werden. Das Wohnhaus weist die gleiche Gebäudehöhe wie der Schopf auf. Das Dach erfährt eine Änderung: Der First ist rund 1.7 m höher als beim bestehenden Gebäude; die Ausrichtung des Firsts wird um 90° gedreht und soll neu in Nord-Südrichtung verlaufen; dadurch richten sich die Traufseiten nach Westen und Osten und ist die Dachfläche - anstelle des Giebels des bisherigen Schopfs - gegen die Liegenschaft des Beschwerdeführers ausgerichtet. Erhalten werden soll vom Schopf im Wesentlichen das Kellergeschoss samt der Betonwand auf der Westseite, die etwa bis zur halben Höhe der angebauten Remise reicht. Letztere verfügt an dieser Seite über keine eigene Abschlusswand gegen die Liegenschaft der Beschwerdegegnerin.
Die streitbetroffene Baute steht an ihrem nördlichen Ende unmittelbar auf der Grenze zum Grundstück des Beschwerdeführers. Die Westwand folgt in südlicher Richtung nicht ganz der Grundstücksgrenze, sondern entfernt sich leicht davon, so dass sie am südlichen Ende einen Abstand von knapp 65 cm zur Grenze aufweist. Das hat zur Folge, dass die Remise des Beschwerdeführers zu einem kleinen Teil auf das Grundstück der Beschwerdegegnerin übergreift.
b) Gemäss Art. 41 Abs. 3 lit. a der Bauordnung der Gemeinde Unterägeri vom 21. März 1989 (BO) dient die Kernzone 1 der Erhaltung und der Sanierung des alten Dorfteils. Es dürfen Neubauten erstellt werden, jedoch nur mit besonderer Rücksichtnahme auf die bestehenden Bauten. Das Bauen auf die Grenze ist mit Zustimmung des Nachbarn zulässig (Art. 41 Abs. 2 BO).
Hinsichtlich der Grundmasse wie Gebäudehöhe, Firsthöhe und Mindestgrenzabstand verweist Art. 41 Abs. 4 BO auf Art. 45 BO. Gemäss dessen Abs. 1 sind in der Kernzone 1 drei Vollgeschosse zulässig; im Übrigen wird allein eine gute Einpassung verlangt.
4.- a) Der Beschwerdeführer hat dem Bauprojekt der Beschwerdegegnerin nicht zugestimmt. Art. 41 Abs. 2 BO verlangt für das Bauen auf die Grenze die Zustimmung des Nachbarn. Aus diesem Grunde erachtet der Beschwerdeführer die Baubewilligung als willkürlich.
Das Verwaltungsgericht hat zu diesem Punkte ausgeführt, das Bauen auf die Grenze verlange in der Regel eine Abstimmung hinsichtlich Brandmauern, Zugänglichkeit der Baute, Ausrichtung der Räume bzw. Fenster. Im vorliegenden Fall seien diese Gegebenheiten durch das Bestehende bestimmt. Der Beschwerdeführer habe seine Remise ohne Rückwand bis an und teilweise leicht über die Grenze an die Nachbarliegenschaft angebaut. Er habe erklärtermassen keine Absicht, baulich etwas zu ändern. Mit dem Fortbestand der Remise sei denn auch im Umfang der bisherigen Nachbarbaute eine nachbarliche Abstimmung faktischer Art gegeben, welche Art. 41 Abs. 2 BO normativ formuliere und welche wenigstens in der Nordecke formell verlangt wäre. Ein Wegrücken von der Grenze und der Remise, die dadurch ihre Rückwand verlieren würde, sei unzweckmässig und würde die Einpassung beeinträchtigen.
b) Der Beschwerdeführer macht geltend, die Feststellung, er wolle an der Remise baulich nichts verändern, sei aktenwidrig.
Anlässlich des Augenscheins des Verwaltungsgerichts, an welchem der Beschwerdeführer von seinem Rechtsvertreter und seiner Ehefrau begleitet war, gab letztere gemäss Protokoll auf die Frage, ob die an die Liegenschaft Alte Landstrasse 105 angebaute Remise so bleiben solle, folgende Antwort: "Ja, die Remise bleibt so. Ursprünglich wollten wir anders bauen, doch dann durften wir nicht. " Der Beschwerdeführer hatte Gelegenheit, zum Protokoll des Augenscheins Stellung zu nehmen; er hat die erwähnte Aussage nicht beanstandet oder korrigiert. Bei dieser Sachlage ist es nicht willkürlich, wenn das Verwaltungsgericht daraus ableitet, dass der Beschwerdeführer nicht im Sinn habe, an der Remise baulich etwas zu ändern.
c) Es ist fraglich, ob es unter dem Gesichtswinkel von Art. 4 aBV angeht, die gemäss Art. 41 Abs. 2 BO erforderliche und vorliegend ausdrücklich verweigerte Zustimmung durch eine unterstellte, auf die baulichen Umstände gestützte Abstimmung faktischer Art zu ersetzen, wie dies das Verwaltungsgericht tut. Der Widerspruch zwischen der tatsächlich fehlenden und der unterstellten Zustimmung ist jedenfalls offensichtlich. Die Frage kann offen bleiben, da sich der Entscheid mit einer anderen, substituierten Begründung halten lässt (vgl. zur Zulässigkeit der Motivsubstitution <ref-ruling> E. 3 S. 260, mit Hinweisen).
d) Das Verwaltungsgericht hat erwogen, im vorliegenden Fall könne nicht in üblicher Weise zwischen ordentlicher Baubewilligung und Ausnahmebewilligung unterschieden werden, da die Regelbauweise nicht umfassend in Baumassen umschrieben ist. Da die Zone sowohl der Erhaltung wie der Sanierung des alten Dorfteils dient, entfalle auch die übliche Abgrenzung zwischen Bauten nach aktuellem Recht und Bestandesgarantie für bestehende Bauten. Mit diesen Erwägungen und der Auseinandersetzung im vorliegenden Fall hat das Verwaltungsgericht zumindest sinngemäss bejaht, dass die Voraussetzungen für eine Ausnahme gemäss Art. 5 BO vom Erfordernis der nachbarlichen Zustimmung erfüllt seien.
aa) Der Beschwerdeführer wirft dem Verwaltungsgericht in diesem Zusammenhang Willkür vor, weil sich die Erhöhung des Giebeldaches um 1.7 m negativ auf seine Liegenschaft auswirke. Das stelle eine nicht unerhebliche Beeinträchtigung dar, weshalb die Ausnahmebewilligung gemäss Art. 5 Abs. 3 BO hätte verweigert werden müssen.
bb) Für die Beurteilung dieser Rügen ist davon auszugehen, dass quantifizierte Vorgaben über Abstände, Gebäudehöhen etc. im vorliegenden Fall fehlen. Massgeblich ist allein Art. 45 Abs. 1 BO, der eine ausreichende Einpassung verlangt, sowie Art. 5 Abs. 3 BO, wonach Nachbarliegenschaften durch eine Ausnahmebewilligung nicht wesentlich stärker benachteiligt werden dürfen, als dies bei reglementsgemässer Bauweise zu erwarten wäre. Nach den Feststellungen der kommunalen wie aller beigezogenen kantonalen Instanzen ist eine genügende Einpassung des Projektes gegeben. Namentlich hat auch die Denkmalpflege dem Projekt zugestimmt. Damit haben die kommunale Baubehörde und die kantonalen Instanzen die Baute als grundsätzlich baurechtskonform würdigen dürfen. Der Beschwerdeführer legt denn auch nicht dar, inwiefern diese Beurteilung willkürlich sein sollte.
cc) In Bezug auf die Benachteiligung seiner Liegenschaft verweist der Beschwerdeführer speziell auf die Höhe des Neubaus und behauptet, ihm werde zu viel Licht entzogen. Aus den Akten geht hervor, dass die Ostfassade des Wohnhauses des Beschwerdeführers in ihrem südlichen Teil keine Fenster aufweist und im mittleren nur diejenigen des Treppenhauses. Fenster von Wohnräumen befinden sich nur im nördlichen Abschnitt dieser Fassade, die gegenüber der streitbetroffenen Baute etwas vorspringt und daher vom vergrösserten Bauvolumen nicht besonders betroffen ist. Dies wird auch durch ein Schattendiagramm belegt. Die Würdigung des Verwaltungsgerichts, dass die entstehende Beeinträchtigung in einer Kernzone hinzunehmen sei, kann unter diesen Umständen nicht als willkürlich bezeichnet werden.
dd) Im Weiteren ist dem Umstand Rechnung zu tragen, dass die behauptete Beeinträchtigung der Liegenschaft des Beschwerdeführers nicht in erster Linie Folge der Ausnahmebewilligung betreffend das Bauen auf die Grenze, sondern im Wesentlichen die Folge der (baurechtskonformen) Ausgestaltung des neuen Baukörpers ist.
Die mit Art. 45 BO gegebene baurechtliche Situation hat zur Folge, dass die Beschwerdegegnerin ihr Objekt am Nordende geringfügig von der Grenze entfernen könnte, um nicht mehr auf die Zustimmung des Nachbarn angewiesen zu sein. Weitere Anpassungen des Projektes wären damit nicht verbunden, namentlich keine Herabsetzung der Firsthöhe. Die Einhaltung eines ins Gewicht fallenden Grenz- oder Gebäudeabstandes könnte von der Beschwerdegegnerin nicht verlangt werden. Eine Auflage zum Wegrücken von der Grenze wegen fehlender Einwilligung des Nachbarn würde im vorliegenden Fall die Verwirklichung des Umbauprojektes deutlich erschweren: Das bestehende Untergeschoss könnte nicht weiterverwendet werden; zudem entstünde unter dem Gesichtspunkt des Ortsbildes ein unbefriedigender und unverständlicher Abstand zwischen dem Neubau und der Remise des Beschwerdeführers. Schliesslich wäre dieser gezwungen, der Remise eine eigene Rückwand einzubauen, ohne dabei die Grundstücksgrenze zu berühren.
ee) Unter diesen Umständen hält es vor dem Willkürverbot stand, wenn das Verwaltungsgericht das Vorliegen der Voraussetzungen für die Erteilung einer Ausnahmebewilligung bejaht hat.
5.- Der Beschwerdeführer kritisiert schliesslich, dass sich das Verwaltungsgericht mit seiner Rüge, die Dachrinne des Neubaus reiche über die Grenze und damit über sein Schopfdach, nicht befasst und eine Beeinträchtigung verneint habe. Damit sei ihm das rechtliche Gehör verweigert und die Eigentumsgarantie verletzt worden.
a) Das rechtliche Gehör als persönlichkeitsbezogenes Mitwirkungsrecht verlangt, dass die Behörde die Vorbringen des Betroffenen tatsächlich hört, sorgfältig und ernsthaft prüft und in der Entscheidfindung berücksichtigt. In diesem Sinne sind wenigstens kurz die Überlegungen zu nennen, von denen sich die Behörde hat leiten lassen. Dies bedeutet indessen nicht, dass sie sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinander setzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (BGE 124 II E. 2a S. 149; 123 I E. 2c S. 34, mit Hinweisen).
Im vorliegenden Fall trifft es zu, dass sich das Verwaltungsgericht nicht ausdrücklich mit dem die Dachrinne betreffenden Einwand des Beschwerdeführers auseinander gesetzt hat. Gemäss den Plänen ragt das Dach des projektierten Neubaus nicht über die Grenze. Hingegen reicht die Dachrinne im nördlichen Abschnitt in der Tat geringfügig darüber.
Das Verwaltungsgericht hat sich mit den Einwänden des Beschwerdeführers indessen insofern näher befasst, als dieser geltend gemacht hatte, vom geplanten Steildach werde Schnee auf sein Remisendach abrutschen und dieses beschädigen. Das Verwaltungsgericht hat diese Einwände mit näherer Begründung verworfen und sodann festgestellt, dass die Neubaute in der geplanten Weise im Grenzbereich zulässig sei und den Beschwerdeführer in seinen Interessen insgesamt nicht mehr beeinträchtige, als in der Kernzone hinzunehmen sei. Damit hat das Verwaltungsgericht den die Dachrinne betreffenden Einwand des Beschwerdeführers zumindest implizit verworfen. Bei dieser Sachlage kann nicht gesagt werden, das Verwaltungsgericht habe die aus der Verfassung fliessende Begründungspflicht verletzt.
b) Der Beschwerdeführer behauptet, er werde bei einem allfälligen späteren Umbau oder einer Erneuerung des Schopfdaches wegen der Dachrinne erheblich behindert oder eingeschränkt werden. Weshalb dem so sein sollte, begründet er indessen nicht näher. Aufgrund der Akten ist dieser Vorwurf nicht nachvollziehbar. Ein Eingriff in die Eigentumsgarantie ist daher nicht auszumachen.
c) Das Verwaltungsgericht hat die Einwände des Beschwerdeführers betreffend möglicher Schäden am Remisendach durch Schnee, Eis und Wasser verworfen. Es hat erwogen, das Dach des geplanten Baus liege innerhalb der Norm, und hat auf die Verantwortlichkeit des Hausbesitzers hingewiesen. Da auf dem Dach der projektierten Baute Schneefänger vorgesehen sind und Schnee vom Dach des Neubaus auf das Remisendach nicht fallen, sondern höchstens abrutschen würde - im Gegensatz zum Schnee, der vom Dach des eigenen Hauses des Beschwerdeführers aus mehreren Metern Höhe auf das Remisendach aufschlägt -, ist nicht nachvollziehbar, welche Nachteile das Verwaltungsgericht hier hätte in Rechnung stellen sollen. Der Vorwurf der Willkür ist unbegründet.
6.- Die Beschwerde erweist sich demnach als unbegründet und ist daher abzuweisen. Bei diesem Ausgang sind die Verfahrenskosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Dieser hat zudem die Beschwerdegegnerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000. - wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000. - zu entschädigen.
4.- Dieses Urteil wird den Parteien, dem Gemeinderat Unterägeri sowie dem Regierungsrat und Verwaltungsgericht (Verwaltungsrechtliche Kammer) des Kantons Zug schriftlich mitgeteilt.
_
Lausanne, 4. Mai 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: