Art. 6 EMRK (Baubewilligung), hat sich ergeben:
A.- Am 24. Februar 1995 reichte B._ ein Baugesuch für den Anbau einer Bibliothek und den Neubau einer Garage auf seinem in der Zone W3 gelegenen Grundstück ................. in Einsiedeln ein. Das Baugesuch war vom Projektverfasser, C._, mitunterzeichnet. Die Länge der Baute wurde darin mit 29.75 m angegeben. Die unter Ziff. 16 gestellte Frage, ob eine kantonale oder kommunale Ausnahmebewilligung notwendig sei, wurde verneint.
Am 10. März 1995 erfolgte die amtliche Publikation des Gesuches mit dem Hinweis, dass das Baugespann erstellt sei und die Gesuchsunterlagen auf dem Bauamt Einsiedeln zur Einsicht auflägen. Zudem wurden die Einsprachemöglichkeiten und die bis zum 30. März 1995 geltende Einsprachefrist angeführt.
Gegen das Bauvorhaben gingen innert Frist keine Einsprachen ein.
In der Folge wurde B._ darauf aufmerksam gemacht, dass das eingereichte Bauprojekt den gesetzlichen Mindestabstand zu dem auf der gleichen Parzelle liegenden Gebäude ............. unterschreite. Er ersuchte daher am 19. Juli 1995 um eine Ausnahmebewilligung.
Am 7. September 1995 bewilligte der Bezirksrat Einsiedeln das Baugesuch. Für die Unterschreitung des minimalen Gebäudeabstands erteilte er eine Ausnahmebewilligung mit dem Hinweis, die Genehmigung durch das Justizdepartement bleibe vorbehalten.
Mit Verfügung vom 4. Oktober 1995 trat das Justizdepartement des Kantons Schwyz auf das Gesuch um Genehmigung einer Ausnahmebewilligung nicht ein. Es begründete dies damit, dass beim Neubau des Bibliotheksgebäudes sowie dem Anbau eines Wintergartens bei der Villa "........" von einer zonenkonformen, teilweise geschlossenen Bauweise auszugehen sei. Die Einhaltung eines Gebäudeabstandes zwischen dem Hauptgebäude bzw. dem geplanten Anbau eines Wintergartens und dem Bibliotheksneubau entfalle damit. In diesem besonderen Fall bedürfe es daher keiner Genehmigung einer entsprechenden Ausnahmebewilligung. Abschliessend wies das Justizdepartement darauf hin, dass durch den Bibliotheksneubau die maximale Gebäudelänge von 40 m gemäss Art. 62 des Baureglements der Bezirksgemeinde Einsiedeln (BauR) überschritten werde. Hierbei handle es sich jedoch um eine kommunale Bauvorschrift.
Die kommunale Baubewilligungsbehörde wurde nach Zustellung dieser Verfügung des Justizdepartements nicht weiter tätig. Insbesondere unterliess sie es, ihre Baubewilligung vom 7. September 1995 wegen Überschreitung der maximalen Gebäudelänge durch eine Ausnahmebewilligung zu ergänzen.
B.- Am 10. Mai 1996 reichte die Bauherrschaft ein erstes Projektänderungsgesuch ein. Die Änderungen umfassten im Wesentlichen eine runde anstatt ovale Form des Wintergartens, die Anpassung der Höhe des Eingangsbereichs an diejenige des Daches des Studierzimmers, einen kleinen halbrunden Balkon im Erdgeschoss an der Südostfassade und eine Veränderung der Fenstereinteilung durch kleine quadratische Fenster anstelle von kleinen länglichen Fenstern.
Diese Änderungen wurden vom Bezirksrat Einsiedeln am 23. Mai 1996 bewilligt. Auf die Durchführung des ordentlichen Baubewilligungsverfahrens verzichtete der Bezirksrat.
Dritten wurde die Bewilligung nicht angezeigt.
C.- Am 30. Juli 1996 ersuchte die Bauherrschaft den Bezirksrat Einsiedeln um Verlängerung der Baubewilligung um ein Jahr. Diesem Gesuch entsprach der Bezirksrat am 12. September 1996 und verlängerte die Baubewilligung bis zum 2. Oktober 1997.
D.- Am 20. November 1996 reichte die Bauherrschaft ein zweites Projektänderungsgesuch ein. Dieses sah eine Erweiterung des Kellers auf der Südseite um ca. 70 m2 vor.
Nachdem sich der direkte Anstösser damit einverstanden erklärt hatte, bewilligte der Bezirksrat die Projektänderung mit Beschluss vom 5. Dezember 1996. Von einer Baupublikation oder schriftlichen Anzeige an Dritte sah der Bezirksrat ab.
In der Folge wurden die Bauarbeiten für das Bibliotheksgebäude aufgenommen und das Untergeschoss und die Garage erstellt.
E.- Am 7. Juni 1999 wandte sich die Bauherrschaft mit einem dritten Projektänderungsgesuch an die Baubehörde.
Gegenstand dieses Gesuches war eine Verlängerung des Bibliotheksgebäudes an der Nordost-Ecke um ein halbes Rastermass (3.49 m).
Mit Verfügung vom 21. Juni 1999 erteilte die Baukommission Einsiedeln hiefür die Bewilligung, stellte diese jedoch nicht zu. Mit Schreiben vom 8. Juli 1999 zeigte das Bauamt Einsiedeln sämtlichen Nachbarn die Projektänderung an.
Dagegen erhob A._, Eigentümerin der benachbarten Liegenschaft ........, am 26. Juli 1999 Einsprache beim Bezirksrat Einsiedeln. Zudem reichte sie noch vor Erlass des Einspracheentscheides am 31. August 1999 beim Regierungsrat des Kantons Schwyz eine Beschwerde ein. Darin beantragte sie, es seien die am 23. Mai 1996 und am 5. Dezember 1996 erteilten Baubewilligungen aufzuheben; eventuell seien auch weitere in den Jahren 1996 bis 1999 erteilte Baubewilligungen bezüglich des Bauvorhabens auf .............
aufzuheben und für sämtliche Projektänderungen das ordentliche Baubewilligungsverfahren durchzuführen.
Am 20. September 1999 widerrief die Baukommission Einsiedeln ihre Baubewilligung vom 21. Juni 1999 für die dritte Projektänderung wegen Unzuständigkeit.
F.- Am 23. September 1999 erteilte der Bezirksrat Einsiedeln als Ergänzung zur Baubewilligung vom 7. September 1995 eine Ausnahmebewilligung für die Überschreitung der zonengemässen Gebäudelänge von 40 m um 4 m. Er führte dazu aus, nach dem Hinweis des Justizdepartements auf die überschrittene Gebäudelänge die Erteilung einer Ausnahmebewilligung vernachlässigt zu haben. Diese sei daher nachträglich zu gewähren.
Dagegen reichte A._ am 2. November 1999 eine zweite Beschwerde beim Regierungsrat ein.
G.- Der Regierungsrat vereinigte die beiden Beschwerden und hiess sie mit Entscheid vom 1. Februar 2000 gut. Er hob die vorinstanzlichen Beschlüsse vom 23. Mai 1996, vom 5. Dezember 1996 und vom 23. September 1999 auf und wies die Angelegenheit im Sinne der Erwägungen zur Durchführung des ordentlichen Baubewilligungsverfahrens mit Publikation an die Vorinstanz zurück. Zur Bewilligung der dritten Projektänderung durch die Baukommission Einsiedeln am 21. Juni 1999 hielt der Regierungsrat fest, dass die Baukommission diese widerrufen habe, womit das Verfahren insoweit gegenstandslos geworden sei.
Gegen diesen Regierungsratsbeschluss erhoben B._ am 20. Februar 2000, die Stiftung Bibliothek B._ - diese war zwischenzeitlich gegründet worden und ist seit 7. Juli 1999 Baurechtnehmerin der mit einem Baurecht belasteten Parzelle ....... von B._ - am 28. Februar 2000 sowie der Bezirksrat Einsiedeln und A._ am 29. Februar 2000 Beschwerde beim Verwaltungsgericht des Kantons Schwyz.
H.- Am 23. März 2000 und damit während des hängigen verwaltungsgerichtlichen Beschwerdeverfahrens beantragte die Stiftung Bibliothek B._ beim Bezirksrat Einsiedeln, das Verfahren über die dritte Projektänderungseingabe vom 7. Juni 1999 als gegenstandslos vom Protokoll abzuschreiben.
Als Begründung führte sie an, dass diese Eingabe durch die vierte Projektänderungseingabe vom 23./28. Dezember 1999 ersetzt worden sei. Dem Antrag entsprach der Bezirksrat Einsiedeln mit Abschreibungsverfügung vom 30. März 2000.
Das vierte Projektänderungsgesuch vom 23./28. Dezember 1999 sieht eine Erweiterung des Bibliothekanbaus beim Eingang durch Verlängerung der spitz zulaufenden Süd-Westfassade um ca. 3.40 m und Änderungen im Gebäudeinnern, vor allem im Untergeschoss, vor. Es wurde am 21. Januar 2000 im Amtsblatt publiziert. Dagegen erhob A._ am 10. Februar 2000 beim Bezirksrat Einsiedeln Einsprache.
Am 29. Juni 2000 wies der Bezirksrat die Einsprache ab und bewilligte die vierte Projektänderung unter verschiedenen Auflagen. Zudem erteilte er für die Überschreitung der maximal zulässigen Gebäudelänge von 40 m um insgesamt 9.90 m eine Ausnahmebewilligung.
Sowohl gegen diese bewilligte vierte Projektänderung als auch gegen die abgewiesene Einsprache durch den Bezirksrat Einsiedeln erhob A._ am 24. Juli 2000 Beschwerde beim Regierungsrat. Dieser überwies die beiden Beschwerden mit Verfügung vom 26. Juli 2000 als Sprungbeschwerden an das Verwaltungsgericht.
I.- Mit Entscheid vom 22. Dezember 2000 hiess das Verwaltungsgericht die Beschwerden von B._ und der Stiftung Bibliothek B._ im Sinne der Erwägungen gut und bestätigte die Änderungsbewilligungen des Bezirksrats Einsiedeln vom 23. Mai und vom 5. Dezember 1996. Auf die Beschwerde des Bezirksrats Einsiedeln trat es nicht ein. Die Beschwerde von A._ gegen den Regierungsratsbeschluss vom 1. Februar 2000 wies das Verwaltungsgericht ab. Die beiden weiteren, die vierte Projektänderung betreffenden Beschwerden von A._ wies das Verwaltungsgericht ab, soweit es darauf eintrat.
K.- A._ führt staatsrechtliche Beschwerde mit dem Antrag, den Entscheid des Verwaltungsgerichtes aufzuheben und die Sache zur Neubeurteilung an dieses zurückzuweisen.
Sie rügt die Verletzung von Art. 8 Abs. 1, Art. 9, Art. 26, Art. 29 Abs. 1 und 2 BV sowie von Art. 6 EMRK.
B._, die Stiftung B._ und der Regierungsrat haben sich vernehmen lassen je mit dem Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Das Verwaltungsgericht beantragt unter Hinweis auf den angefochtenen Entscheid die Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Bezirksrat hat auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob und inwieweit auf eine Beschwerde einzutreten ist (<ref-ruling> E. 1 S. 209, 81 E. 1 S. 83).
a) Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen Endentscheid. Insoweit ist die staatsrechtliche Beschwerde zulässig (Art. 86 Abs. 1 und Art. 87 OG). Sie ist - von hier nicht zutreffenden Ausnahmen abgesehen - rein kassatorischer Natur. Soweit die Beschwerdeführerin mehr verlangt als die Aufhebung des angefochtenen Entscheids, ist darauf nicht einzutreten (<ref-ruling> E. 1b S. 107).
b) Die Beschwerdeführerin wirft dem Verwaltungsgericht formelle Rechtsverweigerung wegen Verletzung des Willkürverbots gemäss <ref-law> und des Anspruchs auf rechtliches Gehör gemäss <ref-law> vor, weil es auf ihre Rügen bezüglich Abstellplätze, Grenz- und Gebäudeabstände, Zonenkonformität und Erschliessung nicht eingetreten sei.
Als weitere formelle Rechtsverweigerung rügt die Beschwerdeführerin einen Verstoss gegen das Rechtsgleichheitsgebot gemäss <ref-law> und eine Verletzung des Anspruch auf gleiche und gerechte Behandlung gemäss 29 Abs. 1 BV, weil mit der Baubewilligung für die öffentlichen Zwecken dienende Bibliothek B._ in der Zone W3 die Zonenvorschriften im Bezirk Einsiedeln wissentlich nicht bzw. falsch angewandt worden seien. Schliesslich wirft die Beschwerdeführerin dem Verwaltungsgericht vor, das Recht auf ein faires Verfahren gemäss Art. 6 EMRK verletzt zu haben.
Entgegen der Auffassung der Beschwerdeführerin handelt es sich beim Rechtsgleichheitsgebot gemäss <ref-law> und dem Willkürverbot gemäss <ref-law> nicht um formelles, sondern um materielles Bundesverfassungsrecht (Jörg Paul Müller, Grundrechte in der Schweiz, 3. Auflage, Bern 1999, S. 470 und 494; Isabelle Häner, Die Beteiligten im Verwaltungsverfahren und Verwaltungsprozess, Zürich 2000, Rz 117 S. 72 und Rz. 124 S. 77). Hingegen sind die Verfahrensgarantien gemäss Art. 29 Abs. 1 und 2 BV formeller Natur (René Rhinow, Die Bundesverfassung 2000, Basel 2000, S. 214). Ihre Verletzung führt grundsätzlich zur Aufhebung des angefochtenen Entscheids. Diese Rügen sind daher vorweg zu prüfen (<ref-ruling> E. 1 S. 389; <ref-ruling> E. 3 S. 152; <ref-ruling> E. 2 S. 210; <ref-ruling> E. 1a S. 18). Der von der Beschwerdeführerin ebenfalls angerufene Art. 6 EMRK verschafft keine weitergehenden Rechte als Art. 29 Abs. 1 und 2 BV (Isabelle Häner, a.a.O., Rz 128 S.79; <ref-ruling> E. 2a S. 274; <ref-ruling> E. 3 S. 178; <ref-ruling> E. 3b S. 165). Eine gesonderte Überprüfung des angefochtenen Entscheids auf seine Vereinbarkeit mit Art. 6 EMRK erübrigt sich daher.
2.- Die unter der Marginalie "Allgemeine Verfahrensgarantien" stehende Regelung des <ref-law> bezweckt namentlich, verschiedene durch die bundesgerichtliche Rechtsprechung zu Art. 4 aBV konkretisierte Teilaspekte des Verbots der formellen Rechtsverweigerung in einem Verfassungsartikel zusammenzufassen. Hinsichtlich des Fairnessprinzips gemäss <ref-law> und des rechtlichen Gehörs gemäss <ref-law> ergibt sich daraus, dass die unter der Herrschaft der alten Bundesverfassung ergangene Rechtsprechung nach wie vor massgebend ist. Art. 29 Abs. 1 und 2 BV bringen insoweit keine materiellen Neuerungen, sondern eine Anpassung an die Verfassungswirklichkeit (Pra 2001 Nr. 71 E. 1a/aa S. 415).
a) Die Beschwerdeführerin begründet ihre Rüge der Verletzung von <ref-law> damit, dass das Verwaltungsgericht bei der Bibliothek B._ seine zurückhaltende Praxis bei Ausnahmebewilligungen aufgegeben habe, ohne die Praxisänderung als solche zu bezeichnen, und dass es eine zonenwidrige Baubewilligung erteilt habe.
<ref-law> garantiert jeder Person Anspruch auf gleiche und gerechte Behandlung im Verfahren. Es handelt sich hierbei um eine aus dem früheren Rechtsgleichheitsgebot gemäss Art. 4 aBV abgeleitete Verfahrensgarantie. Sie gewährleistet insbesondere, dass verfahrensrechtliche Vorschriften rechtsgleich anzuwenden sind (Isabelle Häner, a.a.O., Rz 116 und 120, S. 72 ff.). Die von der Beschwerdeführerin im Zusammenhang mit <ref-law> vorgebrachten Rügen betreffen nicht verfahrensrechtliche Vorschriften, sondern solche materieller Natur. Soweit sie eine Verletzung von <ref-law> geltend macht, sind ihre Rügen daher unbegründet.
b) Der Umfang des Anspruchs auf rechtliches Gehör wird zunächst durch die kantonalen Verfahrensvorschriften geregelt; erst wo sich dieser Rechtsschutz als ungenügend erweist, greifen die unmittelbar aus <ref-law> fliessenden bundesrechtlichen Minimalgarantien Platz. Die Beschwerdeführerin behauptet nicht, das Verwaltungsgericht habe ihr das rechtliche Gehör wegen Missachtung kantonaler Verfahrensvorschriften verletzt. Es ist daher einzig - und zwar mit voller Kognition - zu prüfen, ob unmittelbar aus <ref-law> folgende Ansprüche missachtet worden sind (<ref-ruling> E. 2a S. 21 f., 15 E. 2a S. 16; <ref-ruling> E. 3a S. 98).
aa) Der Anspruch auf rechtliches Gehör umfasst die Rechte der Parteien auf Teilnahme am Verfahren und auf Einflussnahme auf den Prozess der Entscheidfindung. In diesem Sinne dient das rechtliche Gehör einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift (<ref-ruling> E. 2 S. 242; <ref-ruling> E. 4a S. 152; <ref-ruling> E. 1a S. 360; <ref-ruling> E. 6a S. 261). Hingegen kann sich eine Partei in Rechtsfragen grundsätzlich nicht auf das rechtliche Gehör berufen. Sie hat keinen Anspruch, sich zur rechtlichen Würdigung der massgeblichen Tatsachen bzw. zur rechtlichen Begründung zu äussern. Eine Ausnahme besteht dann, wenn der Richter seinen Entscheid auf eine Rechtsnorm oder auf einen Rechtsgrund abstützt, die im bisherigen Verfahren nicht herangezogen wurden, auf die sich die Prozessparteien nicht berufen haben und mit deren Erheblichkeit sie im konkreten Fall nicht rechnen konnten (<ref-ruling> E. 1b S. 96; <ref-ruling> E. 4c S. 295; Karl Spühler, Die Praxis der staatsrechtlichen Beschwerde, Bern 1994, S. 137 Rz. 444). Eine derartige Ausnahme liegt hier nicht vor.
bb) Das Verwaltungsgericht ist auf verschiedene Rügen der Beschwerdeführerin, die in den Beschwerden gegen die vom Bezirksrat am 29. Juni 2000 bewilligte vierte Projektänderung vorgebracht wurden, nicht eingetreten. Sie betreffen die Zonenkonformität der Baute (Art. 64 und 69 BauR und Art. 22 Abs. 2 des Bundesgesetzes über die Raumplanung [RPG; SR 700]), die Erschliessung (Art. 20 Abs. 2 und 3 BauR und § 37 des Planungs- und Baugesetzes des Kantons Schwyz [PBG]), die Grenz- und Gebäudeabstände (Art. 62 BauR), Park- und Abstellplätze (Art. 32 Abs. 2, 7 und 8 BauR) und die behindertengerechte Ausgestaltung von Neubauten (Art. 25 Abs. 3 und 4 BauR). Das Verwaltungsgericht führt dazu aus, diese Fragen seien bereits Gegenstand des ursprünglichen (im Jahre 1995 durchgeführten) Baubewilligungsverfahrens gewesen. Weil es sich beim beantragten vierten Projektänderungsgesuch um untergeordnete Änderungen ohne Auswirkungen auf diese Teilaspekte der damals erteilten Baubewilligung handle, könne darauf nicht zurückgekommen werden. Das Verwaltungsgericht hat damit seinen Nichteintretensentscheid hinreichend begründet.
Es ist nicht ersichtlich, inwiefern es durch seinen Entscheid das Recht der Beschwerdeführerin auf Teilnahme am Verfahren und Einflussnahme auf den Prozess der Entscheidfindung verletzt haben soll. Die Nichtanhörung zur Sache ist nur die mittelbare Folge des Nichteintretensentscheids.
Der Betroffene kann daher in solchen Fällen nicht geltend machen, er sei zur Sache selbst zu Unrecht nicht angehört und die Angelegenheit fälschlicherweise nicht geprüft worden (Rolf Tinner, Das rechtliche Gehör, ZSR 83/1964 II S. 329).
Soweit sich die Beschwerdeführerin über eine Verletzung des rechtlichen Gehörs gemäss <ref-law> beschwert, weil das Verwaltungsgericht aufgrund seines Nichteintretensentscheids ihre vorgebrachten Rügen nicht geprüft hat, erweist sich die Beschwerde demnach als unbegründet.
3.- Die Beschwerdeführerin wirft der Vorinstanz in verschiedener Hinsicht willkürliche Rechtsanwendung und damit eine Verletzung von <ref-law> vor.
a) Was das allgemeine Willkürverbot betrifft, welches bei jeder staatlichen Tätigkeit zu beachten ist, verschafft dieses nach der Rechtsprechung zu Art. 88 OG und Art. 4 aBV für sich allein dem Betroffenen noch keine geschützte Rechtsstellung. Eine Legitimation zur Willkürbeschwerde besteht erst dann, wenn der angefochtene Entscheid den Beschwerdeführer in seiner Rechtsstellung berührt und in rechtlich geschützte Interessen eingreift. Die Geltendmachung des Willkürverbots setzt eine Berechtigung in der Sache voraus; aus Art. 4 aBV folgt kein selbständiger Anspruch auf willkürfreies staatliches Handeln. Diese Rechtsprechung zu Art. 4 aBV gilt auch unter der Herrschaft von Art. 8 und 9 BV (<ref-ruling> E. 3-6 S. 85 ff.; Pra 2001 Nr. 72 E. 2 S. 419).
b) Die Beschwerdeführerin ist Eigentümerin der Parzelle .... Diese Parzelle liegt gegenüber der Baurechtsparzelle ..... der Stiftung Bibliothek B._ (Beschwerdegegnerin 2) bzw. der Stammparzelle ..... von B._ (Beschwerdegegner 1). Sie wird durch die .........strasse von den Parzellen der Beschwerdegegner getrennt und ihr Abstand zu diesen beträgt ca. 30 m.
Nach der Rechtsprechung zu Art. 88 OG sind Eigentümer benachbarter Grundstücke befugt, eine Baubewilligung wegen Willkür mit staatsrechtlicher Beschwerde anzufechten, soweit sie die Verletzung von Bauvorschriften geltend machen, die ausser den Interessen der Allgemeinheit auch oder in erster Linie dem Schutz des Nachbarn dienen. Zusätzlich müssen sie dartun, dass sie sich im Schutzbereich der Vorschriften befinden und durch die behaupteten widerrechtlichen Auswirkungen der Baute betroffen werden (<ref-ruling> E. 2a S. 116).
c) Die Beschwerdeführerin macht geltend, das Verwaltungsgericht habe das Bestehen einer Ausnahmebewilligung bezüglich Überschreitung der Gebäudelänge um 6.50 m als rechtsbeständig sanktioniert, obwohl eine solche nicht erteilt worden sei. Zu Unrecht sei es in seinem Entscheid nicht mehr auf die Baubewilligung vom 7. September 1995 zurückgekommen. Damit habe es § 73 PBG und Art. 58 BauR in Verbindung mit Art. 62 BauR falsch bzw. nicht angewandt und demzufolge das Willkürverbot gemäss <ref-law> verletzt.
aa) § 73 PBG und Art. 58 BauR regeln die Voraussetzungen, unter den innerhalb der Bauzone eine Ausnahmebewilligung erteilt werden kann. Die Beschwerdeführerin ruft diese Bestimmungen im Zusammenhang mit Art. 62 BauR an, welcher die maximal zulässigen Gebäudelängen in den verschiedenen Zonen festlegt. Dieser Vorschrift kommt gleich wie beispielsweise den Bestimmungen über die Gebäudehöhe, die Gebäudeabstände und die Grenzabstände nachbarschützende Wirkung zu (<ref-ruling> E. 1b S. 235; <ref-ruling> E. 6 S. 137; ZBl 89/1988 S. 87 E. 1b S. 88). Insoweit ist die Beschwerdeführerin befugt, die Ausnahmebewilligung mit staatsrechtlicher Beschwerde anzufechten.
bb) Damit die Beschwerdelegitimation bejaht werden kann, muss sich ein Beschwerdeführer - wie erwähnt - zusätzlich im Schutzbereich der nachbarschützenden Norm befinden und er muss durch die Auswirkungen der geltend gemachten Verletzung in seinen persönlichen Interessen betroffen sein.
Die Beschwerdeführerin behauptet nicht, sie werde vom Schutzbereich von Art. 62 BauR erfasst. Sie macht auch nicht geltend, durch die Überschreitung der Gebäudelänge um 6.50 m werde ihr (zusätzlich) Licht und Sonne entzogen, die Aussicht geschmälert oder sie erleide dadurch anderweitige, ihre persönlichen Interessen berührende Beeinträchtigungen.
Ihre Rügen betreffen allgemeine öffentliche Interessen an der willkürfreien Anwendung der Ausnahmebestimmungen. Dazu ist sie jedoch nicht beschwerdelegitimiert.
d) Die Beschwerdeführerin wirft dem Verwaltungsgericht auch eine willkürliche Rechtsanwendung von Art. 90 BauR vor, wonach Bauten nur mit behördlicher Bewilligung errichtet und abgeändert werden dürfen. Mit seinem Entscheid habe das Verwaltungsgericht die begonnenen Bauarbeiten trotz fehlender rechtsgültiger Ausnahmebewilligung sanktioniert.
Die Beschwerdeführerin macht nicht geltend, sie sei dadurch in ihren sich aus Verfahrensvorschriften ergebenden Ansprüchen verletzt worden. Sie legt auch nicht dar, inwiefern sie durch die behauptete Verletzung von Art. 90 BauR in ihren rechtlich geschützten Interessen betroffen sein soll.
Ihre Ausführungen erschöpfen sich in appellatorischer Kritik am angefochtenen Entscheid. Damit genügt sie der bei Willkürbeschwerden gegebenen qualifizierten Rügepflicht nicht.
4.- Die Beschwerdeführerin wirft dem Verwaltungsgericht des Weiteren vor, die drei Projektänderungen und die beiden Ausnahmebewilligungstatbestände willkürlich als "geringfügige Bauvorhaben" bzw. "geringfügige Änderungen" im Sinne von Art. 91 Abs. 1 BauR eingestuft zu haben. Damit habe es auch eine Gesamtbetrachtung des Projekts im ordentlichen Baubewilligungsverfahren mit Publikation verneint, was als willkürlich falsche Anwendung von Art. 90 und 91 BauR in Verbindung mit Art. 58 BauR und § 73 PBG zu qualifizieren sei. Es gehe nicht an, Projektänderungen tranchenweise der Baubewilligungsbehörde zu unterbreiten, um sie nicht gesamthaft im ordentlichen Baubewilligungsverfahren genehmigen zu lassen bzw. dieses zu umgehen.
Die Beschwerdeführerin beschränkt sich auch hier darauf, verschiedene Gesetzesbestimmungen anzurufen und eine willkürliche Rechtsanwendung und Gesetzesauslegung zu rügen.
Dass diesen Baurechtsnormen nachbarschützende Wirkung zukomme und die Beschwerdeführerin zudem durch deren Verletzung in ihren eigenen schutzwürdigen Interessen betroffen sei, behauptet sie nicht. Sie setzt sich mit diesen für die Legitimation massgebenden Fragen nicht ansatzweise auseinander.
Auf die Beschwerde kann somit auch in diesem Punkt nicht eingetreten werden.
5.- Weil das Verwaltungsgericht die Rügen der Beschwerdeführerin, dass die Erschliessung, die Park- bzw. Abstellplätze und die behindertengerechte Ausgestaltung der Neubaute fehlten und die Grenz- und Gebäudeabstände nicht eingehalten seien, nicht geprüft hat, wirft sie ihm ausser der Verletzung ihres Anspruchs auf rechtlichen Gehörs gemäss <ref-law> (dazu oben E. 2 b/bb) auch einen Verstoss gegen das Willkürverbot gemäss <ref-law> vor. Auch in diesem Punkt ist vorab zu prüfen, ob sie insoweit beschwerdelegitimiert ist.
a) Den Vorschriften über die Errichtung von Abstellplätzen gemäss Art. 32 BauR kommt keine nachbarschützende Wirkung zu (<ref-ruling> E. 1b S. 90; <ref-ruling> E. 2b S. 74 f.). Dasselbe gilt auch bezüglich der Vorschriften über die behindertengerechte Ausgestaltung von Neubauten gemäss Art. 25 Abs. 3 und 4 BauR. Die Beschwerdeführerin ist daher nicht legitimiert, in diesem Zusammenhang Willkür geltend zu machen.
b) Hingegen ist ein Nachbar zur Rüge befugt, die Erschliessung sei ungenügend oder die Grenz- und Gebäudeabstände seien verletzt, da diese Vorschriften (auch) seinem Schutz dienen (<ref-ruling> E. 1 c/bb S. 353; <ref-ruling> E. 1b S. 90, 413 E. Ib/bb S. 415 f.). Zusätzlich hat er darzutun, dass er dadurch in seinen eigenen persönlichen Interessen betroffen ist.
Die Beschwerdeführerin legt mit keinem Wort dar, welche Erschliessungsanlagen nicht vorhanden oder ungenügend sein sollen, inwiefern sie dadurch in ihren persönlichen Interessen betroffen sei und worin sie eine willkürliche Rechtsanwendung der von ihr angerufenen Bestimmungen erblickt.
Nicht anders verhält es sich, soweit sie die Nichteinhaltung der Grenz- und Gebäudeabstände geltend macht.
Sie zeigt nicht auf, wo diese Abstände und in welchem Ausmass sie verletzt sein sollen. Auch insoweit genügt die Beschwerdeführerin ihrer qualifizierten Rügepflicht nicht, weshalb auf die Beschwerde insoweit nicht einzutreten ist.
6.- Was für das Willkürverbot gilt, muss nach der Rechtsprechung zu Art. 4 aBV auch massgebend sein für das Gebot der rechtsgleichen Behandlung und von Treu und Glauben (<ref-ruling> E. 3c S. 178; Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Auflage, Bern 1994, S. 238 f.). Diese Rechtsprechung zu Art. 4 aBV gilt auch unter der Herrschaft von Art. 8 und 9 BV (<ref-ruling>, E. 3-6 S. 85 ff.; Pra 2001 Nr. 72 E. 2 S. 419). Rügt ein Beschwerdeführer, die Behörde habe Bauvorschriften verletzt und damit gegen das Rechtsgleichheitsgebot und Treu und Glauben verstossen, obliegt ihm demnach die gleiche qualifizierte Rügepflicht wie bei der Willkürbeschwerde.
a/aa) Zur zweiten Ausnahmebewilligung vom 29. Juni 2000 hält die Beschwerdeführerin dem Verwaltungsgericht vor, es habe dazu in willkürlicher Rechtsprechung das Vorliegen eines Ausnahmetatbestandes für weitere 3.50 m Überlänge bejaht. Damit habe es seine bisher äusserst zurückhaltende Praxis aufgegeben. Es sei willkürlich und halte vor <ref-law> nicht stand, wenn das Verwaltungsgericht gleichsam eine "Lex C._" als Ausnahmetatbestand schaffe.
bb) Die Beschwerdeführerin macht auch in diesem Zusammenhang eine Verletzung von § 73 Abs. 1 PBG und Art. 58 BauR geltend, welche die Voraussetzungen für die Erteilung einer Ausnahmebewilligung nennen. Allein damit lässt sich die Beschwerdelegitimation als Nachbar jedoch nicht rechtsgenügend begründen. Wie erwähnt, liegt die Einhaltung der Bauvorschriften im allgemeinen öffentlichen Interesse. Wird - wie vorliegend - deren Verletzung gerügt, ohne dass ihre nachbarschützende Wirkung und die eigene Betroffenheit dargetan wird, kann darauf mangels rechtsgenügender Substantiierung nicht eingetreten werden.
Im Übrigen müsste die Beschwerde in diesem Punkt auch aus materiellen Gründen abgewiesen werden. Eine Verletzung des Rechtsgleichheitsgebots liegt nicht schon dann vor, wenn eine öffentlichen Zwecken dienende Baute im Gegensatz zu andern Bauten mit demselben Zweck in einer Wohnzone bewilligt wird. Ein Verstoss gegen dieses Grundrecht setzt voraus, dass solche Bauten auch bezüglich Grösse, Gestaltung, Nutzungsart, Immissionen, Publikumsverkehr und anderes mehr vergleichbar sind und trotzdem ungleich behandelt werden.
Der von der Beschwerdeführerin angeführte Vergleich der Bibliotheksbaute mit kirchlichen Bauten, Schul- und Verwaltungsbauten, Altersheimen, Spiel- und Sportanlagen, Frei- und Hallenbädern, Abwasserreinigungsanlagen und Schiessanlagen ist aufgrund der völlig unterschiedlichen Nutzungsart dieser Bauten und Anlagen von Vornherein nicht geeignet, eine rechtsungleiche Behandlung zu rügen. Darüber hinaus legt die Beschwerdeführerin auch nicht konkret dar, inwieweit das Verwaltungsgericht von seiner bisherigen Praxis zu Ausnahmebewilligungen im hier zu beurteilenden Fall abgewichen sei. Insbesondere unterlässt sie es aufzuzeigen, dass das Verwaltungsgericht Bewilligungen für vergleichbare Bauten mit ähnlichem Publikumsverkehr, wie dies beim Bibliotheksgebäude zu erwarten ist, bis anhin in Wohnzonen nicht geschützt hat. Es reicht nicht aus, eine rechtsungleiche Praxis zu rügen, ohne im Einzelnen aufzuzeigen, worin diese liegen soll.
b) Im Ergebnis nicht anders verhält es sich, soweit die Beschwerdeführerin eine Verletzung von Treu und Glauben gemäss <ref-law> behauptet. Dieser vormals aus Art. 4 aBV abgeleitete und nunmehr in <ref-law> verankerte Grundsatz verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten von Behörden.
Auch insoweit ist auf die Beschwerde nicht bereits aufgrund der Anrufung des Vertrauensgrundsatzes einzutreten; zu prüfen ist vorerst, ob die Sachdarstellung der Beschwerdeführerin eine Bindungswirkung und damit einen Anspruch auf Verweigerung einer Ausnahmebewilligung für das Bauvorhaben der Beschwerdegegner als möglich erscheinen lässt (<ref-ruling> E. 3a S. 387).
Der Beschwerdeschrift sind ausser der einleitend behaupteten Verletzung von Treu und Glauben keine Ausführungen über irgendwelche vertrauensbegründende Zusicherungen durch das Verwaltungsgericht oder von ihm geweckte Erwartungen gegenüber der Beschwerdeführerin zu entnehmen. Auch in diesem Punkte genügt die Beschwerde der Rügepflicht nicht.
7.- Die Beschwerdeführerin macht schliesslich eine Verletzung der Eigentumsgarantie im Sinne von <ref-law> geltend. Sie begründet den unrechtmässigen Eingriff in dieses Grundrecht damit, dass mit dem im Jahre 1995 bewilligten Projekt eine rechtswidrige Baute bewilligt worden sei, die massive Verlängerung bzw. Vergrösserung des Bibliothekkomplexes das klobige Erscheinungsbild der nachbarlichen Bibliotheksbaute noch weiter verstärke und damit den Stilbruch der Bibliotheksbaute im Vergleich zum "B._-Vaterhaus" zusätzlich vergrössere.
Die Eigentumsgarantie gewährleistet sowohl den Wert als auch die Substanz des Eigentums (Karl Spühler, a.a.O., S. 153). Die Beschwerdeführerin legt nicht dar und es ist auch nicht ersichtlich, inwiefern das gerügte Ausmass und die Ästhetik der Baute ihr Eigentum schmälert. Selbst wenn die verlängerte Bibliotheksbaute von ihrem Grundstück aus sichtbar ist, liegt darin noch keine Verletzung der Eigentumsgarantie.
Damit erübrigt sich auch ein Augenschein zwecks Feststellung des rechtserheblichen Sachverhalts.
Der diesbezügliche Antrag der Beschwerdeführerin ist daher abzuweisen.
8.- Nach dem Gesagten ist die staatsrechtliche Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Kosten (Art. 156 Abs. 1 OG). Sie hat zudem die anwaltlich vertretene Beschwerdegegnerin 2 für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird der Beschwerdeführerin auferlegt.
3.- Die Beschwerdeführerin hat der Stiftung Bibliothek B._ für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'500.-- zu bezahlen.
4.- Dieses Urteil wird den Parteien, dem Bezirksrat Einsiedeln sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
_
Lausanne, 25. Juni 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: