hat sich ergeben:
A.- Am 16. Mai 2000 reichte der Gemeinderat Schwyz dem Regierungsrat des Kantons Schwyz ein Gesuch um Entlassung des Hauses Nideröst (Hinterdorfstrasse 31 in Schwyz) aus dem kantonalen Schutzinventar und für den Abbruch des Objekts ein. Bei dem nach dem gegenwärtigen Eigentümer benannten Haus Nideröst handelt es sich um ein im sogenannten Hinterdorf von Schwyz gelegenes, im Blockbau errichtetes Gebäude, dessen in weiten Teilen noch erhaltener Kernbau auf das Jahr 1170 zurückgeht und damit zu den ältesten noch erhaltenen Holzhäusern gehört. Im Laufe der Jahrhunderte wurde der Kernbau mit verschiedenen Anbauten ergänzt. Zur Zeit befindet sich das Gebäude in einem problematischen Zustand. Insbesondere das Dach ist schadhaft, weshalb Regen ins Hausinnere gelangt.
Mit Beschluss vom 13. März 2001 entschied der Regierungsrat des Kantons Schwyz, das Haus Nideröst in seinem heutigen Zustand und am bisherigen Standort aus dem kantonalen Inventar geschützter und schützenswerter Bauten zu entlassen. Die Entlassung erfolgte unter der Auflage eines wissenschaftlich begleiteten Abbaus des mittelalterlichen Kernbaus und der Überlassung des wieder verwendbaren Materials an den Kanton Schwyz. Für die Kosten des Abbaus wurde ein Kredit von Fr. 59'846.-- aus Lotteriemitteln bewilligt.
Der Regierungsrat stimmte dem Wiederaufbau des Kernbaus auf der Ital-Reding-Hofstatt zu. Der wieder aufgebaute Kernbau werde in den bestehenden nationalen und kantonalen Schutz der Ital-Reding-Hofstatt integriert.
B.- Gegen diesen Beschluss erhob der Schweizer Heimatschutz (SHS) Beschwerde beim Verwaltungsgericht Schwyz mit dem Begehren, der Beschluss des Regierungsrates sei aufzuheben und das Haus Nideröst sei im kantonalen Schutzinventar zu belassen; zudem seien unverzüglich vorsorgliche Massnahmen auf Kosten des Kantons Schwyz anzuordnen, um das Haus vor einem weiteren Zerfall zu bewahren. Am 29. Mai 2001 trat das Verwaltungsgericht auf die Beschwerde nicht ein, weil der SHS nicht zur Beschwerde legitimiert sei. Das Verwaltungsgericht nahm an, der angefochtene Entscheid des Regierungsrats sei nicht in Erfüllung einer Bundesaufgabe i.S.v.
Art. 2 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) ergangen und unterliege deshalb nicht dem Beschwerderecht der gesamtschweizerischen Organisationen gemäss <ref-law>.
C.- Hiergegen erhob der SHS am 29. Juni 2001 Verwaltungsgerichtsbeschwerde und staatsrechtliche Beschwerde ans Bundesgericht. Er beantragt, der angefochtene Verwaltungsgerichtsentscheid sei aufzuheben zu Gunsten der Belassung des Hauses Nideröst in Schwyz an seinem bisherigen Standort.
In formeller Hinsicht beantragt der SHS die Durchführung eines Augenscheins, den Beizug des bestehenden Gutachtens der Eidgenössischen Kommission für Denkmalpflege und die Durchführung eines zweiten Schriftenwechsels.
D.- Der Landammann des Kantons Schwyz beantragt, die Beschwerden seien abzuweisen, soweit darauf einzutreten sei.
Auch die privaten Beschwerdegegner schliessen auf Abweisung der Beschwerden. Das Verwaltungsgericht beantragt, in Abweisung beider Beschwerden sei der verwaltungsgerichtliche Nichteintretensentscheid zu bestätigen. Der Gemeinderat Schwyz beantragt, auf die staatsrechtliche Beschwerde sei nicht einzutreten und die Verwaltungsgerichtsbeschwerde sei abzuweisen. Das Bundesamt für Kultur hat auf eine Vernehmlassung verzichtet.
E.- Auf Antrag des SHS wurden das Eidgenössische Departement des Innern und das Bundesamt für Kultur ersucht, sämtliche Akten über Interventionen des Bundes betreffend das Haus Nideröst zu den Akten zu geben. Mit Schreiben vom 24. September 2001 kam das Bundesamt diesem Ersuchen nach und reichte die "relevanten Akten zu obgenanntem Verfahren" ein. Es teilte mit, dass vor allem mündliche Gespräche und Verhandlungen auf Stufe Sektion geführt worden seien. Eine formelle Beitragszusicherung sei nicht abgegeben worden, wohl aber habe das Bundesamt für Kultur seine Bereitschaft signalisiert, unter gewissen Bedingungen einen Bundesbeitrag zu bewilligen.

Das Bundesgericht zieht in Erwägung:
1.- a) Angefochten ist ein kantonal letztinstanzlicher Entscheid, der gestützt auf Art. 12 i.V.m. <ref-law> die Beschwerdelegitimation der SHS verneint. Hiergegen steht die Verwaltungsgerichtsbeschwerde offen, soweit der Beschwerdeführer die falsche Anwendung dieser Normen und damit die Verletzung von Bundesverwaltungsrecht rügt (<ref-ruling> E. 1 S. 121; 203 E. 3a S. 207/208). Da sich die Beschwerde des SHS im Wesentlichen auf diese Rüge beschränkt, bleibt kein Raum für die staatsrechtliche Beschwerde (Art. 84 Abs. 2 OG). Auf letztere ist daher nicht einzutreten.
b) Die Beschwerdeantworten beschränken sich im Wesentlichen auf eine Stellungnahme zu den durch die Beschwerde aufgeworfenen Fragen. Es besteht kein Anlass für einen - gemäss den Art. 110 Abs. 4 und Art. 93 Abs. 3 OG nur ausnahmsweise durchzuführenden - zweiten Schriftenwechsel.
c) Der Sachverhalt ergibt sich hinreichend klar aus den Akten, weshalb auf den beantragten Augenschein verzichtet werden kann.
d) Mit Schreiben vom 2. Oktober 2001 bat der SHS um Ergänzung der vom Bundesamt für Kultur eingereichten Unterlagen.
Die angeblich fehlenden Unterlagen betreffen Abklärungen des Bundesexperten über die Realisierbarkeit des von der Familie Nideröst gewünschten Bauprogramms in der historischen Bausubstanz mit einem modernen Annexbau und die Übernahme allfälliger Mehrkosten gegenüber einem Neubau durch den Bund. Diese Unterlagen sind jedoch für den Ausgang des Verfahrens nicht entscheidend (vgl. unten, E. 2e), weshalb auf ihren Beizug verzichtet werden kann. Dies erscheint auch zur Vermeidung einer weiteren Verfahrensverzögerung angezeigt, da sich der Zustand des Hauses Nideröst laufend verschlechtert und deshalb rasch entschieden werden muss.
Aus dem gleichen Grund ist auch von einer erneuten Aufforderung des EDI zur Einreichung seiner Akten abzusehen:
Aufgrund der Ausführungen des Bundesamtes für Kultur, wonach die Gespräche insbesondere auf Stufe der Sektion Heimatschutz und Denkmalpflege und zudem mündlich geführt wurden, ist nicht damit zu rechnen, dass sich weitere entscheidrelevante Unterlagen beim EDI befinden.
2.- Gemäss <ref-law> steht gesamtschweizerischen Organisationen, die sich dem Naturschutz, dem Heimatschutz, der Denkmalspflege oder verwandten, rein ideellen Zielen widmen und mindestens seit zehn Jahren bestehen, das Beschwerderecht zu, soweit gegen kantonale Verfügungen oder gegen Verfügungen von Bundesbehörden letztinstanzlich die Beschwerde an den Bundesrat oder die Verwaltungsgerichtsbeschwerde an das Bundesgericht zulässig ist. Der SHS gehört unstreitig zu den gesamtschweizerischen Organisationen im Sinne dieser Bestimmung (vgl. Art. 1 i.V.m. Anhang Ziff. 5 der Verordnung vom 27. Juni 1990 über die Bezeichnung der im Bereich des Umweltschutzes sowie des Natur- und Heimatschutzes beschwerdeberechtigten Organisationen [VBO; SR 814. 076]); fraglich ist jedoch, ob es sich beim Beschluss des Regierungsrates um einen gemäss <ref-law> anfechtbaren Entscheid handelt. Voraussetzung hierfür wäre, dass er in der Sache letztinstanzlich der Verwaltungsgerichtsbeschwerde ans Bundesgericht unterliegt. Das ist im Folgenden zu prüfen.
a) Die Verwaltungsgerichtsbeschwerde ist zulässig gegen kantonal letztinstanzliche Verfügungen, die sich (auch) auf öffentliches Recht des Bundes stützen oder hätten stützen sollen (<ref-law> in Verbindung mit Art. 97 und Art. 98 lit. g OG), sofern keiner der in Art. 99 ff. OG oder in der Spezialgesetzgebung vorgesehenen Ausschlussgründe greift.
b) Der Entscheid des Regierungsrates stützt sich, wie das Verwaltungsgericht in seinem Entscheid ausgeführt hat, auf § 6 der kantonalen Verordnung vom 29. November 1927 betreffend den Natur- und Heimatschutz und die Erhaltung von Altertümern und Kunstdenkmälern (NHV/SZ): Mit der Entlassung aus dem kantonalen Inventar geschützter und schützenswerter Bauten werde die - mit Auflagen verbundene - grundsätzliche Bewilligung zur Beseitigung des Objekts erteilt. Diese Bestimmung stellt selbständiges kantonales Recht dar. Gemäss <ref-law> (bis zum 1. Januar 2000: Art. 24sexies Abs. 1 aBV) sind primär die Kantone für den Heimatschutz zuständig; dem Bund kommt im Bereich des Natur- und Heimatschutzes lediglich eine subsidiäre Unterstützungs- und Ausgleichsfunktion zu (Thomas Fleiner-Gerster, BV-Kommentar, Art. 24sexies, N 10 und 11).
c) Der SHS stützt seine Legitimation in erster Linie auf die nationale Bedeutung des Schutzobjekts. In der Tat ist die eidgenössische Kommission für Denkmalpflege in ihrem Gutachten vom 21. September 2000 zum Ergebnis gekommen, dass das Haus Nideröst in Schwyz aufgrund seines Alters, seiner Zugehörigkeit zur Gruppe der mittelalterlichen Wohnbauten im Alten Land Schwyz und seinem Stellenwert als geschichtliche Sachquelle ein Denkmal ersten Ranges sei, dem zweifelsfrei nationale Bedeutung zukomme. Zudem ist das Haus Teil des Ortsbilds von Schwyz/Hinterdorf, das im Bundesinventar der schützenswerten Ortsbilder von nationaler Bedeutung inventarisiert ist (Anhang zur Verordnung vom 9. September 1981 über das Bundesinventar der schützenswerten Ortsbilder der Schweiz [VISOS; SR 451. 12]). Die nationale Bedeutung des Verfügungsobjekts genügt für sich allein jedoch nicht zur Begründung der Verwaltungsgerichtsbeschwerde (vgl. <ref-ruling> E. 2c/dd S. 33 [Inventar historischer Verkehrswege der Schweiz]; <ref-ruling> E. 3c/bb S. 196 f. [BLN-Objekt]); erforderlich wäre vielmehr nach dem oben (E. 2a) Gesagten eine direkt anwendbare Bestimmung des Bundesrechts, welche von der kantonalen Behörde zu Unrecht nicht angewandt worden ist.
d) Der SHS beruft sich auf <ref-law>: Daraus ergebe sich eine Verpflichtung der Kantone, zugunsten von Heimatschutzbelangen zu handeln. Dies gelte namentlich für Objekte von gesamtschweizerischer Bedeutung, für die Art. 78 Abs. 2 und 3 BV nur subsidiär eine Zuständigkeit des Bundes begründe. Dabei verkennt der Beschwerdeführer, dass es sich bei <ref-law> um eine verfassungsrechtliche Zuständigkeitsnorm handelt. Diese Bestimmung ruft die - ohnehin gemäss <ref-law> - gegebene Zuständigkeit der Kantone im Bereich des Natur- und Heimatschutzes in Erinnerung. Sie kann durchaus auch als Aufforderung zum Handeln verstanden werden (so Heribert Rausch in: Verfassungsrecht der Schweiz, Zürich 2001, § 58 N 14; Thomas Fleiner-Gerster, BV-Kommentar, Art. 24sexies, N 10: "Appellcharakter"), enthält aber keine konkreten inhaltlichen Vorgaben und direkt anwendbaren Schutzverpflichtungen für die Kantone im Bereich des Heimatschutzes (<ref-ruling> E. 3c/dd S. 33): Es ist vielmehr Aufgabe der Kantone, die zur Erhaltung schutzwürdiger Objekte (sei es von lokaler, regionaler oder nationaler Bedeutung) notwendigen Rechtsgrundlagen zu schaffen und über die Unterschutzstellung im Einzelfall zu befinden (<ref-ruling> E. 3a S. 15). Art. 78 Abs. 1 - 3 BV ist daher keine Bestimmung des Bundesverwaltungsrechts, auf die sich kantonale Verfügungen im Bereich des Heimatschutzes stützen müssten.
Zu prüfen ist daher, ob sich aus der eidgenössischen Gesetzgebung, namentlich dem NHG, Erhaltungspflichten für das Haus Nideröst ergeben, deren Verletzung mit Verwaltungsgerichtsbeschwerde geltend gemacht werden könnten.
e) <ref-law> umschreibt die generellen Pflichten von Bund und Kantonen im Bereich des Natur- und Heimatschutzes.
Abs. 1 verpflichtet den Bund sowie die Kantone "bei der Erfüllung der Bundesaufgaben" das heimatliche Landschafts- und Ortsbild, geschichtliche Stätten sowie Natur- und Kulturdenkmäler zu schonen und, wo das allgemeine Interesse an ihnen überwiegt, ungeschmälert zu erhalten. <ref-law> verpflichtet somit die Kantone nur, wenn und soweit sie in Erfüllung einer Bundesaufgabe handeln. Dieser Begriff wird in <ref-law> wie folgt umschrieben:
Erfüllung von Bundesaufgaben
1 Unter Erfüllung einer Bundesaufgabe im Sinne von
Artikel 24sexies Absatz 2 der Bundesverfassung
[heute: <ref-law>] ist insbesondere zu
verstehen:
a. die Planung, Errichtung und Veränderung von
Werken und Anlagen durch den Bund, seine Anstalten
und Betriebe, wie Bauten und Anlagen der Bundesverwaltung,
Nationalstrassen, Bauten und Anlagen
der Schweizerischen Bundesbahnen;
b. die Erteilung von Konzessionen und Bewilligungen,
wie zum Bau und Betrieb von Verkehrsanlagen
und Transportanstalten (mit Einschluss der Plangenehmigung),
von Werken und Anlagen zur Beförderung
von Energie, Flüssigkeiten oder Gasen oder zur
Übermittlung von Nachrichten sowie Bewilligungen
zur Vornahme von Rodungen;
c. die Gewährung von Beiträgen an Planungen, Werke
und Anlagen, wie Meliorationen, Sanierungen landwirtschaftlicher
Bauten, Gewässerkorrektionen,
Anlagen des Gewässerschutzes und Verkehrsanlagen.
2 Entscheide kantonaler Behörden über Vorhaben,
die voraussichtlich nur mit Beiträgen nach Absatz 1
Buchstabe c verwirklicht werden, sind der Erfüllung
von Bundesaufgaben gleichgestellt.
Im vorliegenden Fall geht es nicht um ein Werk oder eine Anlage des Bundes (Abs. 1 lit. a). Wie das Verwaltungsgericht zutreffend ausgeführt hat, bedarf der Abbruch des Hauses und der Wiederaufbau des mittelalterlichen Kernhauses an anderer Stelle auch keiner bundesrechtlichen Bewilligung oder Konzession i.S.v. Abs. 1 lit. b NHG. Insbesondere liegt kein Anwendungsfall von Art. 24 RPG vor, da das Haus in der Bauzone liegt und auch innerhalb der Bauzone wieder aufgebaut werden soll. Schliesslich hat der Bund für das vom Regierungsrat bewilligte Vorhaben auch keinen Beitrag zugesichert oder in Aussicht gestellt (Art. 2 Abs. 1 lit. c i.V.m. Abs. 2 NHG). Dabei spielt es keine Rolle, dass das Bundesamt für Kultur bereit gewesen wäre, Beiträge zu anderen Lösungen zu gewähren (z.B. für die Beschaffung von Ersatzland für die Eigentümer oder zur Deckung der Mehrkosten einer Restaurierung gegenüber einem Neubau): Diese Lösungsansätze wurden vom Kanton nicht weiter verfolgt und waren nicht Gegenstand des regierungsrätlichen Entscheids bzw. des verwaltungsgerichtlichen Verfahrens.
Handelte der Kanton somit nicht in Erfüllung einer Bundesaufgabe, so war er auch nicht nach <ref-law> zur Erhaltung des Objekts verpflichtet.
f) Gleiches gilt auch für die Erhaltungspflicht nach <ref-law>: Zwar verpflichtet diese Bestimmung die zuständigen Behörden zur ungeschmälerten Erhaltung bzw.
grösstmöglichen Schonung von Objekten von nationaler Bedeutung, die in ein Inventar des Bundes aufgenommen worden sind. Diese Verpflichtung knüpft jedoch ebenfalls an die Erfüllung einer Bundesaufgabe an, wie sich aus dem systematischen Zusammenhang sowie dem Wortlaut von Abs. 2 ergibt (Jörg Leimbacher, NHG-Kommentar, N 2 zu Art. 6).
g) Schliesslich beruft sich der Beschwerdeführer auf das internationale Übereinkommen von Granada zum Schutz des baugeschichtlichen Erbes in Europa vom 3. Oktober 1985 (SR 0.440. 4), das am 1. Juli 1996 für die Schweiz in Kraft getreten ist. Dieses verlangt den Erlass geeigneter Vorschriften zum Schutz von Baudenkmälern, d.h. von Bauwerken von herausragendem geschichtlichem, archäologischem, künstlerischem, wissenschaftlichem, sozialem oder technischem Interesse (Art. 3 Ziff. 2 und Art. 4 Ziff. 2 i.V.m. Art. 1 Ziff. 1 Granada-Übereinkommen); zudem verpflichtet sich jede Vertragspartei, wirksame Kontroll- und Genehmigungsverfahren einzuführen (Art. 4 Ziff. 1 Granada-Übereinkommen). Art. 5 verpflichtet die Vertragsparteien darüber hinaus, die vollständige oder teilweise Versetzung eines geschützten Baudenkmals an einen anderen Ort zu verbieten, ausser in Fällen, wo die materielle Erhaltung eine Versetzung unumgänglich macht. In einem solchen Fall hat die zuständige Behörde alle erforderlichen Vorkehren für den Abbau, die Überführung und den Wiederaufbau an geeigneter Stelle zu treffen.
Diese Bestimmungen richten sich jedoch nicht an die rechtsanwendenden Behörden, sondern verpflichten die Vertragsstaaten zum Erlass entsprechender Normen, d.h. zur Rechtsetzung. Es handelt sich somit um Gesetzgebungsaufträge und nicht um direkt anwendbare Bestimmungen (so auch Botschaft des Bundesrats vom 26. April 1995 betreffend die Konventionen des Europarats zum Schutz des archäologischen und des baugeschichtlichen Erbes, BBl 1995 III S. 451 Ziff. 23). Im vorliegenden Fall sind somit die gesetzgebenden Organe des Kantons Schwyz aufgerufen zu prüfen, ob die kantonalen Heimatschutzbestimmungen den Anforderungen des Übereinkommens genügen (vgl. namentlich Art. 4 lit. d Granada-Übereinkommen, wonach die Möglichkeit der Enteignung von geschützten Objekten bestehen muss, sowie das grundsätzliche Versetzungsverbot gemäss Art. 5 des Übereinkommens).
Dagegen kann eine kantonale Verfügung nicht unmittelbar wegen Verletzung des Granada-Übereinkommens angefochten werden. Dann aber kann offen bleiben, ob die Verletzung von Staatsvertragsbestimmungen im Bereich des Heimatschutzes (ihre direkte Anwendbarkeit unterstellt) durch kantonale Verfügungen mittels Verwaltungsgerichtsbeschwerde beim Bundesgericht geltend gemacht werden könnte, oder ob hierzu das Rechtsmittel der Staatsvertragsbeschwerde ergriffen werden müsste (Art. 84 Abs. 1 lit. c OG).
3.- a) Eine Bundesaufgabe i.S.v. <ref-law> liegt allerdings insofern vor, als die Verfassung (<ref-law>) dem Bund eine (subsidiäre) Zuständigkeit zum Schutz von Objekten des Natur- und Heimatschutzes von gesamtschweizerischer Bedeutung einräumt. Die Handlungsmöglichkeiten des Bundes werden in den Art. 15 f. NHG konkretisiert. Danach kann der Bund Naturlandschaften, geschichtliche Stätten oder Natur- und Kulturdenkmäler von nationaler Bedeutung vertraglich oder, wenn dies nicht möglich ist, auf dem Weg der Enteignung erwerben oder sichern (<ref-law>). Droht einem Objekt von nationaler Bedeutung unmittelbare Gefahr, so können es das Eidgenössische Departement für Umwelt, Verkehr, Energie und Kommunikation oder das Eidgenössische Departement des Innern gestützt auf <ref-law> durch befristete Massnahmen unter den Schutz des Bundes stellen und die nötigen Sicherungen zu seiner Erhaltung anordnen (<ref-law>). Beide Artikel sind als "Kann"-Bestimmung formuliert:
Es steht grundsätzlich im Ermessen des Bundes, ob und wie er zum Schutz von Kulturdenkmälern von nationaler Bedeutung tätig wird. Dieses Ermessen ist jedoch pflichtgemäss auszuüben und kann sich unter Umständen zu einer Handlungspflicht verdichten, wenn ansonsten der Verlust eines Bauwerks von herausragendem, gesamtschweizerischem Interesse droht (vgl. Botschaft des Bundesrats vom 12. November 1965 zum NHG, BBl 1965 III 107, wonach der Bund bei unmittelbarer Bedrohung eines Schutzobjekts von nationaler Bedeutung die Rettung des gefährdeten Objekts selbst in die Wege leiten soll, wenn die Bestrebungen des Kantons, der Gemeinden oder privater Vereinigungen trotz der finanziellen Hilfe des Bundes nicht innert nützlicher Frist zum Ziele führen). Ergreift der Bund Massnahmen gestützt auf <ref-law> - oder lehnt er die Ergreifung solcher Massnahmen verbindlich ab - liegt eine auf Bundesrecht gestützte Verfügung vor, die grundsätzlich der Verwaltungsgerichtsbeschwerde ans Bundesgericht unterliegt (in <ref-ruling> nicht veröffentlichte E. 1a; Fahrländer, NHG-Kommentar, Art. 16 N 15) und deshalb auch von den gesamtschweizerischen Organisationen i.S.v.
<ref-law> angefochten werden kann.
b) Im vorliegenden Fall richtet sich die Beschwerde jedoch nicht gegen derartige Verfügungen des Bundes, sondern gegen eine kantonale Verfügung. Soweit der SHS aus den Art. 15 f. NHG eine Handlungspflicht des Bundes ableitet, muss er dies gegenüber den zuständigen Bundesbehörden geltend machen. Der Kanton ist nicht Adressat der genannten Bestimmungen. Er ist lediglich verpflichtet, allfällige Schutzmassnahmen des Bundes gemäss <ref-law> zu respektieren und einen vom Bund gemäss <ref-law> eingeleiteten Erwerb schützenswerter Objekte nicht zu vereiteln.
Aus den vom Bundesamt für Kultur eingereichten Unterlagen ergibt sich, dass sich der Bund um die Erhaltung des Hauses Nideröst bemühte und zusammen mit den Eigentümern intensiv nach Lösungen suchte, um das Haus an seinem angestammten Platz zu erhalten. Nachdem die Eigentümer eine Restaurierung am jetzigen Standort abgelehnt hatten, bemühte sich das Bundesamt um einen Ersatzstandort in der Nähe des Hinterdorfes von Schwyz, auf dem eine integrale Versetzung des Hauses durchgeführt werden könnte. Bis zuletzt wurde versucht, den Schwyzer Behörden einen Ausweg aufzuzeigen, der es ihnen ermöglicht, das Haus im Schutzinventar zu belassen und der Familie Nideröst dennoch ein Neubauprojekt zu ermöglichen. Dagegen wurden selbständige bundesrechtliche Massnahmen, gestützt auf Art. 15 f. NHG, weder angekündigt noch eingeleitet. Hierzu bestand bis zum Entscheid des Regierungsrates auch keine Veranlassung: Erst nach diesem Entscheid stand fest, dass der Kanton Schwyz den integralen Schutz des Hauses an seinem bisherigen Standort nicht gewährleisten werde. Dieser - dem Bundesamt für Kultur zugestellte - Entscheid des Regierungsrates schaffte somit erst die Voraussetzungen für ein selbständiges Tätigwerden des Bundes gemäss Art. 15 f. NHG. Der Entscheid vereitelt solche Massnahmen auch nicht.
c) Nach dem Gesagten obliegt es dem Bund zu prüfen, ob und inwiefern Massnahmen zur integralen Erhaltung des Hauses Nideröst als ältestem Wohnhaus im Holzbau in der Schweiz an seinem jetzigen Standort anzuordnen sind. Dagegen gibt es keine Bestimmung des Bundesverwaltungsrechts, die den Kanton Schwyz zur Restaurierung des Hauses an seinem jetzigen Standort verpflichtet. Damit fehlt es an einer bundesverwaltungsrechtlichen Verfügungsgrundlage, die in der Sache die Verwaltungsgerichtsbeschwerde ans Bundesgericht ermöglichen würde.
4.- Der SHS war somit nicht berechtigt, den Entscheid des Regierungsrats gemäss <ref-law> vor Verwaltungsgericht anzufechten. Die Verwaltungsgerichtsbeschwerde ist daher abzuweisen. Auf die staatsrechtliche Beschwerde ist nicht einzutreten. Praxisgemäss wird bei Beschwerden von Vereinigungen, die zur Hauptsache ideelle Ziele verfolgen, von einer Kostenauflage abgesehen. Die privaten Beschwerdegegner sind nicht anwaltlich vertreten und haben somit keinen Anspruch auf eine Parteientschädigung. Dem anwaltlich vertretenen Gemeinderat Schwyz ist als obsiegender Behörde keine Parteientschädigung zuzusprechen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
3.- Es werden keine Kosten erhoben.
4.- Es werden keine Parteientschädigungen zugesprochen.
5.- Dieses Urteil wird den Parteien, dem Gemeinderat Schwyz, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Eidgenössischen Departement des Innern und dem Bundesamt für Kultur schriftlich mitgeteilt.
_
Lausanne, 8. Oktober 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: