Raumplanung - Ausnahmebewilligung ausserhalb der Bauzone, hat sich ergeben:
A.-W._ ist Eigentümer des in der Landwirtschaftszone gelegenen, nicht landwirtschaftlich genutzten Hauses auf der Unteren Scheidegg (Parz.-Nr. 767, Bezirk Schwende). Am 16. April 1991 stellte er das Baugesuch, das "Berghaus" umzubauen und zu erweitern. Dabei ging er von einer bestehenden Wohnfläche - verstanden als Bruttogeschossfläche - von je 26.72 m2 auf drei Etagen, insgesamt somit von 80.16 m2 aus. Die Wohnfläche im Erdgeschoss und im ersten Obergeschoss sollten um je 19.82 m2, total 39.64 m2, erweitert werden. Die Nettoerweiterung betrug nach den Angaben des Gesuchstellers jedoch nur 12.92 m2, weil die bestehende Wohnfläche im Untergeschoss von 26.72 m2 auf die beiden Obergeschosse verlagert wurde.
Den Baugesuchsunterlagen ist zu entnehmen, dass als Heizsystem eine Elektro-Speicherheizung geplant und zudem ein Holzheizungsraum im bisherigen Wohnraum im Untergeschoss vorgesehen waren.
Mit Entscheid vom 22. Mai 1991 erteilte die damals zuständige Landesbaukommission für das Bauvorhaben gestützt auf Art. 24 Abs. 2 des Bundesgesetzes über die Raumplanung vom 22. Juni 1979 (aRPG; SR 700) und Art. 65 der Verordnung zum Baugesetz vom 17. März 1986 (BauV) die raumplanerische Bewilligung. Unter den dort angeführten Bedingungen und Auflagen gab sie die bestehende Wohnfläche mit 80.16 m2 (=100%), die zulässige Erweiterung nach Art. 65 BauV mit 20.02 m2 (=25%) und die Erweiterung gemäss Baueingabe mit 100. 20 m2 (= 125%) an. Die Bewilligung begründete sie im Wesentlichen damit, dass die geplante Erweiterung der bestehenden Wohnfläche einer teilweisen Änderung gleich komme.
Die Identität des bestehenden Bauwerkes bleibe in der Hauptsache wesensgleich, und zwar sowohl bezüglich des Umfangs, der äusseren Erscheinung und Zweckbestimmung, als auch der Auswirkungen auf die Nutzungsordnung, die Erschliessung und die Umwelt. Dabei ging sie nicht von der in ihrem Entscheid angeführten Berechnung über die Erweiterung von 25% der bestehenden Wohnfläche aus, sondern bloss von 18%. Am 1. Juli 1991 erteilte der Bezirksrat Schwende für das Bauvorhaben die baupolizeiliche Bewilligung. Er hielt unter anderem fest, der mit "Holz-Heizung" bezeichnete Raum im Untergeschoss dürfe auf keinen Fall zu Wohnzwecken, als Aufenthaltsraum oder ähnliches genutzt werden. Es sei nur eine Nutzung als Heizungs-, Holz- oder Abstellraum zulässig. Dieser Raum wurde daher nicht in die Berechnung der Bruttogeschossfläche miteinbezogen.
B.-Mit Baueingabe vom 11. Februar 1992 ersuchte W._ zusätzlich zur Baueingabe vom 16. April 1991 um den Einbau eines zweiten Quergibels im Bereich der Ostfassade.
Am 18. März 1992 erteilte die Landesbaukommission dieser Projekterweiterung die raumplanerische Bewilligung.
Inhaltlich ist diese Bewilligung identisch mit derjenigen vom 22. Mai 1991.
C.-Am 7. Februar 1997 reichte W._ ein weiteres Baugesuch ein und beantragte den Anbau eines eingeschossigen Hausteils, bestehend aus einem Arbeitsraum, Abstell-/Schutzraum, Schutzraum/Archiv und Dusche/WC. Aus den Planunterlagen geht zudem hervor, dass der Raum im Untergeschoss entgegen der Auflage in der früheren Bewilligung vom 1. Juli 1991 nicht als Heizungs-, Holz- oder Abstellraum, sondern wie ursprünglich als Aufenthaltsraum genutzt wird. Eine neue Berechnung der Bruttogeschossfläche aufgrund der geplanten Erweiterung und der erfolgten Umnutzung im Untergeschoss wurde nicht vorgenommen. Am 25. Februar 1997 erteilte das Bau- und Umweltdepartement in einem Gesamtentscheid die raumplanerische Bewilligung. Es führte aus, es handle sich neuerdings um eine ganzjährig bewohnte Baute mit einer Bruttogeschossfläche unter 145 m2. Die teilweise Änderung könne daher mehr als einen Viertel der bestehenden Nutzung betragen, höchstens jedoch 200 m2 Bruttogeschossfläche. Die Voraussetzungen nach Art. 24 Abs. 2 RPG und Art. 65 Abs. 3 BauV seien erfüllt.
Am 7. März 1997 erteilte der Bezirksrat Schwende für dieses Bauvorhaben die baupolizeiliche Baubewilligung.
D.-Am 22. August 1997 reichte W._ wiederum ein Baugesuch ein. Auf dem Baugesuchsformular sind ein Anbau an das bestehende Wohnhaus und der Einbau von Sonnenkollektoren vermerkt, wobei ersteres durchgestrichen ist. Gleichentags ersuchte er auch um die Erteilung einer Bewilligung oder Konzession für den Bau und Betrieb einer Wärmepumpeanlage mit Erdsonden.
Mit Verfügung vom 10. September 1997 erteilte das Bau- und Umweltdepartement für den Entzug von Wärme mittels Erdsonden die Gewässerschutz-Baubewilligung, und der Bezirksrat Schwende bewilligte mit Verfügung vom 19. September 1997 den Einbau der Sonnenkollektoren.
E.-Anlässlich einer Baubesichtigung vom 9. Januar 1998 stellte der Bezirksrat Schwende fest, dass die Wohnhauserweiterung nicht den bewilligten Plänen vom 7. März 1997 entspricht und sich im Vergleich zu diesem zudem eine Nutzungsänderung abzeichnet. Er verfügte daher am 29. Januar 1998 einen Baustopp und forderte die Bauherrschaft auf, aufgrund der Projektänderungen ein neues Baugesuch einzureichen.
Dieser Aufforderung kam W._ am 2. Februar 1998 nach. Als Grundrissplan legte er den Bodenheizungsplan vom 16. Oktober 1997 bei. Ergänzend dazu führte er im Wesentlichen aus, sein Gesuch um Einbau von Sonnenkollektoren sei vom Bezirksrat Schwende am 19. September 1997 bewilligt worden. Er habe daher in guten Treuen davon ausgehen dürfen, dass die gemäss den damals eingereichten Plänen beabsichtigten unterirdischen baulichen Erweiterungen bewilligt worden seien. Im Zeitpunkt dieses nachträglich eingereichten Baugesuches war die bisherige Gebäudefläche durch Vergrösserung des Anbaus bereits ausgedehnt worden. Der Anbau wurde um 30 cm auf 6.90 m verbreitert, für die Heizung und die Sanitäranlagen erfolgte ein zusätzlicher Anbau und der ursprünglich geplante Schutzraum wurde erweitert. In Abweichung vom Baugesuch vom 7. Februar 1997 sahen die neuen Planunterlagen zudem wesentliche Nutzungsänderungen vor: Es wurden die als Arbeitsraum vorgesehene Gebäudefläche erheblich reduziert, Dusche/WC verkleinert und auf einen Abstell-/Lagerraum verzichtet. Demgegenüber waren neu der Einbau einer Küche und ein zusätzlicher Raum vorgesehen.
Schliesslich sollte der Schutz-/Archivraum von 26.40 m2 durch Verzicht auf diese Nutzung und durch eine bauliche Erweiterung in einen Sauna-/Baderaum von rund 86 m2 umfunktioniert werden.
Gegen dieses Bauvorhaben erhoben am 20. Februar 1998 der Schweizer Heimatschutz, der Heimatschutz St. Gallen/Appenzell I.Rh. und F._ beim Bezirksrat Schwende gemeinsam Einsprache. Sie beantragten, das Baugesuch sei abzulehnen, die widerrechtlich erstellten Bauteile seien zu entfernen und der Ausgangszustand sei wieder herzustellen.
Am 2. Juni 1998 fand in Anwesenheit von Vertretern des Kantons, des Bezirksrats Schwende, der Bauherrschaft und der Einsprecher ein Augenschein statt. Am 24. Juli 1998 wies das Bau- und Umweltdepartement die Einsprache ab und erteilte für das nachträglich eingereichte Baugesuch vom 2. Februar 1998 (Korrekturgesuch) zur Erweiterung des Wohnhauses die raumplanerische Ausnahmebewilligung. Es erwog, dass sich die Ermittlung der bestehenden und der für die Erweiterung massgebenden Bruttogeschossfläche nach Art. 37 Abs. 2 BauV richte. Nach Art. 65 Abs. 4 BauV könne bei ganzjährig bewohnten Bauten unter 145 m2 Bruttogeschossfläche der Viertel bis zu einem Maximum von 200 m2 überschritten werden. Den Einbau einer Sauna an Stelle des ursprünglich bewilligten Keller- und Schutzraumes erachtete es auf die Bruttogeschossfläche als nicht anrechenbar. Seine Berechnungen ergaben eine Bruttogeschossfläche von insgesamt 204. 99 m2, nämlich 125. 06 m2 für das bestehende Wohnhaus und 79.93 m2 für die Erweiterung 1997/98. Die Überschreitung der maximal zulässigen Bruttogeschossfläche von 200 m2 um 4.99 m2 erachtete es als im obersten Toleranzbereich liegend.
Der Bezirksrat Schwende erteilte für das Baugesuch vom 2. Februar 1998 am 14. August 1998 die Baubewilligung.
F.-Gegen diese Baubewilligung legten die vorerwähnten Einsprecher bei der Standeskommission des Kantons Appenzell I.Rh. Rekurs ein und beantragten, es seien die raumplanerische Ausnahmebewilligung zu verweigern, die widerrechtlich erstellten Bauteile zu entfernen und der Ausgangspunkt wieder herzustellen. Mit Entscheid vom 22. Juni 1999 leitete die Standeskommission den Rekurs, soweit er den Widerruf der Baubewilligungen vom 22. Mai 1991/18. März 1992, 1. Juli 1992 sowie vom 25. Februar 1997 und 7. März 1997 betraf, an das Bau- und Umweltdepartement sowie an den Bezirksrat Schwende zur Entscheidung weiter. Die Behandlung des Rekurses gegen den raumplanerischen Entscheid des Bau- und Umweltdepartementes sistierte es bis zum Entscheid der Vorinstanzen über den Widerruf.
Mit Verfügung vom 1. Oktober 1999 und 15. Oktober 1999 wiesen das Bau- und Umweltdepartement bzw. der Bezirksrat Schwende den Antrag auf Widerruf der von ihnen erteilten Bewilligungen ab. Mit Entscheid vom 22. Februar 2000 trat die Standeskommission auf den Rekurs des Heimatschutzes St. Gallen/Appenzell I.Rh. nicht ein; den Rekurs von F._ und des Schweizer Heimatschutzes wies sie ab, soweit sie darauf eintrat, und bestätigte den angefochtenen Entscheid.
G.-Gegen den Entscheid der Standeskommission erhoben F._ und der Schweizer Heimatschutz beim Kantonsgericht des Kantons Appenzell I.Rh., Abteilung Verwaltungsgericht, Baubeschwerde. Dieses hiess die Beschwerde mit Urteil vom 3. Oktober 2000 gut und hob den Beschluss der Standeskommission vom 22. Februar 2000 sowie die zugrunde liegende Baubewilligung des Bezirksrats Schwende vom 14. August 1998 auf. Es verpflichtete zudem die Bauherrschaft, die widerrechtlich erstellten Bauteile zu entfernen und den Zustand der Gebäudefläche und deren Nutzung gemäss den bewilligten Plänen vom 7. Februar 1997 wieder herzustellen. Der bewilligte Einbau der Sonnenkollektoren und die Wärmepumpe mit Erdsonde klammerte es von dieser Abbruchverfügung aus, soweit sie nicht zu einer Gebäudevergrösserung führten. Nach den Berechnungen des Kantonsgerichts wurde die Bruttogeschossfläche, ausgehend von 80.13 m2, mit dem ersten bewilligten Umbau im Jahre 1991 auf 125. 77 m2 erhöht. Mit Entscheid vom 7. Februar 1997 habe der Bezirksrat Schwende einen Anbau und damit eine zusätzliche Erweiterung der Gebäudefläche um 143. 88 m2 bewilligt. Davon sind nach den Ausführungen des Kantonsgerichts 83.05 m2 an die Bruttogeschossfläche anzurechnen, so dass diese von 125. 77 m2 auf 208. 82 m2 erhöht wurde. Eine weitere Erhöhung der Bruttogeschossfläche stellt es schliesslich aufgrund der Umnutzung bzw. des Anbaus gemäss dem nachträglich eingereichten und ebenfalls bewilligten Baugesuch vom 2. Februar 1998 fest. Im Gegensatz zu den Vorinstanzen hält es dafür, dass auch der Saunaraum von 86.80 m2 unter die Bruttogeschossfläche fällt und sich diese damit insgesamt um weitere 90.30 m2 auf total 299. 12 m2 erhöht. Das Kantonsgericht schliesst daraus, dass durch den Anbau und die Umnutzung gemäss dem nachträglich eingereichten Baugesuch vom 2. Februar 1998 die Identität der Baute nicht mehr gewahrt ist und dieses daher weder nach altem noch neuem Recht bewilligt werden kann.
H.-Mit Verwaltungsgerichtsbeschwerde vom 23. November 2000 ficht W._ das Urteil des Kantonsgerichts beim Bundesgericht an. Er beantragt, dieses sei aufzuheben und sein Baugesuch vom 2. Februar 1998 sei in Übereinstimmung mit den Entscheidungen des Bau- und Umweltdepartements vom 24. Juli 1998, des Bezirksrats Schwende vom 14. August 1998 und der Standeskommission von Appenzell I.Rh. vom 22. Februar 2000 zu bewilligen. Eventualiter beantragt er, die Sache zu neuer Entscheidung an die Vorinstanz oder an die erstinstanzliche Bewilligungsbehörde zurückzuweisen.
Der Schweizer Heimatschutz und das Kantonsgericht Appenzell I.Rh., Abteilung Verwaltungsgericht, beantragen die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) hat in seiner Vernehmlassung vom 22. Februar 2001, ohne einen konkreten Antrag zu stellen, unter anderem ausgeführt, entgegen der Auffassung des Beschwerdeführers seien nach konstanter bundesgerichtlicher Rechtsprechung Flächen, welche nicht als Bruttogeschossfläche anzurechnen seien, nicht einfach unbeachtlich. Bei der hier gegebenen Ausgangslage sei die Verhältnismässigkeit der Wiederherstellung des rechtmässigen Zustandes unzweifelhaft. Der Bezirksrat Schwende, das Bau- und Umweltdepartement und die Standeskommission haben auf eine Stellungnahme verzichtet.
F._ hat sich nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.-Der Beschwerdeführer ficht den Entscheid des Kantonsgerichts mit Verwaltungsgerichtsbeschwerde beim Bundesgericht an. Dieses prüft von Amtes wegen und mit freier Kognition, ob es auf eine Verwaltungsgerichtsbeschwerde eintreten kann (<ref-ruling> E. 1 S. 381 mit Hinweisen).
a) Das Kantonsgericht hatte den Entscheid der Standeskommission aufgehoben, mit dem die vom Bezirksrat Schwende am 14. August 1998 erteilte Bewilligung für den Um- und Erweiterungsbau des in der Landwirtschaftszone gelegenen, nicht landwirtschaftlich genutzten Hauses des Beschwerdeführers geschützt worden war. Zudem verfügte es die Entfernung der widerrechtlich erstellten Bauteile und die Wiederherstellung des Zustandes gemäss den bewilligten Plänen vom 7. Februar 1997. Davon ausgenommen blieben der bewilligte Einbau von Sonnenkollektoren und die Wärmepumpe mit Erdsonde. Das angefochtene Urteil stützt sich in seiner Hauptbegründung auf das eidgenössische Raumplanungsrecht (Art. 24 Abs. 2 aRPG, Art. 24c RPG in der Fassung vom 20. März 1998 sowie Art. 41 und 42 der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700. 1]) und die kantonalen Bauvorschriften (Art. 74 des kantonalen Baugesetzes vom 28. April 1985 [BauG], Art. 37 und 65 BauV) ab. Der Beschwerdeführer rügt eine Verletzung von Bundesrecht einschliesslich Überschreitung des Ermessens durch die Vorinstanz.
Zudem hält er ihr vor, den Sachverhalt unrichtig, unvollständig und unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt zu haben.
b) Nach Art. 34 Abs. 1 RPG ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht gemäss Art. 97 OG in Verbindung mit <ref-law> unter anderem zulässig gegen Entscheide letzter kantonaler Instanzen über Bewilligungen im Sinne von Art. 24c RPG. Dabei gelten in Bezug auf Art. 24c RPG nicht nur solche Entscheide im Sinne von Art. 34 Abs. 1 RPG als mit Verwaltungsgerichtsbeschwerde anfechtbar, mit denen eine Bewilligung nach Art. 24c RPG erteilt wird, sondern auch solche, mit denen Bauten und Anlagen gestützt auf diese Bestimmung nicht bewilligt werden (zu Art. 24 aRPG: <ref-ruling> E. 2b/cc S. 392; <ref-ruling> E. 2a S. 11). Im verwaltungsgerichtlichen Beschwerdeverfahren sind sodann auch auf kantonales Recht gestützte Anordnungen zu überprüfen, die einen hinreichend engen Sachzusammenhang mit der im Rahmen dieses Verfahrens zu beurteilenden Frage des Bundesverwaltungsrechts aufweisen (<ref-ruling> E. 1a mit Hinweisen). Das von den Kantonen im Rahmen von Art. 24 Abs. 2 aRPG erlassene, das Bundesrecht im Kanton konkretisierende Recht wird vom Bundesgericht als Ergänzungsrecht, mithin als selbständiges kantonales Recht anerkannt.
Nach Art. 34 RPG kann auch die Verletzung kantonalen Rechts aus dem Anwendungsbereich von Art. 24 aRPG mit Verwaltungsgerichtsbeschwerde geltend gemacht werden. Insoweit beschränkt sich das Bundesgericht auf Willkürprüfung (<ref-ruling> E. 2 S. 96 f.) Die Rügen des Beschwerdeführers sind somit - wie er dies getan hat - mit Verwaltungsgerichtsbeschwerde zu erheben. Als Eigentümer des Hauses auf der Unteren Scheidegg (Parz.-Nr. 767) ist er durch den angefochtenen Entscheid berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (Art. 103 lit. a OG). Auf sein frist- und formgerecht eingelegtes Rechtsmittel ist somit einzutreten.
2.-Der Beschwerdeführer wirft der Vorinstanz vor, die Beschwerdelegitimation von F._ und des Schweizer Heimatschutzes ungeprüft bejaht zu haben. Er vertritt die Auffassung, dass beiden die Legitimation nicht zukommt und das Verwaltungsgericht daher zu Unrecht auf deren Beschwerden eingetreten ist.
a) Die Kantone dürfen in einem der eidgenössischen Verwaltungsgerichtsbeschwerde vorangehenden kantonalen Verfahren keine strengeren, über Art. 103 lit. a OG hinausgehenden Legitimationsanforderungen stellen (Art. 98a Abs. 3 OG). Ausserdem gebietet Art. 33 RPG ausdrücklich, dass die Kantone gegen Verfügungen, die sich auf das Raumplanungsgesetz und seine kantonalen Ausführungsbestimmungen stützen, die Legitimation mindestens im gleichen Umfange wie für die Verwaltungsgerichtsbeschwerde an das Bundesgericht zu gewährleisten und die volle Überprüfung durch wenigstens eine Beschwerdebehörde sicher zu stellen haben (<ref-ruling> E. 2b S. 13).
b) Nach Art. 7 lit. a des kantonalen Verwaltungsgerichtsgesetzes vom 25. April 1991/30. April 2000 (VerwGG) ist zur Verwaltungsgerichtsbeschwerde berechtigt, wer durch die angefochtene Verfügung berührt ist und ein schutzwürdiges Interesse an deren Aufhebung oder Änderung hat.
Der Wortlaut dieser Bestimmung deckt sich mit Art. 103 lit. a OG und entspricht demnach der für die Legitimationsanforderung geltenden bundesrechtlichen Minimalvorschrift.
Hingegen stellt sie eine Einengung der Legitimation im Vergleich zu den der kantonalen Verwaltungsgerichtsbeschwerde vorausgehenden Verfahren dar. So ist nach Art. 69 Abs. 2 BauG zur öffentlichrechtlichen Einsprache, zum Rekurs und zur Beschwerde nicht nur berechtigt, wer durch den angefochtenen Gegenstand berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat, sondern zudem und unabhängig davon auch jede im Kanton wohnhafte natürliche Person.
Die Standeskommission hatte aufgrund des Wohnsitzes von F._ im Kanton Appenzell I.Rh. dessen Rekurslegitimation bejaht. Da im Gegensatz dazu der Wohnsitz die Beschwerdelegitimation zur kantonalen Verwaltungsgerichtsbeschwerde nicht zu begründen vermag, wäre das Verwaltungsgericht gehalten gewesen zu prüfen, ob F._ dazu nach Art. 7 lit. a VerwGG überhaupt legitimiert war. Aus den Akten lässt sich jedenfalls nicht entnehmen, dass er durch die Baubewilligung berührt ist und ein schutzwürdiges Interesse an deren Aufhebung oder Änderung hat. Ebenso wenig ist eine erforderliche Beziehungsnähe ersichtlich. Die Legitimation von F._ zur Baubeschwerde an das Kantonsgericht erscheint demnach nicht derart offensichtlich, als darüber stillschweigend hinweggegangen werden durfte. Sie braucht indessen nicht abschliessend beurteilt zu werden, da sie keine Auswirkungen auf den angefochtenen Entscheid des Kantonsgerichts hatte. So wurde die an das Kantonsgericht gerichtete Beschwerde nicht nur von F._ unterzeichnet, sondern zudem auch vom Schweizer Heimatschutz. Entgegen der Auffassung des Beschwerdeführers war dieser zur Beschwerdeerhebung legitimiert. Die Erteilung einer Ausnahmebewilligung nach Art. 24 aRPG bzw. Art. 24-24d RPG für ein Bauvorhaben ausserhalb der Bauzone ist eine Bundesaufgabe im Sinne von Art. 24sexies Abs. 2 aBV bzw. <ref-law> und <ref-law>, zu deren Anfechtung die nach <ref-law> beschwerdeberechtigten Organisationen legitimiert sind (<ref-ruling> E. 1e; <ref-ruling> E. 2a S. 307; <ref-ruling> E. 2b/cc S. 392). Der Schweizer Heimatschutz wird im Anhang der Verordnung über die Bezeichnung der im Bereich des Umweltschutzes sowie des Natur- und Heimatschutzes beschwerdeberechtigten Organisationen vom 27. Juni 1990 (VBO; SR 814. 076), ausdrücklich aufgeführt. Er war daher befugt, den Entscheid der Standeskommission, der die Anwendung von Art. 24 Abs. 2 aRPG zum Gegenstand hatte, wegen Verletzung von Art. 24sexies aBV und <ref-law> beim Kantonsgericht anzufechten. Insoweit ist dieses jedenfalls zu Recht auf die Beschwerde eingetreten.
3.-Der Beschwerdeführer wirft der Vorinstanz eine Verletzung des rechtlichen Gehörs vor, weil sie selber Flächenberechnungen vorgenommen habe, ohne dass die Parteien dazu hätten Stellung nehmen können. Im Ergebnis seien sie denn auch zum Teil unrichtig und es bleibe unklar, von welchen Massen die Vorinstanz im Einzelnen ausgegangen sei. Der rechtserhebliche Sachverhalt sei von ihr unzutreffend und unvollständig festgestellt worden. Er habe sich daher veranlasst gesehen, einen bis anhin mit dieser Sache nicht befassten, neutralen Architekten mit der Flächenberechnung zu beauftragen und dessen Ergebnis nun als nachgeholte Stellungnahme ins Recht zu legen. Wegen der Anrechnung des Sauna-/Baderaums an die Bruttogeschossfläche wirft der Beschwerdeführer der Vorinstanz des Weiteren eine Verletzung des Rechtsgleichheitsgebots vor.
a) Der Anspruch auf rechtliches Gehör im Sinne von <ref-law> umfasst die Rechte und Pflichten der Parteien auf Teilnahme am Verfahren und auf Einflussnahme auf den Prozess der Entscheidfindung. In diesem Sinne dient das rechtliche Gehör einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört auch das Recht, an der Erhebung wesentlicher Beweise mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2 mit Hinweisen).
Vor der ersten, im Jahre 1991 erteilten Baubewilligung wies das Haus des Beschwerdeführers gemäss den Angaben des Kantonsgerichts eine Bruttogeschossfläche von 80.13 m2 und nach denjenigen der Vorinstanzen eine solche von 80.16 m2 auf. Das Bau- und Umweltdepartement kam in seinem Entscheid vom 24. Juli 1998 zum Ergebnis, dass nach dem ersten Umbau im Jahre 1991 die Bruttogeschossfläche auf 125. 06 m2 erhöht wurde und diese nun nach der Erweiterung von 1997/98 204. 99 m2 beträgt. Der Sauna-/Baderaum blieb hierbei unberücksichtigt. Die Standeskommission hat diese Berechnungen in ihrem Entscheid vom 22. Februar 2000 nicht in Frage gestellt. Im Gegensatz zu ihr nahm das Kantonsgericht eine eigene Flächenberechnung vor. Danach belief sich die Bruttogeschossfläche nach dem ersten Umbau auf 125. 77 m2 und nach der Erweiterung gemäss Baubewilligung vom 7. März 1997 auf 208. 82 m2. Nach dem Baugesuch vom 2. Februar 1998 kam es auf eine zusätzliche Erweiterung von 90.30 m2, wovon 86.80 m2 auf den Sauna-/Baderaum entfallen, den es in Abweichung zu den Vorinstanzen ebenfalls als an die Bruttogeschossfläche anzurechnende Gebäudefläche qualifizierte.
Das Kantonsgericht stützte sich bei der Flächenberechnung auf die dem Beschwerdeführer bekannten Baugesuchsakten ab; weitere Akten zog es nicht bei. Die Abweichungen der von ihm ermittelten Bruttogeschossfläche zu derjenigen des Bau- und Umweltdepartements erweisen sich im Verhältnis zur umstrittenen Erweiterung als gering. Der Beschwerdeführer räumt selbst ein, dass die vorinstanzliche Sachdarstellung für das vorliegende Verfahren von untergeordneter Bedeutung ist. Die genannten Abweichungen waren denn auch nicht geeignet, den Entscheid des Kantonsgerichts zu beeinflussen. Gegenteiliges lässt sich auch seinen Erwägungen nicht entnehmen. Die massgebende Abweichung besteht einzig darin, dass das Kantonsgericht im Gegensatz zu den Vorinstanzen die Gebäudefläche für den Sauna-/Baderaum von 86.80 m2 an die Bruttogeschossfläche anrechnete. Hierbei handelt es sich indessen um eine reine Rechtsfrage. Eine Verletzung des rechtlichen Gehörs ist daher zu verneinen.
b) Der Beschwerdeführer vertritt die Meinung, gestützt auf das Gebot der rechtsgleichen Behandlung habe er Anspruch darauf, dass der Sauna-/Baderaum nicht an die Bruttogeschossfläche angerechnet wird. Eine gegen <ref-law> verstossende rechtsungleiche Behandlung liegt nur dann vor, wenn die Behörde zwei gleiche tatsächliche Situationen ohne sachlichen Grund unterschiedlich beurteilt (<ref-ruling> E. 2a S. 168 mit Hinweisen). Der Beschwerdeführer weist pauschal darauf hin, dass es im Kanton Appenzell I.Rh. nicht eine einzige unterirdische Sauna gebe, die je zur zulässigen Bruttogeschossfläche gezählt worden sei. Der vorliegende Sauna-/Baderaum weist eine Bruttogeschossfläche von 86.80 m2 auf, was für ein Einfamilienhaus ein aussergewöhnliches Ausmass darstellt. Der Beschwerdeführer zeigt nicht auf, inwiefern dieser Fall in tatsächlicher und rechtlicher Hinsicht gleich gelagert ist wie die bisher bewilligten Saunaräume.
Im Übrigen kann er aus der Praxis der kommunalen und kantonalen Bewilligungsbehörden nichts für sich ableiten. Das Kantonsgericht ist an eine allenfalls rechtswidrige behördliche Praxis nicht gebunden. Es hat gesetzeswidrige Begünstigungen zu verweigern und der gesetzeskonformen Rechtsanwendung zum Durchbruch zu verhelfen. Gründe, welche diesem Grundsatz der Gesetzmässigkeit vorgehen, liegen hier nicht vor (Urteil des Bundesgerichts vom 26. April 1999 in: ZBl 101/2000 S. 436 f.; <ref-ruling> E. 4 S. 451). Eine Verletzung des Rechtsgleichheitsgebots ist demnach zu verneinen.
c) Der Beschwerdeführer hat mit der Verwaltungsgerichtsbeschwerde ans Bundesgericht verschiedene neue Akten eingelegt, insbesondere einen Grundrissplan vom 7. November 2000 mit einer Flächenberechnung des Architekten F._. Danach betrug die Bruttogeschossfläche nach dem Umbau im Jahre 1991 121. 65 m2 und nach der Erweiterung 1997/98 soll sie sich auf 200. 58 m2 belaufen. Zudem ermittelte der Architekt bei der Erweiterung 1997/98 eine an die Bruttogeschossfläche nicht anrechenbare Fläche von 118. 26 m2, wovon 86.75 m2 auf den Saunaraum entfallen. Es stellt sich damit die Frage, ob diese tatsächlichen Nova im Rahmen der Verwaltungsgerichtsbeschwerde zulässig sind.
Dem Bundesgericht steht grundsätzlich eine umfassende Sachverhaltskontrolle zu (Art. 104 lit. b in Verbindung mit Art. 105 Abs. 1 OG). Hat jedoch als Vorinstanz - was hier der Fall ist - eine richterliche Behörde entschieden, so ist die Überprüfung eingeschränkt: Sie erfasst nur offensichtlich unrichtige, unvollständige oder unter Verletzung wesentlicher Verfahrensbestimmungen getroffene Feststellungen (Art. 104 lit. b in Verbindung mit Art. 105 Abs. 2 OG; <ref-ruling> E. 1 S. 519). Derart mangelhafte Feststellungen liegen, wie bereits erwähnt, nicht vor. Das Kantonsgericht hat seinem Entscheid auch nicht einen offensichtlich falschen und aktenwidrigen Sachverhalt zugrunde gelegt oder die Beweise offensichtlich falsch gewürdigt.
Schliesslich hat es auch alle für den Entscheid rechtswesentlichen Sachumstände gewürdigt. Die vom Beschwerdeführer in diesem Zusammenhang vorgebrachte Rüge, es lasse sich nicht zweifelsfrei feststellen, von welcher rechtskräftig bewilligten Bruttogeschossfläche die Vorinstanz ausgegangen sei, ist unbegründet. Das Kantonsgericht hat sich eingehend mit der Bruttogeschossfläche auseinandergesetzt und die Flächenmasse nach den jeweiligen Um- und Erweiterungsbauten klar aufgezeigt. Zutreffend ist einzig der Vorhalt, die Vorinstanz habe dem Bau- und Umweltdepartement zu Unrecht vorgeworfen, die Bruttogeschossfläche im Obergeschoss von 46.53 m2 nicht mitgerechnet zu haben. Im Ergebnis hatte dies indessen überhaupt keine Auswirkungen, weshalb die vom Beschwerdeführer ausgedrückte Vermutung, diese sei allenfalls ungewollt von einer Bruttogeschossfläche von 250 m2 - ohne Berücksichtigung des Saunaraumes - ausgegangen, offensichtlich unbegründet ist. Es ist somit vom Sacherhalt auszugehen, wie er dem angefochtenen Entscheid des Kantonsgerichts zugrunde liegt.
4.-Die gestützt auf die Baugesuche vom 16. April 1991/11. Februar 1992 und vom 7. Februar 1997 erteilten Baubewilligungen traten unangefochten in Rechtskraft. Das Kantonsgericht überprüfte diese daher nicht mehr auf ihre Rechtmässigkeit hin, nahm indessen darauf Bezug, soweit es um die Identität der Baute aufgrund der angefochtenen Baubewilligung vom 14. August 1998 ging. Zum anwendbaren Recht nach Inkrafttreten der Revision des RPG vom 20. März 1998 (AS 2000 2042) bemerkte es, es sei nicht klar, ob die Bestimmungen zur Zeit des unbewilligten Baus bzw. Umbaus oder diejenigen im Zeitpunkt des Entscheides das mildere Recht seien. Es rechtfertige sich daher, das Bauvorhaben nach altem und neuem Recht zu beurteilen. Dabei kam es zum Schluss, dass in beiden Fällen die massgebenden Vorschriften verletzt sind und eine nachträgliche Baubewilligung nicht möglich ist.
a) Ist die materielle Rechtmässigkeit einer Baute zu prüfen, findet nicht das zur Zeit der Entscheidung gültige Recht Anwendung, sondern dasjenige, das während des Baus oder Umbaus in Kraft war. Auf das in der Zwischenzeit abgeänderte Recht ist nur dann abzustellen, wenn dieses für den Eigentümer der Baute günstiger ist. Dasselbe gilt nach <ref-law> auch für hängige Beschwerdeverfahren (zur Publikation bestimmtes Urteil des Bundesgerichts vom 15. Februar 2001, E. 2b).
Das von der Baubehörde angeforderte nachträgliche Baugesuch wurde von ihr am 14. August 1998 bewilligt und von der Standeskommission mit Entscheid vom 22. Februar 2000 geschützt. Das Kantonsgericht hob diesen Entscheid mit Urteil vom 3. Oktober 2000 auf und verfügte die Entfernung der widerrechtlich erstellten Bauteile mit Ausnahme der Sonnenkollektoren und der Wärmepumpe mit Erdsonde, soweit diese nicht zu einer Gebäudevergrösserung führten. Im Zeitpunkt der Baubewilligung galt das eidgenössische Raumplanungsgesetz in der Fassung vom 22. Juni 1979. Die revidierte Fassung trat am 1. September 2000 und damit während des Beschwerdeverfahrens in Rechtskraft (AS 2000 2046).
b) Nach Art. 24 Abs. 2 aRPG konnte das kantonale Recht gestatten, Bauten und Anlagen ausserhalb der Bauzone zu erneuern, teilweise zu ändern oder wieder aufzubauen, wenn dies mit den wichtigen Anliegen der Raumplanung vereinbar war. Diese Möglichkeit setzte eine kantonale Ausführungsgesetzgebung voraus, welche die bundesrechtlich offenstehende Möglichkeit auch bloss teilweise ausschöpfen oder strengere Anforderungen stellen konnte als das Bundesrecht (<ref-ruling> E. 2 S. 96; <ref-ruling> E. 3c S. 55). Hingegen war der Begriff der teilweisen Änderung ein bundesrechtlicher, der durch das kantonale Recht nicht erweitert werden konnte (<ref-ruling> E. 3 S. 316 f.; <ref-ruling> E. 2 S. 96; Leo Schürmann/Peter Hänni, Planungs-, Bau- und besonderes Umweltschutzrecht, 3. Aufl. , Bern 1995, S. 167). Nach der bundesgerichtlichen Rechtsprechung zu Art. 24 Abs. 2 aRPG galten dafür folgende Grundsätze: Eine zulässige Änderung kann sowohl in einer Vergrösserung oder inneren Umgestaltung als auch in einer Zweckänderung bestehen. Sie ist als teilweise zu betrachten, soweit hinsichtlich Umfang, äusserer Erscheinung sowie Zweckbestimmung die Wesensgleichheit der Baute gewahrt wird und keine wesentlichen neuen Auswirkungen auf die Nutzungsordnung, Erschliessung und Umwelt geschaffen werden. Die Änderung darf nur untergeordneter Natur sein.
Art. 24 Abs. 2 aRPG umfasste auch Nutzungsänderungen, die keine baulichen Vorkehrungen erforderten, wenn die Änderun- gen erhebliche Auswirkungen auf Umwelt und Planung hatten (<ref-ruling> E. 4d S. 223; s. auch <ref-ruling> E. 3a S. 227; Peter Karlen, Die Ausnahmebewilligung nach Art. 24-24d RPG. in: ZBl 102/2001 S. 300). Entscheidend sind nicht einzelne Merkmale, sondern alle raumwirksamen Elemente im Zusammenwirken (<ref-ruling> E. 4 S. 261; <ref-ruling> E. 3a). Es ist nicht starr auf eine bestimmte Fläche abzustellen.
Indessen ist eine Erweiterung in der Regel nicht mehr nach Art. 24 Abs. 2 aRPG zulässig, wenn die nutzbare Fläche und Kubatur um ein Drittel oder mehr zunimmt. Dabei ist auf die realen, nach den gesamten Umständen objektiv nutzbaren Flächen und Rauminhalte abzustellen (<ref-ruling> E. 3 S. 98 f.). Die Möglichkeit, zonenwidrige Bauten teilweise zu ändern, darf nur einmal ausgeschöpft werden (<ref-ruling> E. 4d S. 224; <ref-ruling> E. 5 S. 278 f.; Schürmann/Hänni, a.a.O., S. 169).
c) Nach Art. 24c Abs. 2 RPG in der neuen Fassung können bestimmungsgemäss nutzbare, aber zonenfremde Bauten und Anlagen ausserhalb der Bauzone teilweise geändert oder massvoll erweitert werden, sofern sie rechtmässig erstellt oder geändert worden sind; in jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten.
Die Zulässigkeit einer teilweisen Änderung oder massvollen Erweiterung setzt damit nicht mehr kantonales Recht voraus, sondern ergibt sich unmittelbar aus dem Bundesrecht (Amtl. Bull. N 1997 1862; Walter Haller/Peter Karlen, Raumplanungs-, Bau- und Umweltrecht, Bd. I, 3. Aufl. , Zürich 1999, S. 201, N. 730). Das hat zur Folge, dass kantonalrechtliche Vorschriften, welche diese Baumöglichkeit an zusätzliche oder strengere Voraussetzungen knüpfen, nicht mehr zulässig sind. Einzig für die (hier nicht interessierenden) zusätzlichen Ausnahmen gemäss Art. 24d RPG ist eine kantonale Ausführungsgesetzgebung noch erforderlich. Der Begriff der teilweisen Änderung ist als solcher jedoch durch die Gesetzesrevision nicht verändert worden. Inhaltlich entspricht die neue Bestimmung grundsätzlich der bisherigen, in E. 4b hiervor dargestellten bundesgerichtlichen Rechtsprechung zu Art. 24 Abs. 2 aRPG (Rudolf Muggli, Kurzkommentar zum Entwurf für eine Änderung des Raumplanungsgesetzes vom 20. März 1998, Raum & Umwelt 1998, S. 56-69, N. 4 zu Art. 24c). Allerdings hat der Bundesrat in Art. 41 und 42 RPV die zulässigen Änderungen im Sinne von Art. 24c Abs. 2 RPG konkretisiert. Nach <ref-law> sind Änderungen zulässig, wenn die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleibt. Verbesserungen gestalterischer Art sind zulässig.
Ob die Identität der Baute im Wesentlichen gewahrt bleibt, ist gemäss Abs. 3 unter Würdigung der gesamten Umstände zu beurteilen. Sie ist jedenfalls dann nicht mehr gewahrt, wenn die zonenwidrig genutzte Fläche um mehr als 30 % erweitert wird, wobei Erweiterungen innerhalb des bestehenden Gebäudes nur zur Hälfte angerechnet werden (lit. a), oder wenn die zonenwidrig genutzte Fläche innerhalb oder ausserhalb des bestehenden Gebäudevolumens um insgesamt mehr als 100 m2 erweitert wird (lit. b).
d) Soweit die Kantone nach altem Recht in Ausübung der ihnen eingeräumten Kompetenz eine im Vergleich zum bundesrechtlichen Rahmen grosszügigere Regelung getroffen haben, ist diese bundesrechtswidrig. Der Kanton Appenzell I.Rh. hatte von der den Kantonen in Art. 24 Abs. 2 aRPG eingeräumten Kompetenz Gebrauch gemacht und in Art. 65 BauV unter anderem bestimmt, dass bei ganzjährig bewohnten Bauten unter 145 m2 Bruttogeschossfläche der Viertel bis zu einem Maximum von 200 m2 Bruttogeschossfläche überschritten werden darf.
Eine derartige Regelung, welche einzig auf die Bruttogeschossfläche als massgebendes Kriterium für die Zulässigkeit einer baulichen Veränderung abstellt und die zudem unbesehen der ursprünglichen Gebäudefläche eine Erhöhung der Bruttogeschossfläche bis 200 m2 zulässt, verletzt - wie die nachfolgenden Erwägungen zeigen - Bundesrecht.
Sie ist daher für die Frage nach dem milderen Recht ohne Bedeutung.
5.-Aufgrund des Mutationsplans Nr. 351 vom 28. Oktober 1966 steht fest, dass das Haus des Beschwerdeführers auf Parzelle Nr. 767 schon vor dem Inkrafttreten des ersten Gewässerschutzgesetzes am 1. Juli 1972 bestand. Die infolge der eingetretenen Rechtsänderungen zonenwidrig gewordene Baute wurde erstmals im Jahre 1991 umgebaut und dabei die Bruttogeschossfläche von 80.13 m2 auf 125. 77 m2 erhöht. Am 7. Februar 1997 bewilligte die Baubehörde weitere Um- und Erweiterungsbauten, was neu zu einer Bruttogeschossfläche von über 200 m2 führte. Am 19. September 1997 stimmte sie sodann dem Einbau von Sonnenkollektoren zu, nachdem das Bau- und Umweltdepartement am 10. September 1997 den Bau und Betrieb einer Wärmepumpe mit Erdsonden bewilligt hatte. Alle bis dahin erteilten Bewilligungen sind unangefochten in Rechtskraft erwachsen. Da die gestützt auf die im Jahre 1997 erteilten Baubewilligungen ausgeführten Bauarbeiten nicht den bewilligten Plänen entsprachen, verfügte der Bezirksrat Schwende am 29. Januar 1998 einen Baustopp. Die nachträgliche Baueingabe, mit der um eine Verbreiterung des Anbaus um 30 cm auf 6.90 m, einen zusätzlichen Anbau für Heizungs- und Sanitäranlagen sowie verschiedene Nutzungsänderungen ersucht wurde, bewilligte er am 14. August 1998. Allein die Aufhebung dieser Baubewilligung und der verfügte Abbruch durch das Kantonsgericht bilden Gegenstand des vorliegenden Beschwerdeverfahrens.
a) Sowohl der Beschwerdeführer als auch die Vorinstanzen haben sich bei der Frage nach der zulässigen baulichen Veränderung entscheidend auf die Bruttogeschossfläche abgestützt. Nach konstanter bundesgerichtlicher Rechtsprechung kommt es jedoch nicht allein darauf an. Die Bruttogeschossfläche ist bloss eines unter mehreren Kriterien, anhand derer Bauvorhaben ausserhalb der Bauzone zu prüfen sind. Ob die Identität einer Baute durch geplante Änderungen in den wesentlichen Zügen gewahrt bleibt, ist sowohl nach altem (<ref-ruling> E. 3c S. 304; <ref-ruling> E. 3 S. 98) als auch nach neuem Recht (<ref-law>; Stephan H.
Scheidegger, Neue Spielregeln für das Bauen ausserhalb der Bauzonen in: Zeitschrift für Baurecht, 3/2000, Ziff. 3 S. 86) im Rahmen einer Gesamtbetrachtung zu beurteilen. Zu berücksichtigen sind hierbei insbesondere die Vergrösserung der realen Nutzfläche - und nicht bloss der Bruttogeschossfläche -, Volumenveränderungen, innerhalb des Gebäudevolumens vorgenommene Nutzungsänderungen und Umbauten, Veränderungen des äusseren Erscheinungsbildes, Erweiterung der Erschliessung sowie Komfortsteigerungen und Umbaukosten gemessen am Wert des Gebäudes (Bundesamt für Raumentwicklung, Erläuterungen zur Raumplanungsverordnung und Empfehlungen zum Vollzug, S. 45). Dabei darf nach der Rechtsprechung des Bundesgerichts zu Art. 24 Abs. 2 aRPG die Möglichkeit, zonenwidrige Bauten und Anlagen ausserhalb der Bauzonen in bescheidenem Umfang zu vergrössern, nur einmal benutzt werden (s. vorne E. 4b). Das schliesst mehrere zeitlich getrennte Änderungen nicht aus, sofern dadurch insgesamt das zulässige Änderungsmass nicht überschritten wird.
Nach der Rechtsprechung zu Art. 24 Abs. 2 aRPG bildet Ausgangspunkt für die Beurteilung bei bestehenden Bauten der Zustand bei Inkrafttreten des Gewässerschutzgesetzes am 1. Juli 1972. (<ref-ruling> E. 4d S. 224; <ref-ruling> E. 5 S. 278). Nicht anders verhält es sich nach <ref-law> (Bundesamt für Raumentwicklung, a.a.O., S. 46). Danach ist der massgebliche Vergleichszustand für die Identität einer Baute der Zustand, in dem sich die Baute oder Anlage im Zeitpunkt der Erlass- oder Planänderung befand. Demzufolge ist bei der Beurteilung einer baulichen Änderungen nach altem und neuem Recht auf den gleichen Zeitpunkt abzustellen und das insgesamt zulässige Änderungsmass darf weiterhin nur einmal, allenfalls in mehreren Schritten, ausgeschöpft werden (Haller/Karlen, Raumplanungs-, Bau- und Umweltrecht, 3. Auflage, Zürich 1999, Band I, N. 735 S. 202).
b) Das Haus des Beschwerdeführers wurde erstmals gestützt auf die Baubewilligung vom 1. Juli 1991 umgebaut. Die approximativen Baukosten beliefen sich auf Fr. 300'000.--. Die Bruttogeschossfläche wurde durch diesen Umbau von 80.13 m2 auf 125. 77 m2 erhöht. Das Ausmass dieser Erhöhung wurde allerdings erst später festgestellt, weil der Beschwerdeführer entgegen der Auflage der Baubewilligungsbehörde den in den Plänen als Heizungsraum bezeichneten Gebäudeteil weiterhin als Aufenthaltsraum nutzte.
Für den Einbau eines zweiten Quergiebels gemäss Baugesuch vom 11. Februar 1992 wurden ca. Fr. 30'000.-- veranschlagt.
Mit der am 7. März 1997 vom Bezirksrat Schwende erteilten Bewilligung für den Anbau eines eingeschossigen Hausteils erhöhte sich die Bruttogeschossfläche neu auf 208. 82 m2.
Diese Erhöhung um 83.05 m2 setzt sich aus einem neuen Arbeitsraum von 75.90 m2 und einer Dusche/WC von 7.15 m2 zusammen. Hinzu kommen als weitere, neue und nicht der Bruttogeschossfläche zugerechnete Nutzflächen ein Abstellraum/Lager von 34.43 m2 und ein Schutzraum/Archiv von 26.40 m2. Damit wurde nach der ersten Umbaubewilligung im Jahre 1991 die Nutzfläche zusätzlich um weitere 143. 88 m2 erhöht. Die approximativen Baukosten wurden bei diesem Umbau ebenfalls mit ca. Fr. 300'000.-- angegeben. Durch die bis dahin bewilligten Um- und Erweiterungsbauten wurden das äussere Erscheinungsbild der ursprünglichen Baute stark verändert, die Nutzflächen massiv erhöht und der Wohnkomfort erheblich verbessert. Es ist offensichtlich, dass jedenfalls bereits mit der am 7. März 1997 erteilten Bewilligung für den Anbau die Identität der ursprünglichen Baute in den wesentlichen Zügen nicht mehr gewahrt blieb und diese daher gegen Art. 24 Abs. 2 aRPG verstiess. Ob nach kantonalem Recht eine derartige Änderung der Baute zulässig war, ist nicht massgebend. Nachdem die diesbezügliche Bewilligung jedoch unangefochten in Rechtskraft erwachsen ist, muss es mit dieser Feststellung sein Bewenden haben. Wie das Kantonsgericht zu Recht ausgeführt hat, spielen diese bewilligten baulichen Veränderungen jedoch insoweit eine Rolle, als sie bei der Beurteilung des nachträglich eingereichten Baugesuches vom 2. Februar 1998, mit dem um die Bewilligung zusätzlicher, bereits vorgenommener baulicher Erweiterungen und Nutzungsänderungen ersucht wird, mit zu berücksichtigen sind.
c) Bildet die Bruttogeschossfläche nach altem wie nach neuem Bundesrecht nicht das allein massgebende Kriterium für die Zulässigkeit baulicher Änderungen, so kann auch offen bleiben, ob der neue Saunaraum nach kantonalem Recht unter die Bruttogeschossfläche fällt. Gemäss dem hier zu beurteilenden, nachträglich eingereichten Baugesuch vom 2. Februar 1998 und den verbindlichen Feststellungen des Kantonsgerichts wird die Nutzfläche um weitere 90.30 m2 erhöht, wovon 86.80 m2 auf den Sauna-/Baderaum entfallen.
Als weitere wesentliche Änderung im Vergleich zur Baubewilligung vom 7. März 1997 ist neu der Einbau einer Küche im Ausmass von 38.76 m2 vorgesehen, während der ursprünglich geplante Arbeitsraum verkleinert werden soll. Das Untergeschoss weist damit im Wesentlichen einen mit mehreren Fenstern versehenen Arbeitsraum, einen Aufenthaltsraum, Dusche/WC, eine Wohnküche, einen Sauna-/Baderaum und einen Installationsraum auf. Sämtliche Räume sind durch einen Zugang miteinander verbunden. Zudem weist der von diesem Anbau nicht erfasste, gestützt auf die Baubewilligung vom 1. Juli 1991 umgebaute alte Hausteil im Erdgeschoss einen Wohnraum, eine Küche und ein WC sowie im Obergeschoss einen Schlafraum und Bad/Dusche/WC auf. Die Gebäudekosten von ca.
Fr. 630'000.-- allein für die Um- und Erweiterungsbauten gemäss den bewilligten Plänen vom 1. Juli 1991, 11. Februar 1992 und 7. März 1997 sind gemessen am ursprünglichen Gebäudewert hoch. Die weiteren baulichen Änderungen nach den bewilligten Plänen vom 14. August 1998 haben zusätzliche, erhebliche Investitionskosten zur Folge. Die Nutzfläche des ursprünglich bescheidenen Berghauses wurde seit 1991 durch die Um- und Erweiterungsbauten um das Zwei- bis Dreifache erhöht und an Stelle einer bescheidenen Wohneinheit sind zwei selbständige und komfortable Wohneinheiten getreten.
Der Einwand des Beschwerdeführers, der Sauna-/Baderaum sei völlig unterirdisch und vermöge daher an der Identität der Baute nichts zu ändern, erweist sich unter diesen Umständen als unbehelflich. Gleich verhält es sich mit seiner Behauptung, er müsse seiner Kundschaft etwas Spezielles bieten und sein Arzt habe ihm dringend geraten, sich körperlich möglichst häufig in einer Sauna zu erholen. Für Letzteres ist kaum ein Sauna-/Baderaum im Ausmass von 86.80 m2 erforderlich.
Für eine Sauna mit den üblichen Ausmassen wäre im bereits bewilligten Anbau ausreichend Platz gewesen.
Es ist offensichtlich, dass bei einer Gesamtbeurteilung der seit 1991 vorgenommenen baulichen Änderung die Identität des ursprünglichen Hauses in den wesentlichen Zügen bei Weitem nicht mehr gewahrt ist und eine Baubewilligung daher sowohl nach Art. 24 Abs. 2 aRPG als auch nach Art. 24c RPG in Verbindung mit <ref-law> nicht erteilt werden kann. Lassen sich die vom Beschwerdeführer vorgenommenen baulichen Änderungen nicht mehr als massvoll qualifizieren, sind sie auch mit den wichtigen Anliegen der Raumplanung im Sinne dieser Bestimmungen nicht vereinbar.
Diese Anliegen bedürfen daher keiner gesonderten Prüfung mehr. Das Kantonsgericht hat somit zu Recht den Beschluss der Standeskommission vom 22. Februar 2000 und die zugrunde liegende Baubewilligung des Bezirksrats Schwende vom 14. August 1998 aufgehoben.
6.-Der Beschwerdeführer beanstandet, dass das Kantonsgericht mit Ausnahme der bewilligten Sonnenkollektoren und der Wärmepumpe mit Erdsonde die Entfernung der widerrechtlich erstellten Bauteile und die Wiederherstellung des Zustandes nach den bewilligten Plänen vom 7. Februar 1997 bezüglich Gebäudefläche und deren Nutzung verlangt. Er beruft sich dabei auf Treu und Glauben, auf das fehlende öffentliche Interesse und auf das Verhältnismässigkeitsprinzip.
Kann ein An- und Umbau nach den Bestimmungen der Raumplanungsgesetzgebung nicht bewilligt werden, weil er materiell gesetzeswidrig ist, hat das noch nicht zur Folge, dass er abgebrochen oder im Falle eines Umbaus der frühere Zustand wieder hergestellt werden muss. Es sind dabei vielmehr die allgemeinen verfassungs- und verwaltungsrechtlichen Prinzipien des Bundesrechts zu berücksichtigen. Zu ihnen gehören die Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens (<ref-ruling> E. 2a S. 67). So kann der Abbruch unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder der Abbruch nicht im öffentlichenInteresse liegt, ebenso wenn der Bauherr in gutem Glauben angenommen hat, er sei zur Bauausführung ermächtigt, und der Beibehaltung des ungesetzlichen Zustands nicht schwerwiegende öffentliche Interessen entgegenstehen (<ref-ruling> E. 6 S. 221; <ref-ruling> E. 4 S. 217; <ref-ruling> E. 5b S. 303). Diese Grundsätze rechtsstaatlichen Handelns werden neu in <ref-law> ausdrücklich festgehalten.
a) Der Beschwerdeführer macht geltend, er habe weitergebaut, weil er bis zum verfügten Baustopp der Meinung gewesen sei, dem Bauvorhaben sei aufgrund seines Gesuches vom 22. August 1997 mit den Bewilligungen des Bau- und Umweltdepartements vom 10. September 1997 und des Bezirksrats Schwende vom 19. September 1997 entsprochen worden. Der Bezirksrat Schwende habe damals nicht nur den Einbau der Sonnenkollektoren bewilligt, sondern zudem auch den Anbau für die Heizanlage, welche nach den damals eingereichten Plänen gebaut worden sei.
Soweit sich der Beschwerdeführer damit auf eine Verletzung von Treu und Glauben beruft, kann ihm nicht beigepflichtet werden. Wohl trifft es zu, dass im Baugesuch unter der Rubrik "Beschreibung der Bauausführung" vermerkt wurde: "Anbau an bestehendes Wohnhaus" und "Einbau von Sonnenkollektoren".
Massgebend ist indessen nicht, was im Baugesuch erwähnt, sondern was gestützt darauf bewilligt wurde.
Die für die Baupublikation bestimmte Bauanzeige vom 29. August 1997 und die Baubewilligung vom 19. September 1997 haben einzig den Einbau von Sonnenkollektoren zum Gegenstand.
Von einem Anbau an das bestehende Wohnhaus ist darin keine Rede. In welcher Phase des Baugesuchsverfahrens der auf dem Baugesuchsformular erwähnte "Anbau an bestehendes Wohnhaus" durchgestrichen wurde, ist unerheblich. Es entspricht jedenfalls gängiger Praxis, dass eine Baubehörde nicht bewilligte Teile eines Baugesuches auf diese Weise kennzeichnet. Das vorliegend korrigierte Baugesuchsformular entspricht damit der auch tatsächlich erteilten Baubewilligung.
Was die Bewilligung des Bau- und Umweltdepartements vom 10. September 1997 betrifft, so handelt es sich bei dieser nicht um die für derartige Bauvorhaben erforderliche raumplanerische Bewilligung der kantonalen Instanz, sondern einzig um die "Gewässerschutz-Baubewilligung" für den Entzug von Wärme mittels Erdsonden. Wohl kann dem Bürger nicht zugemutet werden, die verwaltungsinterne Zuständigkeitsordnung und die Bewilligungsvoraussetzungen bis in ihre Einzelheiten zu kennen. Vorliegend fällt jedoch in Betracht, dass der Beschwerdeführer aufgrund seiner früheren, dasselbe Objekt betreffenden Baugesuche das Bewilligungsverfahren kannte.
Aufgrund der unveränderten Rechtslage musste er daher wissen, dass auch seine baulichen Erweiterungen, die Erhöhung der Nutzfläche um 90.30 m2 und die Nutzungsänderungen einer raumplanerischen und nicht bloss gewässerschutzrechtlichen Bewilligung durch das kantonale Bau- und Umweltdepartement bedurften. Hinzu kommt, dass der Beschwerdeführer in allen Baubewilligungsverfahren von einem Architekten vertreten und beraten worden war. Diesem Fachmann war ohne weiteres klar, dass jegliche bauliche Veränderungen an zonenwidrigen Bauten ausserhalb der Bauzone eine raumplanerische Bewilligung voraussetzen und die beiden vorgenannten Bewilligungen demnach nicht ausreichten. Etwas anderes kann vernünftigerweise nicht angenommen werden. Dieses Wissen seines Beraters hat sich der Beschwerdeführer anrechnen zu lassen (<ref-ruling> E. 6a S. 222). Aufgrund all dieser Umstände erscheint der Beschwerdeführer nicht mehr als gutgläubig.
b) Der Beschwerdeführer bestreitet ein öffentliches Interesse an der Wiederherstellung des am 7. Februar 1997 bewilligten Zustandes. Er begründet dies damit, dass die Änderungen im Untergeschoss im Bereich der anrechenbaren Räumlichkeiten nur die innere Raumaufteilung betreffen würden und nicht bewilligungspflichtig seien, weil sie ohne Einfluss auf die äussere Gebäudehülle und ohne Konsequenzen für die Erschliessungsfrage seien. Vor allem hätten diese unbedeutenden Änderungen die massgebliche, maximal anrechenbare Bruttogeschossfläche von 200 m2 nicht tangiert.
Nutzungsänderungen unterliegen höchstens dann nicht einer Bewilligungspflicht, wenn sie ohne bauliche Vorkehren auskommen und sich zudem auch der neue, nicht zonenkonforme Verwendungszweck hinsichtlich seiner Auswirkungen auf Umwelt und Planung als ausgesprochen geringfügig erweisen (<ref-ruling> E. 4d S. 223; Thomas Müller, Die erleichterte Ausnahmebewilligung, Zürich 1991, S. 71; Mario Barblan, Bewilligungserfordernis und Zulässigkeitsvoraussetzungen von Bauten ausserhalb der Bauzonen nach dem Recht des Bundes und der Kantone, St. Gallen 1991, S. 192; s. nun auch Art. 24a RPG). An diesen Voraussetzungen gebricht es vorliegend schon deshalb, weil auch die innerhalb des bestehenden Gebäudevolumens vorgenommenen Nutzungsänderungen mit baulichen Vorkehren verbunden waren. Sodann sind diese Änderungen nicht losgelöst von den übrigen Abweichungen von den bewilligten Plänen zu beurteilen. Zusätzlich zu den Nutzungsänderungen wurden durch eine bauliche Erweiterung auch ein Installationsraum erstellt, der bewilligte Anbau um 30 cm auf 6.90 m verbreitert und die Nutzfläche um 90.30 m2 vergrössert. Ob diese unter die anzurechnende Bruttogeschossfläche fällt, ist - wie erwähnt - nicht entscheidend. Änderungen in diesem Umfang sind nach Art. 24 Abs. 2 aRPG und Art. 24c RPG bewilligungspflichtig.
Sie stellen nicht bloss unbedeutende Abweichungen vom Erlaubten dar, sondern sind nach diesem Recht ausgesprochen gesetzwidrig.
c) Der Beschwerdeführer erachtet den verfügten Abbruch der Bau- und Anlageteile als unverhältnismässig.
Nach der Rechtsprechung des Bundesgerichts kann sich auch ein Bauherr, der nicht gutgläubig gehandelt hat, gegenüber einem Abbruchbefehl auf den Grundsatz der Verhältnismässigkeit berufen. Er muss aber in Kauf nehmen, das die Behörden aus grundsätzlichen Erwägungen, nämlich zum Schutze der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Bauherrn allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6b S. 224).
Im Lichte dieser Rechtsprechung sind der vom Kantonsgericht verfügte Abbruch und die verlangte Wiederherstellung des bewilligten Zustands nach den bewilligten Plänen vom 7. Februar 1997 nicht zu beanstanden. Ein Abbruchbefehl erweist sich dann als unverhältnismässig, wenn die Abweichung vom Gesetz gering ist und die berührten allgemeinen Interessen den Schaden, der dem Eigentümer durch den Abbruch entstünde, nicht zu rechtfertigen vermögen. Die vom Beschwerdeführer in Abweichung der bewilligten Pläne vom 7. Februar 1997 vorgenommenen baulichen Erweiterungen und Nutzungsänderungen widersprechen dem eidgenössischen Raumplanungsrecht grundlegend, wurde doch das bereits überaus hohe Ausmass bewilligter Änderungen weiter erheblich vergrössert und das Untergeschoss in eine zweite, grosse und sehr komfortable Wohneinheit umgebaut. In Anbetracht dieser massiven Gesetzesverletzung ist das öffentliche Interesse an der Wiederherstellung des Zustandes nach den bewilligten Plänen vom 7. Februar 1997 entsprechend gross. Dem stehen an privaten Interessen des Beschwerdeführers im Wesentlichen Vermögensinteressen, bestehend aus den unnützen Investitionskosten sowie den Abbruch- und Wiederherstellungskosten gegenüber. Wie hoch die aus den nicht bewilligten baulichen Abweichungen entstandenen Investitionskosten sind, lässt sich den Akten nicht entnehmen. Auch wenn anzunehmen ist, dass diese zusammen mit den übrigen Kosten nicht leicht wiegen, werden sie von den öffentlichen, für den Abbruch- und Wiederherstellungsbefehl sprechenden Interessen bei weitem übertroffen. Die rechtswidrig erstellten Bauteile kommen einer schwerwiegenden Verletzung eines der nach der bundesgerichtlichen Rechtsprechung wichtigsten Prinzipien des Raumplanungsrechts des Bundes gleich, nämlich des Grundsatzes der Trennung des Baugebiets vom Nichtbaugebiet (<ref-ruling> E. 6b S. 225). Diesem Grundsatz entsprechend dürfen Änderungen an bestehenden, zonenwidrigen Bauten ausserhalb der Bauzonen gesamthaft nur von untergeordneter Natur sein. Dagegen verstossen die vom Beschwerdeführer eigenmächtig vorgenommenen Änderungen in krasser Weise. Der Abbruch und die Wiederherstellung, wie sie vom Kantonsgericht verfügt wurden, erweisen sich daher als zutreffende Massnahmen.
Was der Beschwerdeführer dagegen vorbringt, vermag nicht durchzudringen. Der Anschluss an die öffentliche Kanalisation, die umweltfreundliche Energieversorgung und die private Wasserversorgung sind nicht Kriterien, welche alternativ zu den öffentlichen Interessen an einer bloss massvollen baulichen Veränderung unter Wahrung der Identität der Baute in den wesentlichen Zügen treten.
d) Der Beschwerdeführer macht schliesslich geltend, die Anordnungen der Vorinstanz zur Wiederherstellung des gesetzmässigen Zustands seien widersprüchlich und unklar.
Das Dispositiv einer Wiederherstellungsverfügung hat eine ausreichende inhaltliche Bestimmtheit aufzuweisen, damit es auch vollstreckbar ist. Dazu gehört unter anderem die genaue Bezeichnung der Massnahmen, die der Pflichtige zur Herbeiführung des rechtmässigen Zustandes zu treffen hat (Christine Ackermann Schwendener, Die klassische Ersatzvornahme als Vollstreckungsmittel des Verwaltungsrechts, Zürich 1999, S. 44; Aldo Zaugg, Kommentar zum Baugesetz des Kantons Bern vom 9. Juni 1985, Bern 1995, N. 11 S. 334).
Diesen Anforderungen genügt das Urteilsdispositiv des Kantonsgerichts.
Es hält klar fest, welcher Zustand wieder herzustellen ist und welche Anlageteile vom hiefür erforderlichen Abbruch nicht betroffen sind. Daraus ergibt sich auch mit ausreichender Bestimmtheit, dass abgesehen von den ausdrücklich ausgenommenen Bau- und Anlageteilen all diejenigen zu beseitigen sind, welche im Widerspruch zu den bewilligten Plänen vom 7. Februar 1997 stehen. Eine detaillierte Auflistung der abzubrechenden Bau- und Anlageteile war unter diesen Umständen nicht erforderlich. Soweit sich der Beschwerdeführer in diesem Zusammenhang darauf beruft, der Installationsraum sei bereits am 10./19. September 1997 bewilligt worden und die Änderungen der inneren Raumaufteilung seien ohnehin nicht bewilligungspflichtig, geht seine Auffassung aus den bereits vorstehend dargelegten Gründen fehl. Auch bezüglich des Sauna-/Baderaumes bestehen keine Unklarheiten. Gemäss Ziff. 1 lit. a des Urteilsdispositivs müssen die widerrechtlich erstellten Bauteile, worunter selbstredend auch der Sauna-/Baderaum und allenfalls bereits darin eingebaute Installationen fallen, bezüglich Gebäudefläche und deren Nutzung in den Zustand gemäss den bewilligten Plänen vom 7. Februar 1997 versetzt werden. Es ist nicht ersichtlich, was daran widersprüchlich oder unklar sein soll.
7.-Die Beschwerde erweist sich damit in allen Punkten als unbegründet und ist somit abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Eine Parteientschädigung an den Schweizer Heimatschutz entfällt (Art. 159 Abs. 2 OG); ebenso an F._, der sich am bundesgerichtlichen Verfahren nicht beteiligt hat und dem somit keine Kosten erwachsen sind (Art. 159 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird den Parteien, dem Bezirksrat Schwende, dem Bau- und Umweltdepartement des Kantons Appenzell I.Rh., der Standeskommission des Kantons Appenzell I.Rh., dem Kantonsgericht Appenzell I.Rh., Abteilung Verwaltungsgericht, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
_
Lausanne, 28. Mai 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: