Sachverhalt:
A. X._ beabsichtigt, sein Doppeleinfamilienhaus abzubrechen und wiederaufzubauen. Das Objekt steht auf den Parzellen Nrn. 606520 und 606530 im Bezirk Oberegg, welche sich in der Landwirtschaftszone und im Gebiet mit traditioneller Streubauweise befinden. Das Haus diente noch nach 1972 landwirtschaftlichen Zwecken. Inzwischen wurde der landwirtschaftliche Betrieb aufgegeben. Der Neubau soll weder der landwirtschaftlichen Bewirtschaftung noch dem produzierenden Gartenbau oder entsprechenden Wohnzwecken dienen.
B. Die gegen das Bauvorhaben eingereichten Einsprachen von Y._ und dem Schweizer Heimatschutz wies das kantonale Bau- und Umweltdepartement am 3. April 2009 ab. Der Bezirksrat Oberegg erteilte hierauf am 7. Mai 2009 die Baubewilligung.
C. Die hierauf angerufene Standeskommission schützte den Entscheid des Bau- und Umweltdepartements am 15. Dezember 2009 und bestätigte damit auch die Baubewilligung.
D. Sowohl der Schweizer Heimatschutz als auch Y._ gelangten gegen den Rekursentscheid der Standeskommission ans Kantonsgericht Appenzell Innerrhoden. Dessen Abteilung Verwaltungsgericht wies die Beschwerden mit Urteil vom 1. Juni 2010 ab.
E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 8. September 2010 verlangt der Schweizer Heimatschutz die Aufhebung sämtlicher auf kantonaler und kommunaler Ebene in dieser Sache ergangener Entscheide und die Verweigerung der Baubewilligung für den geplanten Abbruch- und Wiederaufbau auf den Parzellen Nrn. 606520 und 606530. Eventualiter sei die Sache zur neuen Beurteilung an das Kantonsgericht zurückzuweisen. Gleichzeitig ersucht der Beschwerdeführer um Gewährung der aufschiebenden Wirkung.
Der Bauherr hat sich nicht zur Angelegenheit vernehmen lassen, und das kantonale Bau- und Umweltdepartement verzichtet ausdrücklich auf eine Stellungnahme. Demgegenüber schliessen die Standeskommission des Kantons Appenzell Innerrhoden und das Kantonsgericht Appenzell Innerrhoden je auf Abweisung der Beschwerde.
Das Bundesamt für Raumentwicklung (ARE) hat ebenfalls zur Sache Stellung genommen.
Im Rahmen des zweiten Schriftenwechsels halten sowohl der Beschwerdeführer als auch die Standeskommission sinngemäss an ihren Anträgen fest.
Mit Verfügung vom 29. Oktober 2010 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gegen den kantonal letztinstanzlichen Entscheid steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG). Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung; das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund (vgl. <ref-ruling> E. 1.2 S. 251, 409 E. 1.1 S. 411). Gemäss Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege.
1.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nach Art. 89 Abs. 1 BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid oder Erlass besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat. Zur Beschwerde sind ferner nach Art. 89 Abs. 2 BGG die Bundeskanzlei, die Departemente des Bundes oder, soweit das Bundesrecht es vorsieht, die ihnen unterstellten Dienststellen, berechtigt, wenn der angefochtene Akt die Bundesgesetzgebung in ihrem Aufgabenbereich verletzen kann (lit. a); andere Personen, Organisationen und Behörden sind zur Beschwerde berechtigt, wenn ihnen ein anderes Bundesgesetz dieses Recht einräumt (lit. d). Die gestützt auf Art. 55 des Bundesgesetzes über den Umweltschutz vom 7. Oktober 1983 (USG; SR 814.01) und Art. 12 des Bundesgesetzes über den Natur- und Heimatschutz vom 1. Juli 1966 (NHG; SR 451) beschwerdeberechtigten gesamtschweizerischen Organisationen sind in der Verordnung über die Bezeichnung der im Bereich des Umweltschutzes sowie des Natur- und Heimatschutzes beschwerdeberechtigten Organisationen vom 27. Juni 1990 (VBO; SR 814.076) abschliessend aufgeführt. Der Beschwerdeführer ist dort ausdrücklich genannt. Die Erteilung einer Ausnahmebewilligung nach Art. 24 aRPG bzw. Art. 24-24d RPG für ein Bauvorhaben ausserhalb der Bauzone ist eine Bundesaufgabe im Sinne von Art. 78 Abs. 2 BV und Art. 2 NHG, zu deren Anfechtung die nach Art. 12 NHG beschwerdeberechtigten Organisationen legitimiert sind (<ref-ruling> E. 1e S. 291 f.; Urteil 1A.301/2000 des Bundesgerichts vom 28. Mai 2001 E. 2b). Auf die frist- und formgerecht eingereichte Beschwerde ist darum - unter Vorbehalt rechtsgenüglicher Begründung - grundsätzlich einzutreten.
1.3 Nicht zu hören ist der Beschwerdeführer mit dem Antrag, sämtliche in der Sache ergangenen Entscheide auf kantonaler und kommunaler Ebene aufzuheben: Diese sind durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1 S. 441).
2. Der Beschwerdeführer macht geltend, der freiwillige Abbruch und Wiederaufbau stehe in Widerspruch zum NHG und zum RPG. Vor Behandlung der natur- und heimatschutzgesetzlichen Belange ist zu prüfen, ob eine Baubewilligung aus raumplanungsrechtlicher Sicht überhaupt möglich ist.
2.1 Unbestritten ist, dass Art. 24d RPG vorliegend nicht zur Anwendung gelangt. Nach Abs. 1 der zitierten Bestimmung können in landwirtschaftlichen Wohnbauten, die in ihrer Substanz erhalten sind, landwirtschaftsfremde Wohnnutzungen zugelassen werden. Art. 24d Abs. 1 RPG sieht einen Wiederaufbau nicht vor. Im Gegenteil wird dort vorausgesetzt, dass die Substanz erhalten ist und weiter genutzt wird. Wenn der Verordnungsgeber in Art. 42a Abs. 3 der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1) in Fällen der Zerstörung durch höhere Gewalt trotzdem einen Wiederaufbau zulässt, so steht dahinter die Absicht, zahlenmässig nicht ins Gewicht fallende Härtefälle zu lösen (Urteile des Bundesgerichts 1C_101/2009 vom 11. Dezember 2009 E. 3; 1A.23/2007 vom 31. Juli 2007 E. 3.3). Ein freiwilliger Abbruch und Wiederaufbau ist indessen nicht zulässig. Da der geplante Abbruch und anschliessende Wiederaufbau vorliegend aus freien Stücken erfolgen soll, kann keine Ausnahmebewilligung nach Art. 24d RPG erteilt werden.
2.2 Die Standeskommission hat in ihrem Entscheid die Auffassung vertreten, aufgrund der mit dem Streusiedlungsgebiet verfolgten Zielsetzungen müsse der freiwillige Abbruch und Wiederaufbau bestehender Bauten mit Wohnungen zu landwirtschaftsfremden Wohnzwecken zulässig sein. Dazu beruft sie sich auf Art. 39 RPV, gemäss dessen Abs. 3 lit. c - wie bei Art. 24d Abs. 3 lit. b RPG - die äussere Erscheinung und die bauliche Grundstruktur im Wesentlichen unverändert bleiben müssen. Im Unterschied zu Art. 42a Abs. 3 RPV regle Art. 39 RPV den Wiederaufbau aber nicht ausdrücklich; namentlich enthalte er kein Verbot.
Nach Meinung des Verwaltungsgerichts handelt es sich bei Art. 39 RPV um einen eigenständigen Ausnahmetatbestand, der losgelöst von den übrigen Ausnahmetatbeständen - insbesondere von Art. 24d RPG - zur Anwendung gelange. Diese Bestimmung räume den Kantonen die Möglichkeit ein, Gebiete ausserhalb der Bauzone gerade zum Zweck der dauernden Besiedlung dem Streusiedlungsgebiet zuzuweisen und darin Bauten zuzulassen, wenn sie ganzjährig bewohnt würden. Der Kanton Appenzell Innerrhoden habe mit Erlass der Art. 65a ff. der Verordnung zum Baugesetz vom 17. März 1986 (BauV/AI; SR 700.100) von dieser Kompetenz Gebrauch gemacht. Dabei stützt sich das Verwaltungsgericht u.a. auf Art. 66 Abs. 2 BauV/AI, welcher den Abbruch und Wiederaufbau von Wohnbauten in Streubausiedlungen unter gewissen Voraussetzungen erlaubt.
2.3 Das Bundesgericht musste sich bis anhin noch nie mit der Frage befassen, ob für Streubausiedlungen mit Art. 39 RPV eine weiter gehende Regelung geschaffen wurde, als sie gemäss Art. 24d Abs. 1 RPG in Verbindung mit Art. 42a Abs. 3 RPV gilt. Ein Blick in die Literatur ergibt folgendes Bild:
2.3.1 MUGGLI bedauert, dass Art. 39 Abs. 3 RPV trotz der sehr ähnlichen Vorschrift von Art. 24d Abs. 3 RPG nicht vollständig mit Letzterem harmonisiert wurde (RUDOLF MUGGLI, Kommentar RPG, N. 26 zu Art. 24). Aus dem Umstand, dass die äussere Erscheinung und die bauliche Grundstruktur gemäss Art. 39 Abs. 3 lit. c RPV unverändert bleiben müssen, leitet der Autor ab, dass neubauähnliche Umgestaltungen oder gar der Abbruch und Wiederaufbau in moderner Form ausgeschlossen seien (MUGGLI, a.a.O.). Ob e contrario Umgestaltungen bzw. Wiederaufbauten ohne neubauähnlichen Charakter zulässig wären, bleibt offen.
2.3.2 Der vom Verwaltungsgericht zitierte KARLEN äussert sich zum vorliegenden Problem nicht (PETER KARLEN: Die Ausnahmebewilligung nach Art. 24-24d RPG: System der neuen Regelung, in: ZBl 2001 S. 291 ff., S. 305). Nach ihm bezweckt der sich lediglich auf Verordnungsstufe befindende kantonalrechtliche Ausnahmetatbestand von Art. 39 Abs. 1 RPV, die zulässigen Umnutzungen von Wohnbauten in Streubausiedlungen etwas weiter zu ziehen, als Art. 24d Abs. 1 RPG dies zulässt. Einerseits solle sich der Grundsatz "Wohnen bleibt Wohnen" auch auf den Ökonomieteil von Bauernhäusern erstrecken dürfen. Andererseits sollten Umnutzungen zu kleingewerblichen Zwecken zulässig sein, was der Autor allerdings als gesetzeswidrig erachtet. Dass in Streubausiedlungen für freiwillige Abbrüche und Wiederaufbauten in Abweichung der sonstigen Grundsätze für das Bauen ausserhalb der Bauzonen ein Sonderregime gelten sollte, war für KARLEN offensichtlich kein Thema.
2.3.3 Auch bei HÄNNI findet sich in seiner Darstellung der Sondernorm von Art. 39 RPV nichts zu dieser Frage (PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 5. Auflage, Bern 2008, S. 225 f.). Ausführlicher setzen sich WALDMANN/HÄNNI dagegen in ihrem Kommentar mit Art. 39 RPV auseinander (BERNHARD WALDMANN/PETER HÄNNI, Raumplanungsgesetz, Bern 2006, N. 26 ff. zu Art. 24). Vorab bezweifeln sie stark die Gesetzes- und Verfassungsmässigkeit von Art. 39 RPV, insoweit dieser über Art. 24d RPG hinausgeht. Sie begründen ihre Bedenken mit dem abschliessenden Charakter der Sondervorschriften im RPG sowie dem Fehlen einer entsprechenden Delegationsnorm. Im Direktvergleich von Art. 39 Abs. 3 RPV mit Art. 24d Abs. 3 RPG erkennen sie vor allem zwei Ausnahmen: Einerseits sehe Art. 39 Abs. 3 RPV im Gegensatz zu Art. 24d Abs. 3 lit. a RPG vom Kriterium der Eignung der Baute zur vorgesehenen Nutzung ab, weshalb die Umnutzungsmöglichkeiten - insbesondere bezüglich der Ökonomiegebäude - weiter reichen würden. Andererseits fasse Art. 39 Abs. 3 lit. e RPV den Tatbestand der Gefährdung der landwirtschaftlichen Bewirtschaftung in der Nachbarschaft viel weiter, als dies Art. 24d Abs. 3 lit. d RPG tue. Die Problematik des freiwilligen Abbruchs und Wiederaufbaus wird nicht erwähnt.
2.4 Bei Art. 39 RPV handelt es sich um eine Ausführungsbestimmung zur Ausnahmeregelung von Art. 24 lit. a RPG. Keine der beiden Normen äussert sich explizit zur Frage des Abbruchs bzw. Wiederaufbaus von Bauten. Im Bereich der Ausnahmebewilligungen für Bauten und Anlagen ausserhalb der Bauzone (Art. 24 ff. RPG) wird der freiwillige Abbruch und Wiederaufbau lediglich in Art. 24c RPG ausdrücklich zugelassen. Es ist indes unbestritten, dass diese Bestimmung hier nicht einschlägig ist, da die zu beurteilende Baute nicht infolge einer nachträglichen Änderung von Erlassen oder Plänen zonenwidrig wurde (Art. 41 RPV), sondern noch nach dem 1. Juli 1972 landwirtschaftlich genutzt wurde.
2.5 Das ARE weist in seiner Vernehmlassung zu Recht auf den Wortlaut von Art. 39 RPV hin. So regelt Abs. 1 lit. a "die Änderung bestehender Bauten". Bewilligungen dürfen nur erteilt werden, wenn die "Umnutzung" keine Ersatzbaute zur Folge hat, die nicht notwendig ist (Abs. 3 lit. b) und wenn die äussere Erscheinung und die "bauliche Grundstruktur" im Wesentlichen unverändert bleiben (Abs. 3 lit. c). Diese Formulierung spreche gegen die Zulässigkeit eines freiwilligen Abbruchs und Wiederaufbaus.
2.6 Hinzu kommt, dass Art. 39 RPV als Ausführungsnorm von Art. 24 lit. a RPG bereits eine sehr weitgehende Interpretation von Letzterem darstellt (in diesem Sinne auch die von KARLEN [E. 2.3.2 hiervor] und WALDMANN/HÄNNI geäusserten Zweifel an der Gesetzeskonformität [E. 2.3.3 hiervor] der Verordnungsnorm), sodass kein Spielraum für Projekte wie das geplante bestehen dürfte. Bezweckt war mit Art. 39 RPV in erster Linie eine bessere Nutzung bestehender Bausubstanz, insbesondere die Möglichkeit, die Wohnnutzung in bestehende Ökonomiegebäude auszuweiten (KARLEN, a.a.O., S. 305; WALDMANN/HÄNNI, a.a.O., N. 28 zu Art. 24). Es bestehen keine Anhaltspunkte, dass darüber hinaus für freiwillige Abbrüche und Wiederaufbauten ein grosszügigeres Bewilligungsregime als gemäss den sonst üblichen Grundsätzen bei Bauten ausserhalb Bauzone eingeführt werden sollte. Den Kantonen steht es wohl frei, in ihrem Ausführungsrecht strengere Voraussetzungen an die Erteilung der Bewilligung für standortgebundene Vorhaben zu erlassen, eine Kompetenz für Lockerungen der bundesrechtlichen Lösung wurde ihnen jedoch nicht eingeräumt (Botschaft vom 2. Dezember 2005 über die Teilrevision des Raumplanungsgesetzes, BBl 2005 7117; siehe auch CHRISTOPH JÄGER, Kommentar RPG, N. 6 zu Art. 27a).
2.7 Allenfalls lässt sich aus dem Umstand, dass Art. 42a Abs. 3 RPV den Wiederaufbau ausnahmsweise nach Zerstörung durch höhere Gewalt zulässt, der Analogieschluss ziehen, dies müsse auch für Bauten in Streusiedlungsgebieten gelten. Diese Frage stellt sich hier nicht. Umgekehrt kann aber aus dem Fehlen einer solchen Ausnahmeklausel in Art. 39 RPV nicht einfach gefolgert werden, im Streusiedlungsgebiet seien sogar freiwillige Abbrüche und Wiederaufbauten zulässig, zumal sich schon auf Gesetzesstufe keine entsprechende Grundlage findet.
3. Scheitert die Bewilligung de lege lata bereits am Raumplanungsrecht, erübrigen sich weiter gehende Ausführungen zum NHG.
Demzufolge ist die Beschwerde gutzuheissen, und das angefochtene Urteil sowie die Baubewilligung sind aufzuheben. Die Gerichtskosten sind dem privaten Beschwerdegegner aufzuerlegen (Art. 66 Abs. 1 BGG). Dieser hat den Beschwerdeführer zudem für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Das Urteil des Kantonsgerichts Appenzell Innerrhoden, Abteilung Verwaltungsgericht, vom 1. Juni 2010 und damit auch die vom Bezirksrat Oberegg am 7. Mai 2009 erteilte Baubewilligung werden aufgehoben.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem privaten Beschwerdegegner auferlegt.
3. Der private Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Bezirk Oberegg, dem Bau- und Umweltdepartement sowie der Standeskommission des Kantons Appenzell Innerrhoden, dem Kantonsgericht Appenzell Innerrhoden, Abteilung Verwaltungsgericht, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 13. April 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber