Sachverhalt: A. X._ beabsichtigt, sein Doppeleinfamilienhaus abzubrechen und wiederaufzubauen. Das Objekt steht auf den Parzellen Nrn. 606520 und 606530 im Bezirk Oberegg, welche sich in der Landwirtschaftszone und im Gebiet mit traditioneller Streubauweise befinden. Das Haus diente noch nach 1972 landwirtschaftlichen Zwecken. Inzwischen wurde der landwirtschaftliche Betrieb aufgegeben. Der Neubau soll weder der landwirtschaftlichen Bewirtschaftung noch dem produzierenden Gartenbau oder entsprechenden Wohnzwecken dienen. B. Die gegen das Bauvorhaben eingereichten Einsprachen von Y._ und dem Schweizer Heimatschutz wies das kantonale Bau- und Umweltdepartement am 3. April 2009 ab. Der Bezirksrat Oberegg erteilte hierauf am 7. Mai 2009 die Baubewilligung. C. Die hierauf angerufene Standeskommission schützte den Entscheid des Bau- und Umweltdepartements am 15. Dezember 2009 und bestätigte damit auch die Baubewilligung. D. Sowohl der Schweizer Heimatschutz als auch Y._ gelangten gegen den Rekursentscheid der Standeskommission ans Kantonsgericht Appenzell Innerrhoden. Dessen Abteilung Verwaltungsgericht wies die Beschwerden mit Urteil vom 1. Juni 2010 ab. E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 8. September 2010 verlangt der Schweizer Heimatschutz die Aufhebung sämtlicher auf kantonaler und kommunaler Ebene in dieser Sache ergangener Entscheide und die Verweigerung der Baubewilligung für den geplanten Abbruch- und Wiederaufbau auf den Parzellen Nrn. 606520 und 606530. Eventualiter sei die Sache zur neuen Beurteilung an das Kantonsgericht zurückzuweisen. Gleichzeitig ersucht der Beschwerdeführer um Gewährung der aufschiebenden Wirkung. Der Bauherr hat sich nicht zur Angelegenheit vernehmen lassen, und das kantonale Bau- und Umweltdepartement verzichtet ausdrücklich auf eine Stellungnahme. Demgegenüber schliessen die Standeskommission des Kantons Appenzell Innerrhoden und das Kantonsgericht Appenzell Innerrhoden je auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) hat ebenfalls zur Sache Stellung genommen. Im Rahmen des zweiten Schriftenwechsels halten sowohl der Beschwerdeführer als auch die Standeskommission sinngemäss an ihren Anträgen fest. Mit Verfügung vom 29. Oktober 2010 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.