Sachverhalt:
A. Am 16. März 2005 reichte die Y._ GmbH als Grundeigentümerin ein Baugesuch für eine Balkonerweiterung mit Quergiebel bei einem Wohnhaus auf der Parzelle Nr. 2028 in Appenzell (Wohnzone W2; Quartierplangebiet "Unterer Imm" vom 13. Juli 1992 [revidiert am 18. Januar 2006]) ein. Gemäss Baugesuch war eine Balkonvergrösserung nach vorne um 1,6 Meter, das Anbringen eines seitlichen Windschutzes im Erdgeschoss und im ersten Obergeschoss sowie ein neuer Balkon mit Quergiebel im Dachgeschoss geplant. In der öffentlichen Planauflage gab die Bezirksverwaltung Rüte als Bauzweck "Balkonerweiterung mit Quergiebel" an.
Mit Entscheid vom 4. Mai 2005 erteilte das Bau- und Umweltdepartement des Kantons Appenzell Innerrhoden der Y._ GmbH die entsprechenden Bewilligungen bezüglich Gewässer- und Umweltschutz sowie Energie.
Mit Entscheid vom 23. Mai 2005 erteilte der Bezirksrat Rüte der Y._ GmbH die Baubewilligung, nachdem innerhalb der öffentlichen Auflagefrist vom 19. bis 29. April 2005 keine Einsprachen gegen das Bauvorhaben eingegangen waren. Dabei wies der Bezirksrat Rüte darauf hin, dass der Ausbau des Dachgeschosses nicht Bestandteil dieser Bewilligung sei und Wohnraumerweiterungen bewilligungspflichtig seien.
Bei der Baukontrolle durch den Bezirksrat Rüte wurde in der Folge festgestellt, dass die Seiten bei den Quergiebeln nicht aus Kupfer, sondern aus Eternit gefertigt worden waren, und dass der Dachvorsprung mit 90 Zentimetern länger als die auf dem Plan bewilligten 30 Zentimeter war. Z._, welcher das Baugesuch im Namen der Y._ GmbH unterzeichnet hatte, wurde deswegen mit Fr. 3'000.-- gebüsst. Hingegen wurde auf den Rückbau des Dachvorsprungs verzichtet.
B. Am 6. Juni 2009 reichte die Y._ GmbH beim Bezirksrat Rüte ein Baugesuch für einen Dachausbau ein. Gegenstand des Gesuchs bildet der Durchbruch vom ersten Obergeschoss ins Dachgeschoss verbunden mit einer Wendeltreppe, der Ausbau des Dachgeschosses und der Einbau von Dachfenstern.
Der Nachbar X._ erhob am 25. Juni 2009 Einsprache mit dem Antrag, das Baugesuch sei abzuweisen. Zur Begründung führte er unter anderem aus, die gemäss dem Quartierplanreglement "Unterer Imm" zulässige Gebäudehöhe von 6,5 Metern und die zulässige Firsthöhe von 9,5 Metern seien nicht eingehalten. Das Quartierplanreglement werde überdies verletzt, weil das Gebäude vier- statt zweigeschossig sei. Mit Einspracheentscheid vom 5. November 2009 wies der Bezirksrat Rüte die Einsprache von X._ ab. Den von diesem am 14. November 2009 eingereichten Rekurs wies die Standeskommission des Kantons Appenzell Innerrhoden mit Entscheid vom 27. April 2010 ab.
Diesen Entscheid focht X._ mit Verwaltungsgerichtsbeschwerde vom 14. Juni 2010 beim Kantonsgericht Appenzell Innerrhoden an. Mit Urteil vom 2. November 2010 wies dieses die Beschwerde ab.
C. X._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit den Anträgen, das Urteil des Kantonsgerichts aufzuheben und das Baugesuch der Beschwerdegegnerin (Dachausbau mit Dachfenstereinbau) nicht zu genehmigen. Eventualiter sei der Rückbau des im Jahr 2005 vorgenommenen Ausbaus (Balkonerweiterung mit Quergiebeln) anzuordnen. Subeventualiter sei die Angelegenheit zur Vornahme ergänzender Sachverhaltsuntersuchungen und zur anschliessenden Neuentscheidung an die Vorinstanz zurückzuweisen. Des Weiteren ersucht X._, seiner Beschwerde die aufschiebende Wirkung zu erteilen.
Mit Verfügung vom 9. März 2011 wies der Präsident der I. öffentlich-rechtlichen Abteilung das Gesuch um Gewährung der aufschiebenden Wirkung ab.
Das Bau- und Umweltdepartement verzichtet auf eine Vernehmlassung. Die Standeskommission beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei diese abzuweisen. Das Kantonsgericht und die Beschwerdegegnerin stellen Antrag auf Beschwerdeabweisung. Der Beschwerdeführer hält an seinen Anträgen fest.
Erwägungen:
1. 1.1 Das angefochtene Urteil des Kantonsgerichts ist ein Endentscheid einer letzten kantonalen Instanz (Art. 82 lit. a i.V.m. Art. 86 Abs. 1 lit. d und Art. 90 BGG). Ihm liegt ein Beschwerdeverfahren über ein Baubegehren und damit eine öffentlich-rechtliche Angelegenheit zugrunde. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung (BGE 133 II 249 E. 1.2 S. 251, 400 E. 2.1 S. 404). Ausnahmegründe im Sinne von Art. 83 ff. BGG liegen nicht vor. Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen (Art. 89 Abs. 1 lit. a BGG). Er ist als Nachbar zur Beschwerde legitimiert (Art. 89 Abs. 1 lit. b und c BGG; ausführlich BGE 137 II 30 E. 2 S. 32; 133 II 249 E. 1.3.3 S. 253). Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten.
1.2 Sachverhaltsfeststellungen können nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (BGE 133 II 249 E. 1.2.2 S. 252) sind, auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen und für den Ausgang des Verfahrens entscheidend sind (Art. 97 Abs. 1 BGG).
Soweit der Beschwerdeführer der Vorinstanz offensichtlich unhaltbare Sachverhaltsfeststellungen anlastet, verfällt er weitgehend in appellatorische Kritik am angefochtenen Entscheid, indem er der vorinstanzlichen Begründung über weite Strecken lediglich seine eigene Sicht der Dinge gegenüberstellt, ohne darzulegen, inwiefern die Feststellungen der Vorinstanz willkürlich sein sollten. Darüber hinaus zeigt der Beschwerdeführer nicht auf und ist auch nicht ersichtlich, dass die gerügten Sachverhaltsfeststellungen der Vorinstanz - wie insbesondere jene bezüglich der Länge der Überschreitung des Dachvorsprungs (vgl. insoweit Sachverhalt lit. A. hiervor) - für den Ausgang des Verfahrens entscheidend gewesen wären.
2. 2.1 Der Beschwerdeführer rügt in Bezug auf die am 23. Mai 2005 erteilte Baubewilligung eine willkürliche Anwendung von Art. 68 Abs. 2 des Baugesetzes des Kantons Appenzell Innerrhoden vom 28. April 1985 (BauG/AI; GS 700.000). Er präzisiert, der Bezirksrat Rüte habe das Projekt unter dem Zweck "Balkonerweiterung mit Quergiebeln" ausgeschrieben. Korrekterweise hätte das Bauvorhaben aber als "Erweiterung bestehender Balkone und Neubau von zwei Balkonen mit Quergiebeldächern" bezeichnet werden müssen. Bei dieser Ausgangslage habe er nicht mit einem Aufbau eines Vollgeschosses und der Verglasung mit Windschutzscheiben rechnen müssen. Aufgrund des mangelhaften Publikationstexts habe er sich nicht zur Teilnahme am Baubewilligungsverfahren verpflichtet gesehen. Im Ergebnis müsse die willkürliche Anwendung von Art. 68 Abs. 2 BauG/AI angesichts des Verstosses gegen grundlegende Parteirechte die Nichtigkeit der Baubewilligung vom 23. Mai 2005 zur Folge haben.
2.2 Die Nichtigkeit ist jederzeit und von sämtlichen staatlichen Instanzen von Amtes wegen zu beachten. Sie kann auch im Rechtsmittelverfahren festgestellt werden (BGE 136 II 415 E. 1.2 S. 417).
Das Bundesgericht überprüft die Auslegung und Anwendung des kantonalen Rechts nur auf Willkür hin (vgl. Art. 95 BGG). Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 134 II 124 E. 4.1 S. 133; 132 I 175 E. 1.2 S. 177; 131 I 467 E. 3.1 S. 473 f.; je mit Hinweisen).
2.3 Gemäss Art. 68 Abs. 2 BauG/AI ist die Auflage unter Angabe des Gesuchstellers, des Standorts und des Zwecks der Baute, der erforderlichen Verfahren sowie des Endtermins für Baueinsprachen zu veröffentlichen. Der Ausschreibungstext braucht hingegen keine Details zu enthalten, sondern es genügt, wenn sich allfällige Betroffene ein Bild über die möglichen Auswirkungen des Bauvorhabens machen können und ihnen Gelegenheit gegeben wird, sich am Baubewilligungsverfahren zu beteiligen.
Dieser Zweck wurde, wie die Vorinstanz, ohne in Willkür zu verfallen, hervorgehoben hat, mit der erfolgten Publikation erreicht. Der Beschwerdeführer wusste anhand der Ausschreibung, dass Quergiebel und eine Balkonerweiterung geplant waren. Er hätte das Gesuch der Beschwerdegegnerin inklusive der Baupläne einsehen und sich über den beabsichtigten Ausbau genauer informieren können. Dies hat er jedoch unterlassen. Die Baubewilligung ist somit formell rechtskräftig geworden und die Beschwerdegegnerin durfte sich in guten Treuen auf diese verlassen (vgl. insoweit auch Urteil 1C_150/2009 vom 8. September 2009 E. 4).
Der Vorinstanz kann folglich keine willkürliche Anwendung von Art. 68 Abs. 2 BauG/AI angelastet werden; ebenso wenig ist entgegen den Ausführungen in der Beschwerde ersichtlich, inwiefern die mangelhafte Ausschreibung einen Verstoss gegen Art. 33 Abs. 3 lit. a RPG (SR 700) bedeuten sollte. Es liegt damit insoweit offensichtlich kein Nichtigkeitsgrund vor (vgl. auch E. 3.3 hiernach), sodass sich weitere Ausführungen erübrigen.
3. 3.1 Der Beschwerdeführer erachtet die Baubewilligung vom 23. Mai 2005 auch deshalb als nichtig, weil weder die massgeblichen Vorschriften über die Gebäudehöhe noch über die Geschosszahlen eingehalten worden seien.
3.2 Die Vorinstanz hat erwogen, die Beschwerdegegnerin habe mit Bewilligung des Bezirksrats Rüte vom 23. Mai 2005 beim fraglichen Gebäude die sich an der westlichen Fassade befindlichen vier Balkone um insgesamt zwei Balkone aufgestockt und je mit einem Quergiebel überdacht. Diese Quergiebel würden im Verhältnis zum Stammgebäude ein derartiges Volumen annehmen, dass sie als Gebäudeteil zu qualifizieren seien. Die Traufe der Quergiebel sei deshalb bei der Bestimmung der Gebäudehöhe zu berücksichtigen. Die so gemessene Gebäudehöhe sei rund einen Meter höher als die ursprüngliche Gebäudehöhe von 6,71 Metern. Sowohl gemäss dem damals als auch dem heute geltenden Quartierplanreglement sei jedoch lediglich eine Gebäudehöhe von 6,5 Metern zulässig. Die diesbezügliche vom Bezirksrat Rüte erteilte Baubewilligung sei deshalb als widerrechtlich zu qualifizieren. Bei diesem Ergebnis könne letztlich offen bleiben, ob auch die Bestimmung über die Geschosszahlen gemäss Art. 41 der Verordnung zum Baugesetz vom 17. März 1986 (BauV/AI; GS 700.010) verletzt sei.
Die Vorinstanz hat weiter hervorgehoben, der Verstoss gegen die Baugesetzgebung sei jedenfalls nicht als schwerwiegend und offenkundig zu qualifizieren. Vielmehr sei die Überschreitung der Gebäudehöhe erst anlässlich einer eingehenden Prüfung im Rekursverfahren und nicht unmittelbar nach der Bauerweiterung festgestellt worden. Zudem deute nichts darauf hin, dass die Beschwerdegegnerin die Baubewilligung durch falsche Angaben oder andere Machenschaften erwirkt und somit nicht in guten Treuen gehandelt hätte. Auch würde der Abbruch der bewilligten Balkone und Quergiebel die Rechtssicherheit - nämlich die Voraussehbarkeit, Berechenbarkeit und Beständigkeit rechtsstaatlichen Handelns - empfindlich stören. Die am 23. Mai 2005 erteilte Baubewilligung sei daher zwar als fehlerhaft, nicht aber als nichtig einzustufen.
3.3 Fehlerhafte Verwaltungsakte sind in der Regel nicht nichtig, sondern nur anfechtbar, und sie werden durch Nichtanfechtung rechtsgültig. Nichtigkeit, d.h. absolute Unwirksamkeit einer Verfügung, wird nach der sogenannten Evidenztheorie nur angenommen, wenn der ihr anhaftende Mangel besonders schwer wiegt, wenn er offensichtlich oder zumindest leicht erkennbar ist und wenn zudem die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird (vgl. BGE 136 II 415 E. 3.2 S. 426). Inhaltliche Mängel haben nur in seltenen Ausnahmefällen die Nichtigkeit einer Verfügung zur Folge. Als Nichtigkeitsgründe kommen hauptsächlich funktionelle und sachliche Unzuständigkeit einer Behörde sowie schwerwiegende Verfahrensfehler in Betracht (BGE 132 II 21 E. 3 S. 26 ff., insbesondere E. 3.1 S. 27 mit Hinweisen). Vorzunehmen ist eine Abwägung zwischen dem Interesse an der Rechtssicherheit und jenem der richtigen Rechtsanwendung (vgl. zum Ganzen Ulrich Häfelin/Georg Müller/Felix Uhlmann, Allgemeines Verwaltungsrecht, 6. Aufl. 2010, N. 955 ff.).
3.4 Die Beschwerde ist auch in diesem Punkt abzuweisen. Es erscheint bereits zweifelhaft, ob, wie in der Beschwerde vorgebracht, die der Baubewilligung vom 23. Mai 2005 anhaftenden Mängel offensichtlich oder zumindest leicht erkennbar sind. Diese Frage kann aber offen bleiben, denn jedenfalls wiegen die Überschreitung der zulässigen Gebäudehöhe um rund 1,2 Meter - ohne eigentliche Erhöhung des bestehenden Gebäudes - und der vom Beschwerdeführer behauptete Verstoss gegen die Vorschriften über die Geschosszahlen nicht derart schwer, dass sie die Annahme der Nichtigkeit zu rechtfertigen vermöchten, zumal hierdurch die Rechtssicherheit ernsthaft gefährdet würde.
4. 4.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe zu Unrecht vom Widerruf der vom Bezirksrat Rüte erteilten Baubewilligung vom 23. Mai 2005 abgesehen und hierdurch Art. 24 des Verwaltungsverfahrensgesetzes des Kantons Appenzell Innerrhoden (VerwVG/AI; GS 172.600) verletzt. Die öffentlichen Interessen des Landschafts- und Ortsbildschutzes seien gewichtig und würden durch die Aufrechterhaltung der Baubewilligung erheblich gefährdet, denn die Baute stelle in dieser Wohnzone einen empfindlichen und nicht wieder gutzumachenden Eingriff in die typisch appenzellische Landschaft dar. Als Nachbar habe er ebenfalls gewichtige Interessen, da seine Aussicht beschränkt werde. Ferner stehe auch der Umstand, dass seit der Beendigung des Ausbaus rund fünf Jahre vergangen seien, einem Widerruf der Baubewilligung nicht entgegen. Hinzu komme schliesslich, dass der Beschwerdegegnerin bei einer Wiederherstellung des rechtmässigen Zustands mit Sicherheit eine Entschädigung aus Vertrauensschaden zustünde.
4.2 Die Vorinstanz hat festgehalten, die Beschwerdegegnerin habe in guten Treuen von der vom Bezirksrat Rüte am 23. Mai 2005 - widerrechtlich - erteilten Baubewilligung Gebrauch gemacht und es liege auf der Hand, dass die Beschwerdegegnerin bei einem Widerruf der Baubewilligung durch den Abbruch der obersten beiden Balkone und der Quergiebel erheblich belastet würde. Auch die Rechtssicherheit wäre bei einem Widerruf enorm tangiert, da sich die Beschwerdegegnerin auf die Bewilligung habe verlassen dürfen. Zu berücksichtigen sei weiter, dass die Baubewilligung bereits am 23. Mai 2005 erteilt und diese vom Beschwerdeführer erstmals im Rahmen des jetzigen Baubewilligungsverfahrens in Frage gestellt worden sei. Schliesslich seien keine besonders wichtigen öffentlichen Interessen gefährdet. Bei dieser Ausgangslage komme ein Widerruf der Baubewilligung nicht in Betracht.
4.3 Nach Art. 24 Abs. 1 VerwVG/AI mit der Marginalie Widerruf können Verfügungen durch die erlassende Behörde oder durch die Aufsichtsbehörde geändert oder aufgehoben werden, wenn der Widerruf die Betroffenen nicht belastet oder wenn er aus wichtigen öffentlichen Interessen geboten ist.
Voraussetzung eines Widerrufs einer Verfügung ist nach der Rechtsprechung, dass dem Interesse an der richtigen Anwendung des objektiven Rechts der Vorrang vor den Interessen der Rechtssicherheit und des Vertrauensschutzes zukommt. Ein Widerruf kommt in der Regel nicht in Betracht, wenn die Verfügung in einem Verfahren ergangen ist, in welchem die sich gegenüberstehenden Interessen allseitig zu prüfen und gegeneinander abzuwägen waren, und wenn der Private von einer ihm durch die fragliche Verfügung eingeräumten Befugnis bereits Gebrauch gemacht hat, sofern dies erhebliche Investitionen erfordert und zu einem Zustand geführt hat, der nur unter Vernichtung gutgläubig geschaffener Werte wieder beseitigt werden kann. Diese Regel gilt allerdings nicht absolut. Ein Widerruf kann in solchen Konstellationen trotzdem in Frage kommen, wenn er durch ein besonders gewichtiges öffentliches Interesse geboten ist. Dies kann namentlich der Fall sein, wenn der bewilligte Bau die öffentliche Sicherheit, z.B. den Gewässerschutz, gefährdet. Einzubeziehen sind alle Aspekte des Einzelfalls. Für den Ausgang der Güterabwägung kann insbesondere eine Rolle spielen, wie lange ein gesetzwidriger Zustand schon dauert (vgl. zum Ganzen BGE 137 I 69 E. 2.3 S. 71 mit Hinweisen).
4.4 Die von der Vorinstanz vorgenommene Interessenabwägung ist nicht zu beanstanden. Die Beschwerdegegnerin hat - wie die Vorinstanz ohne Verletzung von Bundesrecht geschlossen hat - in guten Treuen von der erteilten Baubewilligung Gebrauch gemacht und erhebliche Investitionen getätigt. Ein Weiterbestand des gesetzwidrigen Zustands gefährdet die öffentliche Sicherheit nicht. Nicht ins Gewicht fällt insoweit ferner das Interesse des Beschwerdeführers an einer besseren Aussicht. Im Ergebnis hat die Vorinstanz zutreffend gefolgert, dass vorliegend die gewichtigen Interessen am Vertrauensschutz und der Rechtssicherheit das Interesse an der richtigen Rechtsanwendung überwiegen.
5. 5.1 Der Beschwerdeführer rügt eine willkürliche Anwendung der Bestimmung über die Besitzstandsgarantie von Art. 4 BauG/AI. Mit vier Vollgeschossen und einer Gebäudehöhe von rund 7,7 Metern statt der zulässigen 6,5 Meter würden die massgeblichen Normen der Bauverordnung und des Quartierreglements krass verletzt. Die Auffassung der Vorinstanz, wonach diese gestützt auf die Baubewilligung vom 23. Mai 2005 vorgenommenen Ausbauten trotz Widerrechtlichkeit unter die Besitzstandsgarantie fielen, sei willkürlich. Da Art. 4 BauG/AI als gesetzliche Grundlage nicht in Betracht komme, verstosse der angefochtene Entscheid zugleich gegen das Legalitätsprinzip. Schliesslich bringt der Beschwerdeführer in diesem Zusammenhang vor, die Vorinstanz habe die Ausnützungsziffer falsch berechnet.
5.2 Die Vorinstanz hat ausgeführt, da die Balkone und Giebelaufbauten im Jahr 2005 gestützt auf eine zwar widerrechtliche Baubewilligung, die jedoch weder nichtig sei noch widerrufen werden könne, erstellt worden seien, sei die Baute unter dem Gesichtspunkt der Besitzstandsgarantie gleich zu behandeln wie solche, die im Zeitpunkt ihrer Errichtung mit den geltenden Vorschriften vereinbar gewesen und erst im Nachhinein durch eine Änderung der Planungsbestimmungen oder der Baugesetzgebung widerrechtlich geworden seien. Eine Baute sei nach ihrer Errichtung durch die Bestandeskraft der Baubewilligung grundsätzlich geschützt, was bedeute, dass die Verfassungsgrundsätze, die hinter der Besitzstandsgarantie stünden - wie die Eigentumsgarantie, das Rückwirkungsverbot und der Vertrauensgrundsatz -, zu beachten seien. Auf diese Grundsätze müsse sich der Eigentümer einer zwar bewilligten, aber im Widerspruch zu den öffentlich-rechtlichen Vorschriften stehenden und daher aus heutiger Sicht nicht bewilligungsfähigen Baute auch dann berufen können, wenn die Rechtslage keine Änderung erfahren habe. Die im Jahr 2005 bewilligten und errichteten Quergiebel und Balkone dürften daher unverändert bestehen bleiben und seien unter besitzstandsähnlichen Gesichtspunkten nicht anders zu behandeln wie eine ursprünglich materiell rechtmässige Baute. Demnach dürfe gestützt auf Art. 4 Abs. 2 BauG/AI eine zeitgemässe Erneuerung durch Erstellen einzelner Bauteile erfolgen, sofern diese für sich allein die geltenden Vorschriften einhielten.
Die Vorinstanz hat weiter festgehalten, durch den von der Beschwerdegegnerin geplanten Ausbau würden sich einzig die Ausnützungsziffer und - aufgrund der Dachfenster - das Erscheinungsbild im Vergleich zu der im Jahr 2005 bewilligten Baute ändern. In der Zone W2 betrage die Ausnützungsziffer 0,5, sofern die Bezirke in ihren Baureglementen oder in Quartierplänen nichts anderes festlegten (vgl. Art. 37 f. BauV/AI). Art. 3 des Quartierplanreglements "Unterer Imm" vom 27. Juni 2006 erlaube im Rahmen der zulässigen Gebäudehöhen (6,5 Meter) und Firsthöhen (9,5 Meter) die Ausnutzung des Bauvolumens unabhängig von den Bestimmungen über die Geschosszahlen. Die Ausnützungsziffer sei die Verhältniszahl aus der Summe aller nutzbaren Geschossflächen, vorliegend rund 433 m2, zur reinen Grundstücksfläche, vorliegend 1'088 m2. Im Ergebnis betrage die Ausnützungsziffer somit 0,4 und entspreche folglich den geltenden Vorschriften. Die Dachfenster seien nach der allgemeinen Regel von Art. 51 Abs. 1 BauG/AI zulässig, wenn sie sich in die bauliche und landschaftliche Umgebung eingliederten und das Landschaft-, Orts- und Strassenbild oder dessen Charakter nicht wesentlich beeinträchtigten. Der Baubewilligungsbehörde stehe bei der Beurteilung dieser Ästhetikvorschrift ein Ermessen zu, welches im zu beurteilenden Fall gewahrt worden sei. Im Übrigen bestehe keine raumplanungs- bzw. baurechtliche Bestimmung, gegen welche eine Spiegelung der Dachfenster verstossen würde. Zusammenfassend halte der von der Beschwerdegegnerin geplante Dachausbau demnach für sich allein die geltenden Vorschriften ein und sei isoliert betrachtet rechtmässig. Der Ausbau führe damit auch nicht zu einer Verstärkung der Rechtswidrigkeit und könne bewilligt werden.
5.3 Für Bauten innerhalb der Bauzone sind in erster Linie die kantonalen Bestimmungen massgeblich. Art. 4 BauG/AI mit dem Randtitel Bestandesgarantie bestimmt namentlich, dass für bestehende Bauten, die vor Inkrafttreten dieses Gesetzes erstellt wurden und den neuen Bestimmungen nicht entsprechen, der Weiterbestand, ein angemessener Unterhalt und die zeitgemässe Erneuerung gewährleistet bleiben. Sie sind nur dann den Vorschriften anzupassen, wenn es gesetzlich ausdrücklich vorgesehen oder zur Wahrung der öffentlichen Ordnung dringend geboten ist (Abs. 1). Als zeitgemässe Erneuerung gelten auch der Abbruch und der Wiederaufbau im bisherigen Umfang, unter Vorbehalt des Ortsbildschutzes, sofern dadurch nicht wesentliche öffentliche oder nachbarrechtliche Interessen verletzt werden, sowie die Erstellung einzelner Bauteile, die für sich allein die geltenden Vorschriften einhalten (Abs. 2).
5.3 Für Bauten innerhalb der Bauzone sind in erster Linie die kantonalen Bestimmungen massgeblich. Art. 4 BauG/AI mit dem Randtitel Bestandesgarantie bestimmt namentlich, dass für bestehende Bauten, die vor Inkrafttreten dieses Gesetzes erstellt wurden und den neuen Bestimmungen nicht entsprechen, der Weiterbestand, ein angemessener Unterhalt und die zeitgemässe Erneuerung gewährleistet bleiben. Sie sind nur dann den Vorschriften anzupassen, wenn es gesetzlich ausdrücklich vorgesehen oder zur Wahrung der öffentlichen Ordnung dringend geboten ist (Abs. 1). Als zeitgemässe Erneuerung gelten auch der Abbruch und der Wiederaufbau im bisherigen Umfang, unter Vorbehalt des Ortsbildschutzes, sofern dadurch nicht wesentliche öffentliche oder nachbarrechtliche Interessen verletzt werden, sowie die Erstellung einzelner Bauteile, die für sich allein die geltenden Vorschriften einhalten (Abs. 2).
5.4 5.4.1 Voraussetzung für die Anwendbarkeit von Art. 4 BauG/AI ist nach dem Wortlaut, dass die Baute unter altem Recht rechtmässig erstellt wurde. Nach der Auslegung der Vorinstanz findet Art. 4 BauG/AI jedoch auch Anwendung auf eine bewilligte Baute, die von Anfang an rechtswidrig war, ohne dass das Recht geändert hätte. Diese Auslegung ist jedenfalls nicht willkürlich und stimmt namentlich mit der im Kanton Bern geübten Praxis überein (vgl. hierzu Aldo Zaugg/Peter Ludwig, Kommentar zum Baugesetz des Kantons Bern, 3. Aufl. 2007, N. 2b zu Art. 3). Liegt mithin eine rechtskräftige Baubewilligung vor, so gilt die Baute als rechtmässig erstellt, weshalb sich ihr Eigentümer ebenfalls auf die Besitzstandsgarantie berufen kann, selbst wenn die Baute, wie im zu beurteilenden Fall, insbesondere die Bestimmung über die Gebäudehöhe verletzt. Damit bleibt die zeitgemässe Erneuerung gewährleistet. Als solche gilt auch die Erstellung einzelner Bauteile, die für sich allein die geltenden Vorschriften einhalten.
5.4.2 In Bezug auf die vom Beschwerdeführer gerügte Berechnung der Ausnützungsziffer ist folgendes festzuhalten: Die Vorinstanz hat insoweit auf eine Summe aller nutzbaren Geschossflächen von 433 m2 abgestellt (Geschossfläche Erd- und Obergeschoss je 178 m2, Geschossfläche Dachgeschoss 77,86 m2). Der Beschwerdeführer macht geltend, beim Erd- und Obergeschoss hätte richtigerweise von einer gesamten Geschossfläche von 381,64 m2 statt 356 m2 ausgegangen und im Dachgeschoss hätten die zwei Räume "Estrich Abstell" hinzugerechnet werden müssen, da diese zur Wohneinheit zählten. Die Geschossflächen der Räume "Estrich Abstell" betragen je 12,81 m2 (2,1 m x 6,1 m). Ausgehend von der Berechnung des Beschwerdeführers ergibt sich demnach eine Summe aller nutzbaren Geschossflächen von 485,12 m2 (381,64 m2 + 77,86 m2 + 12,81 m2 + 12,81 m2) statt 433 m2 wie von der Vorinstanz angenommen. Hieraus resultiert eine Ausnützungsziffer von 0,45 (485,12 ÷ 1'088) statt der von der Vorinstanz errechneten Ausnützungsziffer von 0,4. Auch auf der Berechnungsgrundlage des Beschwerdeführers ist damit die zulässige Ausnützungsziffer von 0,5 eingehalten, was in der Beschwerde im Übrigen auch nicht bestritten wird. Nicht zu beanstanden sind schliesslich die Ausführungen der Vorinstanz zur Zulässigkeit der Dachfenster.
Da das zu beurteilende Bauprojekt für sich allein betrachtet die geltenden Vorschriften einhält, verletzt der Schluss der Vorinstanz, es handle sich um eine zulässige zeitgemässe Erneuerung im Sinne von Art. 4 Abs. 2 BauG/AI, zusammenfassend kein Bundesrecht.
6. Die Beschwerde ist damit abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Dieser hat der Beschwerdegegnerin eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG). Den in ihrem amtlichen Wirkungskreis obsiegenden Behörden ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'500.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Bezirksrat Rüte, der Standeskommission und dem Bau- und Umweltdepartement des Kantons Appenzell Innerrhoden sowie dem Kantonsgericht Appenzell Innerrhoden, Abteilung Verwaltungsgericht, schriftlich mitgeteilt.
Lausanne, 9. Juni 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Stohner