Sachverhalt:
A. A.a Der 1960 geborene A._ war bei der Firma S._ AG als Hilfsarbeiter angestellt. Am 31. März 2003 zog er sich bei einem Sturz am Arbeitsplatz eine BWK12-Impressionsfraktur zu. Am 5. November 2003 meldete er sich bei der IV-Stelle des Kantons Appenzell Ausserrhoden zum Leistungsbezug an. Diese verneinte mit Verfügung vom 30. Januar 2006 den Anspruch auf berufliche Massnahmen. Mit Verfügungen vom 21. April 2006 sprach sie dem Versicherten ab 1. März 2004 eine ganze Invalidenrente (Invaliditätsgrad 100 %) und ab 1. Oktober 2004 eine halbe Invalidenrente (Invaliditätsgrad 55 %) zu. Die gegen diese Rentenverfügungen erhobene Einsprache wies sie mit Entscheid vom 7. September 2006 ab. Die Beschwerde des Versicherten wies das Obergericht Appenzell Ausserrhoden mit Entscheid vom 22. August 2007 ab. Auf seine Beschwerde hin hob das Bundesgericht diesen Entscheid und den Einspracheentscheid der IV-Stelle auf; es wies die Sache an die IV-Stelle zurück, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch ab 1. Oktober 2004 neu verfüge (Urteil 8C_780/2007 vom 27. August 2008).
A.b In der Folge holte die IV-Stelle ein interdisziplinäres Gutachten des Instituts Z._ vom 19. Mai 2009 ein. Mit Verfügungen vom 11. Februar 2011 sprach sie dem Versicherten ab 1. Oktober 2004 bis 31. August 2005 eine ganze Invalidenrente (Invaliditätsgrad 100 %) und ab 1. September 2005 eine halbe Invalidenrente (Invaliditätsgrad 57 %) zu.
B. Die hiegegen erhobene Beschwerde wies das Obergericht Appenzell Ausserrhoden mit Entscheid vom 9. Mai 2012 ab, nachdem es einen ergänzenden Bericht des Instituts Z._ vom 19. Januar 2012 eingeholt hatte.
C. Mit Beschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei ihm ab September 2005 eine Dreiviertelsrente zuzusprechen (anstelle der bereits gewährten halben Invalidenrente); insoweit seien auch die beiden Verfügungen vom 11. September 2011 teilweise aufzuheben respektive abzuändern. Ein Schriftenwechsel wurde nicht angeordnet.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Die Vorinstanz hat die für die Beurteilung des Leistungsanspruchs des Versicherten massgebenden Rechtsgrundlagen zutreffend dargelegt. Darauf wird verwiesen.
3. Weiter hat die Vorinstanz gestützt auf das Gutachten des Instituts Z._ vom 19. Mai 2009 und den ergänzenden Bericht des Chefarztes Priv.-Doz. Dr. med. W._, Facharzt für Neurologie, Psychiatrie und Psychotherapie FMH, vom 19. Januar 2012 richtig erkannt, dass der Versicherte in einer leidensangepassten Erwerbstätigkeit, die keine körperliche Schwerarbeit umfasst, vollzeitlich arbeitsfähig, in diesem Rahmen aber lediglich zu 50 % leistungsfähig ist. Auf die vorinstanzlichen Erwägungen wird verwiesen (Art. 109 Abs. 3 BGG). Der Versicherte erhebt keine Rügen, welche diese vorinstanzlichen Sachverhaltsfeststellungen zu seiner Arbeitsfähigkeit (BGE 132 V 393 S. 398) als offensichtlich unrichtig oder als rechtsfehlerhaft nach Art. 95 BGG erscheinen lassen. Festzuhalten ist insbesondere Folgendes:
Der Versicherte macht geltend, die Beobachtungen während des Beschäftigungsprogramms bei der V._ im Jahre 2004 (Schlussbericht vom 16. Dezember 2004) hätten gezeigt, dass er sich dort nach jeweils halbtägigem Pensum habe hinlegen müssen; dies habe er auch während des Wartens auf den Bus für die Heimfahrt, mithin in unbeobachteten Momenten, getan. Deshalb sei er immer der Auffassung gewesen, die 50%ige Arbeitsfähigkeit könne nur halbtags ausgeführt werden, weil er eine Erholungszeit von einem halben Tag und einer Nacht benötige. Dieser Einwand ist unbehelflich, da der Bericht der V._ vom 16. Dezember 2004 im Gutachten des Instituts Z._ vom 19. Mai 2005 berücksichtigt wurde und dieses nicht zu entkräften vermag.
Weil der am Gutachten des Instituts Z._ vom 19. Mai 2009 beteiligte Chefarzt inzwischen in den Ruhestand getreten war, wurde der ergänzende Bericht des Instituts Z._ vom 19. Januar 2012 von dem am Gutachten nicht mitwirkenden neuen Chefarzt Priv.-Doz. Dr. med. W._ erstellt. Hieraus kann der Versicherte nichts zu seinen Gunsten ableiten, da der ergänzende Bericht vom 19. Januar 2012 überzeugt.
4. 4.1 In erwerblicher Hinsicht rügt der Versicherte einzig die Höhe des Abzugs von dem gestützt auf die Schweizerische Lohnstrukturerhebung (LSE) ermittelten, trotz Gesundheitsschadens zumutbarerweise erzielbaren Invalideneinkommen (BGE 134 V 322 E. 5.2 S. 327). Dies ist eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (BGE 137 V 71 E. 5.1 S. 72 f.).
4.2 Die Vorinstanz kam zum Schluss, wegen den Schwindelattacken, dem eingeschränkten Hörvermögen und der Unmöglichkeit, Schwerarbeit zu verrichten, sei ein 5%iger Abzug vom LSE-Tabellenlohn gerechtfertigt. Gründe für einen höheren Abzug seien nicht gegeben. Auf ihre diesbezüglichen Erwägungen kann ebenfalls verwiesen werden (Art. 109 Abs. 3 BGG). Die Einwendungen des Versicherten, der einen Abzug von mindestens 15 % verlangt, vermögen eine rechtsfehlerhafte Ermessensausübung durch die Vorinstanz nicht zu begründen.
4.2.1 Unbehelflich ist der Einwand des Versicherten, die Vorinstanz habe willkürlich gehandelt, wenn sie wegen des erwiesenen Wechsels von körperlicher Schwerarbeit zu nur noch möglicher leichter und wechselpositionierte Tätigkeit nicht bereits einen 10%igen Abzug vorgenommen habe. Denn ein Abzug soll nicht automatisch, sondern nur dann erfolgen, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer der relevanten Merkmale ihre gesundheitlich bedingte (Rest-)Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem Einkommen verwerten kann (BGE 134 V 322 E. 5.2 S. 327 f.).
4.2.2 Der Versicherte verweist in gesundheitlicher Hinsicht auf die Gefahr rascher Ermüdbarkeit sowie überdurchschnittlich vieler krankheitsbedingter Absenzen und auf die Unmöglichkeit, Überstunden zu leisten oder einen ausfallenden Arbeitskollegen einfach zu ersetzen. Wegen schwankender Leistungsfähigkeit sei eine erhöhte Rücksichtnahme auf seine psychische Befindlichkeit notwendig. Gerade bei der Arbeitsunfähigkeit aus psychischen Gründen seien die zu erwartenden Nachteile besonders ausgeprägt. Diese pauschalen Einwände rechtfertigen keinen höheren Abzug resp. lassen die vorinstanzliche Abzugsfestsetzung nicht als ermessensfehlerhaft erscheinen. Sodann belegt der Versicherte sein Vorbringen nicht, wegen der Schmerzmittel komme es zu relevanter rascher Ermüdbarkeit und mangelnder Konzentrationsfähigkeit (vgl. auch Urteil 9C_11/2012 vom 28. Februar 2012 E. 2.2.3 f.). Eine psychisch bedingt verstärkte Rücksichtnahme seitens Vorgesetzter und Arbeitskollegen ist bisher von der Gerichtspraxis nicht als eigenständiger abzugsfähiger Umstand anerkannt worden (SVR 2010 IV Nr. 28 S. 87 E. 2.3.2 [9C_708/2009]; Urteil 8C_477/2011 vom 23. Dezember 2011 E. 5.4.2); vorliegend besteht kein Anlass, anders zu entscheiden. Weiter kann eine angebliche Gefahr überdurchschnittlich vieler krankheitsbedingter Absenzen jedenfalls unter den gegebenen Umständen nicht als Abzugsgrund anerkannt werden. Anders zu entscheiden wäre nur, wenn statistisch belegt Erwerbstätige mit gesundheitlich bedingt eingeschränkter Arbeitsfähigkeit längere krankheitsbedingte Absenzen vom Arbeitsplatz aufwiesen als uneingeschränkt arbeitsfähige Erwerbstätige. Schliesslich mag zutreffen, dass der Versicherte weniger flexibel einsetzbar ist etwa in Bezug auf das Leisten von Überstunden. Dieser Umstand kann indessen nicht als abzugsrelevant anerkannt werden. Stellen, welche eine solche Flexibilität verlangen, fallen vorweg ausser Betracht, ohne dass gesagt werden könnte, das aufgrund des Anforderungs- und Belastungsprofils in Frage kommende Arbeitsmarktsegment werde dadurch entscheidend verkleinert (SVR 2010 IV Nr. 28 S. 87 E. 2.3.1 f.; Urteil 9C_294/2012 vom 7. Mai 2012 E. 3.3.2.2).
4.2.3 Entgegen der Behauptung des Versicherten hat die Vorinstanz den Abzug nicht nur im Lichte der leidensbedingten Einschränkung, sondern auch in Bezug auf die übrigen persönlichen und beruflichen Merkmale (Alter, Dauer der Betriebszugehörigkeit, Ausländereigenschaft, Beschäftigungsgrad) geprüft.
4.2.4 Soweit sich der Versicherte auf sein Alter über 50 beruft, hat das Bundesgericht bereits im Rückweisungsurteil 8C_780/2007 E. 6.3.1 erkannt, dass dieses keinen Abzug rechtfertigt (vgl. auch Urteil 9C_386/2012 vom 18. September 2012 E. 5.2).
4.2.5 Der Umstand, dass der Versicherte vollzeitlich arbeitsfähig, hierbei aber reduziert - d.h. nur zu 50 % - leistungsfähig ist (E. 3 hievor), rechtfertigt unter dem Titel "Beschäftigungsgrad" keinen Abzug. An dieser Praxis hielt das Bundesgericht im Urteil 8C_419/2012 vom 21. September 2012 E. 3.1 f. fest und verneinte mit Blick auf die betriebswirtschaftliche Sicht Gründe für eine Praxisänderung. Solche Gründe werden auch hier nicht dargetan (BGE 135 I 79 E. 3 S. 82; vgl. auch Urteil 8C_477/2011 vom 23. Dezember 2011 E. 5.3 betreffend vollzeitliche Arbeitsfähigkeit und 50%ige Leistungsfähigkeit).
4.3 Da gegen die Invaliditätsbemessung keine weiteren Einwände erhoben werden, ist der vorinstanzliche Entscheid zu bestätigen.
5. Die offensichtlich unbegründete Beschwerde wird im Verfahren nach Art. 109 Abs. 2 lit. a BGG erledigt. Der unterliegende Versicherte trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).
Das Bundesgericht erkennt:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar