Sachverhalt:
A. Der 1970 geborene P._ meldete sich im Oktober 2002 unter Hinweis auf die Folgen eines im Januar 2001 erlittenen Unfalls bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 22. Februar 2008 sprach ihm die IV-Stelle des Kantons Aargau ab 1. März 2004 eine halbe Invalidenrente zu. Nach weiteren Abklärungen und Durchführung des Vorbescheidverfahrens hob sie die Rente mit Verfügung vom 24. November 2009 auf das Ende des der Zustellung folgenden Monats auf mit der Begründung, die Verfügung vom 22. Februar 2008 sei zweifellos unrichtig und daher wiedererwägungsweise aufzuheben.
B. Die Beschwerde des P._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 5. Oktober 2010 ab.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des Entscheids vom 5. Oktober 2010 und der Verfügung vom 24. November 2009 sei ihm ab 1. Mai 2008 eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zur ergänzenden Sachverhaltsabklärung an das kantonale Gericht zurückzuweisen.
Die IV-Stelle und das kantonale Gericht beantragen die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Das kantonale Gericht hat die Voraussetzungen für eine wiedererwägungsweise Aufhebung (<ref-law>) der Verfügung vom 22. Februar 2008 bejaht. Weiter hat es dem Gutachten der Akademie X._ vom 8. September 2009 Beweiskraft beigemessen und gestützt darauf festgestellt, der Versicherte sei in seiner angestammten sowie in jeglicher adaptierten Tätigkeit zu 70 % arbeitsfähig. Für die Invaliditätsbemessung (<ref-law>) hat es die Tabellenlöhne der Lohnstrukturerhebung des Bundesamtes für Sozialversicherungen herangezogen und einen Prozentvergleich vorgenommen. Unter Berücksichtigung der eingeschränkten Arbeitsfähigkeit und eines Abzugs von 10 % vom Invalideneinkommen hat es einen Invaliditätsgrad von 37 % ermittelt und folglich die Rentenaufhebung bestätigt. Der Beschwerdeführer stellt die Beweiskraft des Gutachtens der Akademie X._ unter verschiedenen Aspekten in Abrede und hält die Invaliditätsbemessung für bundesrechtswidrig.
3. 3.1 Um den Invaliditätsgrad bemessen zu können, ist die Verwaltung (und im Beschwerdefall das Gericht) auf Unterlagen angewiesen, die ärztliche und gegebenenfalls auch andere Fachleute zur Verfügung zu stellen haben. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (<ref-ruling> E. 4 S. 99 f. mit Hinweisen).
Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Den im Rahmen des Verwaltungsverfahrens durch die Sozialversicherung eingeholten Gutachten ist Beweiskraft zuzuerkennen, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE <ref-ruling> E. 3b/bb S. 353).
3.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> eine Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>; SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 3.1 mit Hinweisen).
3.3 Die vorinstanzliche Beweiswürdigung und die darauf beruhenden Feststellungen betreffend die Arbeitsfähigkeit sind nicht offensichtlich unrichtig und stellen auch keine Verletzung von Bundesrecht dar. Das kantonale Gericht hat sich einlässlich, nachvollziehbar und in bundesrechtskonformer Auffassung vom Beweiswert medizinischer Unterlagen mit den Vorbringen des Versicherten auseinandergesetzt. Daher konnten und können die betroffene Person wie auch die Rechtsmittelinstanz sich über die jeweils wesentlichen Gesichtspunkte und deren Tragweite ein Bild machen, weshalb eine sachgerechte Anfechtung des kantonalen Entscheids möglich war (vgl. <ref-ruling> E. 2.2.1 S. 188; 229 E. 5.2 S. 236) und von einer Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) nicht gesprochen werden kann. Die zivilrechtlichen Entscheide des Obergerichts vom 11. März 2010 resp. des Bezirksgerichts vom 30. September 2010 schmälern den Beweiswert des Gutachtens nicht, zumal sie keine medizinisch relevanten Indizien enthalten, die gegen die Zuverlässigkeit des Gutachtens der Akademie X._ sprechen (vgl. BGE <ref-ruling> E. 3b/aa S. 353); ausserdem sind die Feststellungen des Zivilgerichts betreffend den Gesundheitszustand sowie die Arbeitsfähigkeit weder für die IV-Stelle noch für das Sozialversicherungsgericht verbindlich (vgl. Art. 43 Abs. 1 und <ref-law>). Soweit der Beschwerdeführer erstmals vorbringt (vgl. <ref-law>), zwei Ärzte hätten im Zeitpunkt der Begutachtung nicht über einen FMH-Titel verfügt, kann er nichts für sich ableiten: Ein solcher Facharzttitel ist nicht erforderlich, der psychiatrische Gutachter erlangte die notwendige fachliche Qualifikation rund drei Monate vor der Untersuchung des Versicherten und das neurologische Fachgutachten wurde durch einen Facharzt FMH für Neurologie mitverfasst (vgl. Urteile 8C_65/2010 und 8C_66/2010 vom 6. September 2010 E. 3.1; 9C_270/2008 vom 12. August 2008 E. 3.3). Schliesslich kann aus der von einer Assistentin auf der "LUFU"-Anmeldung angebrachten Bemerkung, wonach der Versicherte "schon im Fernsehen" gewesen sei, nicht auf eine Voreingenommenheit der Gutachter geschlossen werden: Dr. med. R._ legte bereits mit E-Mail vom 29. Juni 2009 einleuchtend dar, dass die Experten nicht bei der "LUFU" arbeiten, sondern die Ergebnisse der dort durchgeführten apparativen Untersuchungen interpretieren; mithin hätte er von dieser Äusserung gar keine Kenntnis erlangt, hätte ihn der Beschwerdeführer diesbezüglich nicht zur Stellungnahme aufgefordert. Dieser beschränkt sich im Übrigen - und insbesondere auch soweit er eine Verletzung des Willkürverbots (<ref-law>; <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 3.1 S. 153 mit Hinweisen) rügt - lediglich darauf, in der Form appellatorischer Tatsachenkritik die medizinischen Unterlagen abweichend zu würdigen und daraus andere Schlüsse als die Vorinstanz zu ziehen, was nicht genügt (Urteile 9C_688/2007 vom 22. Januar 2008 E. 2.3 und 4A_28/2007 vom 30. Mai 2007 E. 1.3 [in <ref-ruling> nicht publiziert]). Es verletzt nach dem Gesagten nicht Bundesrecht, dass die Vorinstanz dem Gutachten der Akademie X._ Beweiskraft beigemessen, für die Feststellung der Arbeitsfähigkeit darauf abgestellt und in antizipierender Beweiswürdigung (<ref-ruling> E. 3 S. 157; <ref-ruling> E. 4b S. 94) auf weitere Abklärungen verzichtet hat.
3.4 An diesem Ergebnis ändern auch die neu eingereichten und daher ohnehin unzulässigen (<ref-law>) Unterlagen (insbesondere physio- und ergotherapeutische Behandlungsausweise; Schreiben des Versicherten an die IV-Stelle vom 25. Januar 2011 samt Beilagen) nichts. Davon abgesehen betrifft einzig der physiotherapeutische Behandlungsausweis - welcher die Beweiskraft des Gutachtens der Akademie X._ nicht beeinträchtigt - teilweise den gerichtlich massgebenden Prüfungszeitraum bis zum Erlass der Verfügung vom 24. November 2009 (<ref-ruling> E. 2.1.2.1 S. 412; <ref-ruling> E. 1a S. 248). Eine seitherige Verschlechterung des Gesundheitszustandes und der Arbeitsfähigkeit ist auf dem Weg einer Neuanmeldung (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV [SR 831.201]) geltend zu machen (E. 4.3).
4. 4.1 Der Einkommensvergleich nach <ref-law> hat in der Regel in der Weise zu erfolgen, dass die beiden hypothetischen Erwerbseinkommen ziffernmässig möglichst genau ermittelt und einander gegenübergestellt werden, worauf sich aus der Einkommensdifferenz der Invaliditätsgrad bestimmen lässt. Sind Validen- und Invalideneinkommen ausgehend vom selben Tabellenlohn zu berechnen, entspricht der Invaliditätsgrad dem Grad der Arbeitsunfähigkeit unter Berücksichtigung des Abzuges vom Tabellenlohn gemäss <ref-ruling> (SVR 2008 IV Nr. 2, I 697/05, E. 5.4; Urteil des Eidg. Versicherungsgerichts I 1/03 vom 15. April 2003 E. 5.2). Beim Invalideneinkommen ist somit in Form eines entsprechenden Abzugs der Tatsache Rechnung zu tragen, dass persönliche und berufliche Merkmale, wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben können und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichen Erfolg verwerten kann (<ref-ruling> E. 5b/aa in fine S. 80). Dabei ist der Abzug unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen. Er darf 25 % nicht übersteigen (<ref-ruling> E. 4.2.3 S. 481; Urteile 9C_100/2010 vom 23. März 2010 E. 2.3.2.2; 9C_708/2009 vom 19. November 2009 E. 2.1.1).
4.2 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (<ref-ruling> E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Fragen, ob Tabellenlöhne anwendbar sind und welches die massgebliche Tabelle ist (<ref-ruling> E. 3.3 S. 399; Urteil 8C_255/2007 vom 12. Juni 2008 E. 1.2, nicht publ. in: <ref-ruling>) sowie die Wahl der zutreffenden Stufe (Anforderungsniveau 1 und 2, 3 oder 4; Urteile I 860/06 vom 7. November 2007 E. 3.2 und I 732/06 vom 2. Mai 2007 E. 4.2.2) und des zu berücksichtigenden Wirtschaftszweigs oder Totalwertes (Urteil 9C_678/2008 vom 29. Januar 2009 E. 3.2 mit Hinweis). Schliesslich ist die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vorzunehmen sei, eine Rechtsfrage, während jene nach der Höhe des Abzuges eine typische Ermessensfrage darstellt, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 in fine S. 399; Urteil 9C_973/2008 vom 19. Januar 2009 E. 3).
4.2 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (<ref-ruling> E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Fragen, ob Tabellenlöhne anwendbar sind und welches die massgebliche Tabelle ist (<ref-ruling> E. 3.3 S. 399; Urteil 8C_255/2007 vom 12. Juni 2008 E. 1.2, nicht publ. in: <ref-ruling>) sowie die Wahl der zutreffenden Stufe (Anforderungsniveau 1 und 2, 3 oder 4; Urteile I 860/06 vom 7. November 2007 E. 3.2 und I 732/06 vom 2. Mai 2007 E. 4.2.2) und des zu berücksichtigenden Wirtschaftszweigs oder Totalwertes (Urteil 9C_678/2008 vom 29. Januar 2009 E. 3.2 mit Hinweis). Schliesslich ist die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vorzunehmen sei, eine Rechtsfrage, während jene nach der Höhe des Abzuges eine typische Ermessensfrage darstellt, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 in fine S. 399; Urteil 9C_973/2008 vom 19. Januar 2009 E. 3).
4.3 4.3.1 Die Vorinstanz hat festgestellt, was der Beschwerdeführer als Gesunder verdienen würde, lasse sich anhand der drei zuletzt (vor resp. nach dem Unfall vom Januar 2001) ausgeübten Tätigkeiten nicht festlegen. Dass diese Feststellung offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen soll, ist nicht ersichtlich und wird auch nicht substanziiert geltend gemacht (E. 1). Das kantonale Gericht hat folglich zu Recht für die Festsetzung des Valideneinkommens die Tabellenlöhne der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) herangezogen (vgl. <ref-ruling> E. 3.1 S. 59). Weil die verbindlich festgestellte Arbeitsfähigkeit (E. 2 und 3.3) keine gesundheitlich bedingte Anpassung in Bezug auf das Anforderungsniveau oder den Wirtschaftszweig erfordert, kann es nicht als Verletzung von Bundesrecht betrachtet werden, wenn die Vorinstanz für die Ermittlung des Invalideneinkommens den gleichen Tabellenlohn für massgeblich gehalten und einen Prozentvergleich vorgenommen hat (E. 4.1). Auf die weitere Kritik des Beschwerdeführers an der Invaliditätsbemessung durch die IV-Stelle ist nicht einzugehen, da nicht deren Verfügung, sondern der kantonale Entscheid Anfechtungsobjekt des bundesgerichtlichen Verfahrens bildet (vgl. <ref-law>).
4.3.2 Beim Abzug vom Tabellenlohn (<ref-ruling> E. 4.2.3 S. 481) hat die Vorinstanz die leidensbedingte Einschränkung (Zumutbarkeit der bisherigen, körperlich angepassten Tätigkeit), das Alter (Jahrgang 1970), die Nationalität (Schweiz) und den Beschäftigungsgrad (70 %) berücksichtigt. Auch unter Einbezug der Tatsache, dass der Versicherte bei Verfügungserlass seit rund sieben Jahren nicht erwerbstätig war, kann hinsichtlich der Höhe des Abzugs von 10 % nicht von rechtsfehlerhafter Ermessensausübung gesprochen werden. Nach dem Gesagten hat die Vorinstanz bei einem resultierenden Invaliditätsgrad von 37 % die Rentenaufhebung zu Recht bestätigt (<ref-law>).
5. 5.1 Im Zusammenhang mit dem im Mai 2008 erlittenen Pneumothorax macht der Beschwerdeführer - wie bereits im Verwaltungs- und im kantonalen Beschwerdeverfahren - eine gesundheitliche Verschlechterung geltend und beantragt eine ganze Invalidenrente. Diesbezüglich steht fest, dass vom 20. Mai bis 12. Juli 2008 in kurzen Abständen insgesamt vier, jeweils mit vollständiger Arbeitsunfähigkeit verbundene Hospitalisierungen notwendig waren und vom 1. bis 5. September 2008 eine weitere stationäre Behandlung erfolgte (Berichte des Spitals Y._ vom 23. Mai, 2. und 12. Juni, 1. Juli und 5. September 2008; Bericht der Klinik Z._ vom 5. August 2008). Wie es sich mit der Arbeitsfähigkeit im Anschluss an die stationären Aufenthalte verhielt, lässt sich aufgrund der Akten nicht feststellen; dem Bericht des Spitals Y._ vom 1. Juli 2008 ist immerhin zu entnehmen, dass mit einer "Abheilungszeit von mehreren Wochen" zu rechnen sei.
5.2 Die Vorinstanz hat sich zu den Voraussetzungen für einen vorübergehend höheren Invaliditätsgrad im Anschluss an den Krankheitsfall vom 19. Mai 2008 nicht geäussert. Darin liegt eine unvollständige Sachverhaltsfeststellung (E. 1), weil Gegenstand der im vorinstanzlichen Verfahren angefochtenen Verfügung integral der Rentenanspruch im gesamten von der Wiedererwägungsverfügung erfassten Anspruchszeitraum bildete (vgl. <ref-ruling> E. 1a S. 414); daran ändert nichts, dass die Aufhebung der halben Rente mangels Meldepflichtverletzung ex nunc et pro futuro erfolgte (vgl. <ref-law>). Über die Frage, ob zuvor ein befristeter Anspruch auf eine höhere als die bisherige halbe Rente bestand, wird die Verwaltung nach entsprechender Abklärung zu befinden haben.
6. Die Gerichtskosten sind entsprechend dem Ausmass des Obsiegens und Unterliegens aufzuteilen (<ref-law>). Der teilweise obsiegende Beschwerdeführer hat Anspruch auf eine entsprechend reduzierte Parteientschädigung (Art. 68 Abs. 1 und 2 BGG). Das Ergebnis ist ohne Einfluss auf die vorinstanzliche Kostenverlegung, weshalb sich eine diesbezügliche Rückweisung der Sache an die Vorinstanz erübrigt.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Aargau vom 5. Oktober 2010 wird betreffend den Rentenanspruch vom 1. Mai 2008 bis zum Erlass der Verfügung der IV-Stelle des Kantons Aargau vom 24. November 2009 aufgehoben. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Sache wird an die IV-Stelle des Kantons Aargau zurückgewiesen, damit sie im Sinne der Erwägung 5.2 verfahre.
3. Von den Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer Fr. 400.- und der Beschwerdegegnerin Fr. 100.- auferlegt.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 500.- zu entschädigen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse EXFOUR, Basel, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann