Sachverhalt:
A. G._, geboren 1954, war am 21. Juli 1998 in einen Verkehrsunfall verwickelt, als er als Motorradfahrer von einem Personenwagen linksseitig angefahren wurde. Die Klinik X._, wo er sich vom 5. Oktober bis 2. November 1999 stationär aufhielt, diagnostizierte den Status nach Verkehrsunfall mit Contusio capitis, HWS-Distorsion und leichter traumatischer Hirnverletzung, sowie konsekutiv mit einem persistierenden cervico-cephalen Symptomkomplex, posttraumatischen migräniformen Kopfschmerzen, einem panvertebralen Schmerzsyndrom, neuropsychologischen Funktionsstörungen, vegetativer Dysregulation sowie einer Anpassungsstörung (ICD-10: 43.21) mit depressiv-dysphorischen Anteilen (Bericht vom 30 November 1999). Am 10. März 2000 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau sprach ihm am 14. Januar 2002 ab 1. Juli 1999 eine ganze Invalidenrente zu.
Am 16. September 2002 wurde der IV-Stelle zur Kenntnis gebracht, G._ habe gemäss einem Zeitungsbericht ein Tennisturnier in seiner Kategorie gewonnen. Die IV-Stelle leitete ein Revisionsverfahren ein und holte ein interdisziplinäres Gutachten beim Zentrum Y._ ein. Gestützt auf das Gutachten des Zentrums Y._ vom 6. April 2004 reduzierte die IV-Stelle den Anspruch ab 1. August 2004 auf eine halbe Invalidenrente (Verfügung vom 21. Juni 2004, bestätigt mit Einspracheentscheid vom 20. April 2006). Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. Dezember 2006 teilweise gut und wies die Sache zu erneuter Abklärung an die IV-Stelle zurück. Mit Verfügung vom 21. November 2008 reduzierte die IV-Stelle die ganze Invalidenrente gestützt auf das interdisziplinäre MEDAS-Gutachten vom 19. Mai 2008 per 1. August 2004 auf eine halbe Rente und hob diese auf Ende 2008 vollumfänglich auf.
B. G._ liess dagegen Beschwerde erheben. Im Rahmen des kantonalen Verfahrens wurde ihm eine reformatio in peius angedroht. Mit Entscheid vom 8. April 2010 wies das Versicherungsgericht des Kantons Aargau seine Beschwerde ab.
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm auch nach dem 1. August 2004 weiterhin eine ganze Invalidenrente auszurichten. Als Beleg reichte er einen Bericht der Klinik A._ vom 18. Mai 2010 ein.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
2. 2.1 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_652/2010 vom 22. September 2010 E. 3.1 mit Hinweisen).
2.2 Der letztinstanzlich erstmals aufgelegte Bericht der Klinik A._ vom 18. Mai 2010 stellt ein unzulässiges Novum im Sinne von <ref-law> dar, da er sich zu einer Frage äussert (neuropsychologische Beurteilung, v.a. im Rahmen des MEDAS-Gutachtens), die bereits vor dem kantonalen Gericht streitig war, so dass nicht erst durch den vorinstanzlichen Entscheid Anlass zu dessen Einholung bestand. Es wird somit nicht weiter auf diesen Bericht eingegangen.
3. Der Versicherte bestreitet das Vorliegen der Voraussetzungen für eine Revision nach <ref-law> und macht einen unveränderten Gesundheitszustand geltend.
3.1 Anlass zur Revision einer Invalidenrente im Sinne von <ref-law> gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Die Invalidenrente ist somit nicht nur bei einer wesentlichen Veränderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitsschadens erheblich verändert haben (<ref-ruling> E. 3.5 S. 349; siehe auch <ref-ruling>).
Für das Vorliegen einer erheblichen Sachverhaltsänderung genügt es nicht, dass der bereits bekannte, im Zeitpunkt der ursprünglichen Rentenverfügung gegebene Sachverhalt anders bewertet wird und daraus andere Schlussfolgerungen gezogen werden als im früheren Verwaltungs- und/oder Beschwerdeverfahren. Vielmehr bedarf es neuer Elemente tatsächlicher Natur, die nach der ursprünglichen Rentenverfügung eingetreten und zu dem damals gegebenen Sachverhalt hinzugekommen sind oder diesen verändert haben. Eine voraussetzungslose Neubeurteilung der invaliditätsmässigen Voraussetzungen genügt nach ständiger Rechtsprechung weder für eine revisions- noch eine wiedererwägungsweise Herabsetzung der Invalidenrente. Die revisionsweise Anpassung setzt Tatsachenänderungen im massgeblichen Vergleichszeitraum voraus; eine einfache Neubeurteilung nach besserem Wissen ist nicht zulässig (Urteil 8C_294/2010 vom 30. August 2010 E. 3.1 mit Hinweisen).
Invalidenversicherungsrechtlich ist einzig erheblich, ob und in welchem Mass eine Beeinträchtigung der Erwerbsfähigkeit - und zwar unabhängig von der Diagnose und grundsätzlich unbesehen der Ätiologie - ausgewiesen ist (<ref-ruling> E. 4c S. 298 mit Hinweisen; vgl. auch Urteile I 692/05 vom 10. März 2006 E. 5.3.1 und I 817/05 vom 7. Februar 2007 E. 7.2.2). Insofern liegt nicht bloss eine andere Beurteilung eines identischen Sachverhaltes vor, wenn ärztliche Experten im Verlaufe der Zeit einem nach wie vor bestehenden Leiden keinen Einfluss auf die Arbeitsfähigkeit mehr einräumen, sondern von einer entsprechenden wesentlichen Verbesserung des Gesundheitszustandes ausgehen.
3.2 Massgebend für die Überprüfung der Voraussetzungen von <ref-law> ist hier der Zeitraum vom 14. Januar 2002 (Erlass der ursprünglichen Rentenverfügung) bis zum 21. November 2008 (Erlass der Revisionsverfügung). Die IV-Stelle stützte sich bei ihrer Verfügung vom 14. Januar 2002 aus medizinischer Sicht auf den Bericht der Klinik X._ vom 30. November 1999 und auf verschiedene Berichte des Dr. med. B._, Facharzt für Innere Medizin, und die neuropsychologische Abklärung durch Frau Dr. phil. C._ vom 23. August 1999. Für die Verfügung vom 21. November 2008 bildeten das Gutachten des Zentrums Y._ vom 6. April 2004 und das MEDAS-Gutachten vom 19. Mai 2008 Grundlage der Rentenfestsetzung.
3.3 Das kantonale Gericht hat in grundsätzlich verbindlicher Weise (<ref-law>) festgestellt, dass seit der Rentenzusprechung vom 14. Januar 2002 eine wesentliche Veränderung in den tatsächlichen Verhältnissen eingetreten ist. Der Versicherte rügt diesbezüglich eine offensichtlich unrichtige Sachverhaltsfeststellung im Sinne von <ref-law>, insbesondere in neuropsychologischer Hinsicht.
3.3.1 Im neuropsychologischen Teilgutachten der MEDAS hielt der Experte widersprüchliche Testergebnisse fest. Weiter konstatierte er eine Verbesserung gegenüber den Ergebnissen gemäss dem neuropsychologischen Bericht der Frau Dr. phil. C._ vom 23. August 1999. Zwar bestehe nach wie vor eine leichte Beeinträchtigung, doch falle deren Ausmass geringer aus als im Jahr 1999. Insgesamt attestiert der Experte eine volle Arbeitsfähigkeit in der angestammten Tätigkeit, wobei eine Leistungsverminderung von 20 % bestehe, welche auf eine vermehrte Selbstwahrnehmung und eine vermehrte Reizoffenheit zurückzuführen sei. Anders als Frau Dr. phil. C._, die insgesamt auch von einer leichten Störung ausging, in einzelnen, insbesondere die Tätigkeit des Versicherten betreffenden Bereichen aber deutliche Beeinträchtigungen konstatierte, brachten die Tests 2008 gut durchschnittliche Resultate. Der MEDAS-Experte ging demnach von zwischenzeitlich weniger einschneidenden Auswirkungen der neuropsychologischen Beeinträchtigungen und einer dementsprechend vollen Arbeitsfähigkeit bei reduzierter Leistungsfähigkeit aus; er beurteilt somit nicht bloss einen im Wesentlichen gleichen Sachverhalt anders.
3.3.2 Wie der Versicherte selbst festhält, handelt es sich bei der Feststellung im MEDAS-Gutachten, wonach sich eine Verbesserung im neurologischen Bereich ergeben habe, um einen Verschrieb. Diese Verbesserung bezieht sich - wie sich aus den beigelegten Teilgutachten sowie dem MEDAS-Gutachten selbst ergibt - offensichtlich auf den neuropsychologischen Bereich. Der Versicherte kann daraus aber nichts zu seinen Gunsten ableiten.
3.3.3 Was den Vorwurf des Versicherten bezüglich der mangelnden fachlichen Qualifikation des neuropsychologischen MEDAS-Experten betrifft, kann ihm nicht gefolgt werden. Gemäss dem eidgenössischen Medizinalberuferegister verfügt dieser Gutachter über ausländische Weiterbildungsausweise in Neurologie sowie in Psychiatrie und Psychotherapie, die einem schweizerischen Facharztausweis gleichgestellt sind.
3.3.4 Soweit der Versicherte den Nichtbeizug eines Berichts seines behandelnden Arztes Dr. med. D._ rügt, kann ihm ebenfalls nicht gefolgt werden. Aus den Akten der IV-Stelle ergibt sich, dass Dr. med. D._ der Aufforderung vom 8. Juni 2007 sowie nachfolgenden Mahnungen nicht nachgekommen ist. Erst im Rahmen der vorinstanzlich eingereichten Stellungnahme nach angedrohter reformatio in peius wurde am 11. Januar 2010 eine Kopie seines Berichts vom 29. Oktober 2007 eingereicht, obwohl dem Versicherten resp. seinem Rechtsvertreter bereits nach Zustellung der medizinischen Akten vom 7. Juli 2008 bewusst sein musste, dass Dr. med. D._ diesen Bericht nur dem Rechtsvertreter, nicht aber der IV-Stelle zugestellt hatte. Es fehlt auch an jeglichem Hinweis, dass Dr. med. D._ seinen Bericht früher (direkt oder indirekt) der IV-Stelle hätte zukommen lassen. Letztlich kann die Einschätzung des Dr. med. D._ jedoch nicht entscheidend sein, da er gemäss dem eidgenössischen Medizinalberuferegister nicht über einen entsprechenden (eidgenössischen oder ausländischen) Weiterbildungstitel verfügt, um sich rechtsgenüglich über das Vorliegen einer Somatisierungsstörung äussern zu können (<ref-ruling> E. 2.2.2 S. 353). Insofern konnte er keine weitergehenden Angaben als der Hausarzt, Dr. med. E._, Facharzt für Allgemeine Medizin, in dessen Bericht vom 16. Juli 2007 machen. Anzufügen bleibt, dass der Verweis auf <ref-ruling> E. 4.6 S. 471 unbehelflich ist, da es hier nicht um die Abwägung zwischen Berichten behandelnder Ärzte einerseits und jenen versicherungsinterner Ärzte andererseits geht, sondern bereits zwei unabhängige interdisziplinäre Gutachten vorliegen.
3.3.5 Weiter rügt der Versicherte eine Verletzung von <ref-law>, da die vorgängige Nennung der begutachtenden Ärzte lediglich ihm, nicht aber seinem Rechtsvertreter zugestellt und ihm so die Möglichkeit genommen worden sei, allfällige Einwände gegen einzelne der Experten vorzubringen, was seinen Anspruch auf rechtliches Gehör verletze. Angesichts des Grundsatzes, dass Ausstandsgründe sofort geltend zu machen sind und er selbst vor Bundesgericht kein entsprechendes Begehren vorbringt, kann letztlich offen bleiben, ob dieser Umstand eine Verletzung seines rechtlichen Gehörs darstellt.
3.3.6 Schliesslich stösst auch der Vorwurf, dem MEDAS-Gutachter fehle es an der fachlichen Qualifikation zur Beurteilung einer leichten traumatischen Hirnverletzung (MTBI), ins Leere. Die Beurteilung von leichten traumatischen Hirnverletzungen erfolgt (im Bereich der obligatorischen Unfallversicherung) analog zu jenen des Schleudertraumas der HWS ohne objektivierbare Funktionsausfälle (<ref-ruling> E. 4b S. 382); das Bundesgericht hat überdies in einem Grundsatzurteil festgehalten, dass im Rahmen der invalidenversicherungsrechtlichen Beurteilung eines Schleudertraumas, welches häufig in eine Schmerzstörung mündet, dieselben Grundsätze wie beim Vorliegen einer somatoformen Schmerzstörung gelten (<ref-ruling> E. 3.2 S. 281). Für die im Rahmen des invalidenversicherungsrechtlichen Verfahrens zu beantwortenden Fragen zur Schmerzproblematik kann somit dem psychiatrischen und neuropsychologischen Experten der MEDAS jedenfalls die nötige fachliche Kompetenz nicht abgesprochen werden.
3.4 Zusammengefasst ist der Vorinstanz keine offensichtlich unrichtige Sachverhaltsfeststellung im Sinne von <ref-law> vorzuwerfen. Etwas anderes ergibt sich auch nicht unter Berücksichtigung der Berichte des Dr. med. F._, Facharzt für Neurologie, vom 6. Dezember 2000, des Dr. phil. H._, Neuropsychologe, Klinik Z._, vom 6. Dezember 2000 und des Dr. med. I._, Facharzt für Psychiatrie und Psychotherapie, Klinik Z._, vom 28. November 2000.
4. Bezüglich der Invaliditätsbemessung macht der Versicherte geltend, gemäss dem MEDAS-Gutachten sei auf eine betriebsübliche Wochenarbeitszeit von 41.6 Stunden resp. auf eine Arbeitszeit von 8.5 Stunden pro Tag abzustellen. Der Abklärungsbericht vom 26. September 2000 halte aber eine Arbeitszeit von 48.5 Wochenstunden fest. Somit könne er die notwendige Arbeitszeit gar nicht erbringen.
Der Versicherte ist als Inhaber einer juristischen Person faktisch selbstständig tätig und kann somit seine Arbeitszeit nicht nur an fünf, sondern auch auf sechs Wochentage verteilt erbringen. Im Abklärungsbericht vom 26. September 2000 wurde denn auch festgehalten, der Versicherte arbeite gelegentlich am Sonntag. Es ist daher nicht erkennbar, inwiefern die Ermittlung des Invaliditätsgrades durch die Vorinstanz unzutreffend sein soll. Da sich die Einschränkung der Arbeitsfähigkeit auf die angestammte Tätigkeit bezieht, wäre auch eine Ermittlung der Invalidität im Rahmen eines Prozentvergleichs denkbar (<ref-ruling> E. 3a S. 312). Selbst bei Anwendung dieser Bemessungsmethode würde angesichts der 30 %-igen Einschränkung der Leistungsfähigkeit keine rentenbegründende Invalidität resultieren.
5. Weiter beanstandet der Versicherte die Herabsetzung der ganzen auf eine halbe Invalidenrente rückwirkend auf den Revisionszeitpunkt vom 1. August 2004. Er begründet dies damit, dass im MEDAS-Gutachten vom 19. Mai 2008 keine retrospektive Einschätzung der Arbeitsfähigkeit erfolgt sei.
Das MEDAS-Gutachten äussert sich nicht explizit, seit wann eine eingeschränkte Leistungsfähigkeit von 70 % bestehe. Selbst wenn das Gutachten des Zentrums Y._ vom 6. April 2004 gewisse Mängel im formellen Bereich aufweist, heisst dies nicht, dass es nicht zumindest als Beleg für die ab August 2004 angenommene Verbesserung der Arbeitsfähigkeit herangezogen werden könnte. Immerhin wurde der Versicherte bereits damals polydisziplinär untersucht und es wurde eine entsprechende Leistungsfähigkeit festgestellt. Für die Beurteilung des Zeitraumes von August 2004 bis zur Erstattung des MEDAS-Gutachtens bietet das Zentrum Gutachten des Zentrums Y._ eine hinreichende Grundlage zur Bestimmung der Arbeitsfähigkeit. Dies wird auch durch einen entsprechenden Verweis im MEDAS-Gutachten bestätigt, gemäss welchem die Einschätzung der Arbeitsfähigkeit durch die Gutachter des Zentrums Y._ als für den Versicherten sehr wohlwollend bezeichnet wurde. Damit haben sich die Experten der MEDAS der Beurteilung der zumutbaren Arbeitsfähigkeit im Gutachten des Zentrums Y._ indirekt angeschlossen. Vorinstanz und Verwaltung haben demnach zu Recht die Herabsetzung der Invalidenrente auf eine halbe Rente per 1. August 2004 bestätigt.
6. Nach <ref-law> erfolgt die Herabsetzung oder Aufhebung einer Invalidenrente frühestens vom ersten Tag des zweiten der Zustellung der Verfügung folgenden Monats an. Das Bundesgericht hat mit Urteil 8C_451/2010 vom 11. November 2010 an der Rechtsprechung zu <ref-law> festgehalten. Somit ist nicht zu beanstanden, dass die IV-Stelle mit Verfügung vom 21. November 2008 ihre erstmalige Herabsetzung auf eine halbe Invalidenrente per 1. August 2004 (Verfügung vom 21. Juni 2004) bestätigt und die Aufhebung der Invalidenrente auf Ende 2008 festgesetzt hat.
7. Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. November 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold