Sachverhalt:
A. S._ (geboren 1976) absolvierte von 1992 bis 1996 eine Lehre als Audio-Video-Elektroniker bei der Firma X._ und arbeitete ab Oktober 1997 an gleicher Stelle als Tonoperateur. Unter Hinweis auf im Sommer 1994 erlittene Zeckenbisse meldete der Arbeitgeber den Versicherten am 16. Januar 1998 beim obligatorischen Unfallversicherer an. Am 23. Februar 1999 erfolgte die Anmeldung zum Leistungsbezug bei der Invalidenversicherung. Nach Abklärungen in beruflich-erwerblicher, medizinischer und beruflich-eingliederungsmässiger Hinsicht sprach die IV-Stelle des Kantons Zürich S._ mit Verfügung vom 4. Juli 2001 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente ab Oktober 1998 zu. Im Rahmen eines 2003 durchgeführten Revisionsverfahrens wurde die bisherige Invalidenrente unverändert belassen.
Anlässlich eines im Jahre 2007 eingeleiteten Revisionsverfahrens holte die IV-Stelle einen Bericht des Hausarztes Dr. med. Z._, Innere Medizin FMH, vom 23. April 2007 ein. Ferner liess sie den Versicherten bei der A._ polydisziplinär begutachten (Gutachten vom 30. September 2008). Am 27. April 2009 trat der Versicherte eine dreimonatige Abklärung im P._ an, wo er sich bis zum vorzeitigen Austritt am 26. Juni 2009 aufhielt (Bericht P._ vom 29. Juni 2009). Nachdem er das Angebot eines Belastbarkeitstrainings nicht hatte annehmen wollen, schloss die IV-Stelle die beruflichen Massnahmen mit Mitteilung vom 26. Oktober 2009 ab. Nach Einholung eines Verlaufsberichts des Hausarztes Dr. med. Z._ vom 1. Februar 2010 und nach durchgeführtem Vorbescheidverfahren setzte die IV-Stelle die ganze Rente mit Verfügung vom 5. Juli 2010 auf eine halbe Rente herab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 10. August 2011 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Sache an die IV-Stelle zur weiteren Abklärung zurückzuweisen. Eventuell sei die Sache an das kantonale Gericht zur Einholung eines Gerichtsgutachtens zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2. Die Vorinstanz hat die Grundlagen über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law>; <ref-law>), den Rentenanspruch (Art. 28a Abs. 1 resp. 28 Abs. 2 IVG), die Rentenrevision (<ref-law>; Art. 88a Abs. 2, Art. 88bis Abs. 2 lit. a IVV; <ref-ruling> E. 3. S. 132), den Untersuchungsgrundsatz und den Beweiswert ärztlicher Berichte resp. Gutachten (<ref-ruling> E. 9.5 S. 125 f.) richtig dargelegt. Darauf wird verwiesen. Da der Versicherte die Rente bei Inkrafttreten des ATSG am 1. Januar 2003 bereits bezog, sind an sich die davor geltenden Rechtsnormen massgebend (Art. 82 Abs. 1 erster Satz ATSG; <ref-ruling> E. 1.2.1 S. 446), doch zeitigt dies keine Folgen, da das ATSG bezüglich der Invaliditätsbemessung keine Änderungen brachte (<ref-ruling>, 130 V 343 und 393; Urteil 8C_668/2010 vom 15. März 2011 E. 2).
3. 3.1 Für die Rentenherabsetzung stellte das kantonale Gericht entscheidend auf das Gutachten des A._ vom 30. September 2008 ab. Es kam zum Schluss, das Gutachten basiere auf internistischen, neurologischen und psychiatrischen Untersuchungen und sei in Kenntnis der und in Auseinandersetzung mit den Vorakten abgegeben worden. Die Gutachter hätten detaillierte und nachvollziehbare Befunde und Diagnosen erhoben und sich mit den vom Beschwerdeführer geklagten Beschwerden und seinem Verhalten auseinandergesetzt. Es werde nachvollziehbar dargelegt, dass sich der Gesundheitszustand des Beschwerdeführers verbessert habe. Gestützt auf die Einschätzung der Gutachter des A._ habe die IV-Stelle zu Recht angenommen, der Gesundheitszustand des Beschwerdeführers habe sich wesentlich verbessert und es sei ihm eine Arbeitsfähigkeit von 50 % als Audio-Video-Elektroniker im Reparaturbereich zumutbar. Auf den Schlussbericht des P._ vom 29. Juni 2009 könne nicht abgestellt werden. Da die Ausbildungsleiter die tiefe Grundarbeits- und Leistungsfähigkeit, welche sie auf die gesundheitlichen Beschwerden zurückführen, ansonsten nicht näher begründeten und sich mit der abweichenden Einschätzung der Arbeitsfähigkeit durch die Gutachter des A._ nicht auseinandersetzten, liege die Vermutung nahe, dass sie in ihre Beurteilung die subjektive Krankheitsüberzeugung des Beschwerdeführers miteinbezogen hätten. Im Unterschied zu dem im Urteil 9C_833/2007 vom 4. Juli 2007 beurteilten Sachverhalt könne hier nicht von einem einwandfreien Arbeitsverhalten/-einsatz ausgegangen werden. Dies lasse Zweifel aufkommen an der grundsätzlichen Bereitschaft des Versicherten, den ihm zumutbaren subjektiven Eingliederungswillen für den Wiedereinstieg in den Arbeitsmarkt aufzubringen. Vor diesem Hintergrund habe die IV-Stelle zu Recht auf das Einholen einer medizinischen Stellungnahme verzichtet und ihrem Entscheid die überzeugende Einschätzung der Gutachter des A._ zugrunde gelegt. Um die Schlussfolgerungen des polydisziplinären Gutachtens des A._ umzustossen, müsste die abweichende Einschätzung im Schlussbericht ganz besonders überzeugend begründet und aufgrund spezifischer Umstände nachvollziehbar sein.
3.2 In der Beschwerde wird geltend gemacht, das kantonale Gericht habe <ref-law> verletzt, da ein allenfalls möglicher Wegfall der durch Zeckenbisse erlittenen körperlichen Beeinträchtigung von der Versicherung mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit erbracht werden müsste. Die vom kantonalen Gericht gestützt auf das Gutachten des A._ getroffene Feststellung, wonach sich der Versicherte quasi in seiner Krankheitsrolle gefalle, sei offensichtlich falsch. Der Beschwerdeführer hätte aufgrund der bisherigen Arztberichte zusätzlich neuropsychologisch untersucht werden müssen. Sämtliche bisherigen Berichte attestierten neben der körperlichen eine rasche geistige Erschöpfbarkeit. Entgegen der Auffassung der Vorinstanz komme dem Bericht der IV-Abklärungsstelle P._ voller Beweiswert zu. Das kantonale Gericht habe seinen Ermessensspielraum verletzt, indem es den Bericht P._ als irrelevant gegenüber dem A._ bezeichnet habe. Indem es die offensichtlichen Diskrepanzen zwischen dem überholten Gutachten des A._ und dem jüngeren Abklärungsbericht nicht näher aufgeklärt habe, habe sie die Verfahrensrechte des Versicherten verletzt.
3.3 Auszugehen ist davon, dass Ergebnissen leistungsorientierter beruflicher Abklärungen nicht jegliche Aussagekraft für die Beurteilung der Restarbeitsfähigkeit abgesprochen werden darf. Steht eine medizinische Einschätzung der Leistungsfähigkeit in offensichtlicher und erheblicher Diskrepanz zu einer Leistung, wie sie während einer ausführlichen beruflichen Abklärung bei einwandfreiem Arbeitsverhalten/-einsatz des Versicherten effektiv realisiert und gemäss Einschätzung der Berufsfachleute objektiv realisierbar ist, vermag dies ernsthafte Zweifel an den ärztlichen Annahmen zu begründen und ist das Einholen einer klärenden medizinischen Stellungnahme grundsätzlich unabdingbar (Urteil 9C_833/2007 vom 4. Juli 2008 E. 3.3.2). Eine solche Konstellation ist im vorliegenden Fall gegeben. Zwar wird im Gutachten des A._ vom 30. September 2008 in neurologischer, innermedizinischer und psychiatrischer Hinsicht übereinstimmend eine Verbesserung des Gesundheitszustandes festgestellt und eine Anfangsarbeitsfähigkeit von 50 % attestiert. Erst ein gutes Jahr später hat sich der Beschwerdeführer, bei dem - wie die medizinischen Gutachter kritisch vermerkten - bei der Rentenzusprache keinerlei Eingliederungsmassnahmen durchgeführt worden waren, in die berufliche Abklärungsstelle P._ begeben. Dort wird die Arbeitsfähigkeit in deutlicher Abweichung zur medizinischen Beurteilung sehr viel tiefer geschätzt mit der Feststellung, dass der Beschwerdeführer in seinem Berufsfeld als qualifizierter Elektroniker selbstständig und zuverlässig arbeite. Einsatz und Interesse seien unter Berücksichtigung der gesundheitlichen Situation genügend, reichten aber für den ersten Arbeitsmarkt nicht aus. Invaliditätsbedingt seien ebenso Präsenz, Belastbarkeit und Leistungsfähigkeit deutlich eingeschränkt. Als Betroffener habe sich der Beschwerdeführer im Rahmen seiner gesundheitlichen Möglichkeiten bemüht. Die Zusammenarbeit sei kooperativ gewesen, aber doch deutlich erschwert durch das Leiden des Versicherten gewesen. Das kantonale Gericht erwog zu diesem erheblichen Unterschied in der Einschätzung der Restarbeitsfähigkeit, dieser sei im Wesentlichen durch die Krankheitsüberzeugung des Versicherten begründet, was auch die Einschätzung im Gutachten des A._ sei. Zwar befasst sich das kantonale Gericht mit der Diskrepanz der beiden Einschätzungen. Gestützt auf die Angabe im Schlussbericht P._ betreffend einen eher mässigen Einsatz des Beschwerdeführers bei den Arbeitsversuchen und seiner Zurückhaltung in Bezug auf Integrationsmassnahmen (Belastbarkeitstraining) gelangte die Vorinstanz zur Auffassung, es seien Zweifel an der subjektiven Eingliederungsfähigkeit des Beschwerdeführers angebracht. Allein diese - diskreten - Hinweise vermögen die deutlich unterschiedlichen Einschätzungen der Arbeitsfähigkeit des Beschwerdeführers nicht zu klären. Medizinisches Gutachten und Schlussbericht P._ liegen zeitlich erheblich auseinander, was zusätzlicher Grund für Rückfragen an die medizinischen Gutachter gewesen wäre. Zwar kommt rechtsprechungsgemäss den medizinischen gegenüber den Abklärungen der Fachleute der Berufsberatung/beruflichen Eingliederung ein grösseres Gewicht zu. Allein eine derart deutlich unterschiedliche Einschätzung der restlichen Arbeitsfähigkeit bedarf einer medizinischen Klärung, allenfalls durch Rückfragen an die Begutachtungsstelle unter Beilage des Berichts der Abklärungsstelle P._ (Urteil 9C_833/2007 E. 3.3.2). Nach dem Gesagten ist der rechtserhebliche Sachverhalt durch Einholung einer ergänzenden ärztlichen Stellungnahme zu vervollständigen, welche sich zur Diskrepanz zwischen dem Gutachten des A._ und dem Abklärungsbericht P._ äussert. Die Sache ist daher an die Verwaltung zu erneuter Abklärung zurückzuweisen.
4. Die Rückweisung der Sache an die Verwaltung zu erneuter Abklärung gilt als vollständiges Obsiegen des Versicherten nach Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG (<ref-ruling> E. 6.1 S. 235).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 10. August 2011 und die Verwaltungsverfügung vom 5. Juli 2010 aufgehoben werden und die Sache an die IV-Stelle des Kantons Zürich zurückgewiesen wird, damit diese nach erfolgter Abklärung im Sinne der Erwägungen über den Rentenanspruch neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die IV-Stelle des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer