Sachverhalt:
A. Der 1953 geborene B._ war zuletzt bis am 30. Juni 2007 als Elektromonteur bei der X._ GmbH angestellt. Ab dem 27. August 2007 wurde ihm von seinem Hausarzt Dr. med. H._, Facharzt FMH für Allgemeinmedizin, infolge eines Karpaltunnelsyndroms an beiden Händen, eines lumbovertebralen Syndroms und Knieschmerzen beidseits eine 100%ige Arbeitsunfähigkeit in der bisherigen Tätigkeit attestiert. Am 14. Mai 2008 meldete sich B._ bei der Invalidenversicherung wegen gesundheitlichen Problemen an beiden Händen zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte Arztberichte, erwerbsbezogene Unterlagen sowie die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) ein und liess den Versicherten im Regionalen Ärztlichen Dienst (RAD) allgemeinmedizinisch untersuchen. Mit Verfügung vom 10. Mai 2010 lehnte sie den Anspruch auf eine Invalidenrente ab.
B. Gegen diese Verfügung liess B._ Beschwerde erheben und nachträglich mehrere medizinische Unterlagen einreichen. Mit Entscheid vom 8. August 2011 hat das Sozialversicherungsgericht des Kantons Zürich die Beschwerde abgewiesen.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Kosten- und Entschädigungsfolgen sei ihm ab August 2008 mindestens eine halbe Rente zuzusprechen, eventuell sei die Sache im Sinne der Erwägungen an die Beschwerdegegnerin zurückzuweisen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Das kantonale Gericht hat in Bezug auf die gesundheitlich bedingten Einschränkungen des Beschwerdeführers hauptsächlich auf den vom RAD-Arzt Dr. med. T._ am 7. Mai 2009 erstellten medizinischen Untersuchungsbericht abgestellt. Als Diagnose mit Einfluss auf die Arbeitsfähigkeit wurde darin ein an beiden Händen vorhandenes Karpaltunnelsyndrom angeführt. Die leichte Schädigung des Medianus-Nervs beidseits führe zu einer Funktionseinschränkung für mittelschwere Lastenhandhabung sowie für feinmotorische Arbeiten mit der rechten Hand. Die linke Hand könne normal gebraucht werden. Der unspezifische Rückenschmerz im Kreuz sei kein Krankheitsgeschehen, die degenerativen Knieveränderungen seien für leichte Arbeiten nicht berufsrelevant. Die Hände und Knie seien für leichte Arbeiten belastbar, wobei sich bei einer leidensangepassten Tätigkeit kein erhöhter Erholungsbedarf ergebe. Gemäss Dr. med. T._ bestehe seit dem 27. August 2007 in der bisherigen Tätigkeit eine 100%ige, in leidensangepassten Tätigkeiten eine 0%ige Arbeitsunfähigkeit. Die Vorinstanz hat dabei befunden, Dr. med. T._ stütze seine Aussagen auf eine eigene, allseitige Untersuchung und setze sich mit den vom Beschwerdeführer geklagten Beschwerden auseinander. Als RAD-Arzt habe er genügende Kenntnis der Vorakten gehabt, seine Aussagen seien einleuchtend und nachvollziehbar. Demgemäss erweise sich der medizinische Sachverhalt als genügend abgeklärt und könne für die Entscheidfindung auf den Untersuchungsbericht vom 7. Mai 2009 abgestellt werden.
3. 3.1 Streitig und zu prüfen ist, ob die vorinstanzliche Beweiswürdigung bezüglich der Arbeitsunfähigkeit, die eine Tatfrage bildet, bei der gegebenen medizinischen Aktenlage dem in E. 1 Gesagten standhält. Gegen die Schlussfolgerungen der Vorinstanz bringt der Beschwerdeführer hauptsächlich vor, auf die im kantonalen Beschwerdeverfahren eingereichten Akten (Berichte von Prof. Dr. med. R._ und Dr. med. K._, von Dr. med. G._ und Dr. med. U._, von Dr. med. S._ und von Dr. med. E._) habe der RAD-Arzt Dr. med. T._ nicht abstellen können. Der eigentliche Grund für die Entlassung bei der X._ GmbH im Jahre 2004 sei die Arthrose in den beiden Knien gewesen. Die Einschränkung der beiden Handgelenke führe zu schmerzhaftem Anschwellen beider Hände und es sei unerfindlich, warum nach Dr. med. T._ die linke Hand fast normal einsetzbar sein sollte. Es treffe zu, dass in den von ihm eingereichten Berichten zur Arbeitsfähigkeit in einem Verweisungsberuf nicht direkt Stellung genommen werde, was jedoch nicht bedeute, dass keine relevanten Einschränkungen vorliegen sollen. Somit bestehe ein grosser Mangel in der medizinischen Sachverhaltsfeststellung und habe die Vorinstanz die Abklärungspflicht verletzt.
3.2 Mit diesen Rügen wird im vorliegenden Punkt weder eine offensichtlich unrichtige Sachverhaltsfeststellung noch eine Bundesrechtswidrigkeit des kantonalen Entscheides dargetan. Denn nach ständiger Rechtsprechung kommt auch den Berichten und Gutachten versicherungsinterner Ärzte Beweiswert zu, sofern sie als schlüssig erscheinen, nachvollziehbar begründet sowie in sich widerspruchsfrei sind und keine Indizien gegen ihre Zuverlässigkeit bestehen (<ref-ruling> E. 3b/ee S. 353 f.; Urteil 9C_323/2009 vom 14. Juli 2009, in: SVR 2009 IV Nr. 56 E. 4.3.1 [in Bezug auf Stellungnahmen des RAD]). Nachdem dies hier in Übereinstimmung mit dem kantonalen Gericht der Fall ist, treten die Einschätzungen von Privatgutachtern und dem behandelnden Arzt Dr. med. H._ in den Hintergrund. Einerseits vermögen sie keine Zweifel am RAD-Bericht des Dr. med. T._ zu wecken, anderseits ist zwischen Behandlungs- und Begutachtungsauftrag zu unterscheiden (statt vieler: Urteil 9C_726/2011 vom 1. Februar 2012 E. 4.3.1). Insoweit der Beschwerdeführer - im Übrigen in rein appellatorischer, im Rahmen der gesetzlichen Kognition (E. 1) unzulässiger Kritik - geltend macht, im Zeitpunkt der (RAD-)Untersuchung am 8. April 2009 seien die Akten nicht komplett gewesen, so ist darauf hinzuweisen, dass Dr. med. T._ am 5. Mai 2010 unter explizitem Hinweis auf neu eingetroffene Akten nochmals ausführlich Stellung genommen hat. Wie der Beschwerdeführer zudem selber einräumt, wird in den vor Vorinstanz aufgelegten ärztlichen Berichten zur Arbeitsfähigkeit nicht direkt Stellung genommen. Weshalb sie trotzdem geeignet sein sollen, eine Einschränkung nachzuweisen, wird nicht weiter substanziiert. Schliesslich bedurfte es keiner Abklärung, "wie sich die Hände bei Beanspruchung durch eine irgendwie geartete Erwerbstätigkeit verändern". In invalidenversicherungsrechtlicher Hinsicht ist primär die medizinisch-theoretische Arbeitsfähigkeit massgebend (statt vieler: Urteile 9C_541/2008 vom 14. Oktober 2008 E. 4.1 und 9C_833/2007 vom 4. Juli 2008 E. 3.3.2). In leidensangepassten Tätigkeiten ist daher in Bestätigung der Vorinstanz von einer 0%igen Arbeitsunfähigkeit auszugehen.
3.3 Das kantonale Gericht hat festgestellt, der Vergleich des Valideneinkommens von Fr. 64'272.- mit dem hypothetischen Invalideneinkommen von Fr. 50'982.- ergebe einen Invaliditätsgrad von rund 21 %. Die Vorbringen des Beschwerdeführers vermögen keinen Rentenanspruch zu begründen. Dass die Vorinstanz (auch) in Bezug auf das Valideneinkommen von Tabellenlöhnen ausgegangen ist, erweist sich angesichts des Status des Beschwerdeführers bei der letzten Arbeitgeberin, der X._ GmbH, als Teilzeitangestellter sowie in Anbetracht der kurzen Anstellungsdauer von lediglich 1 1/2 Jahren (1. Januar 2006 bis 30. Juni 2007) und der dabei stark differierenden Einkommen (2006: Fr. 14'248.15; 2007: Fr. 38'251.85) als rechtens. Wird dabei im Sinne des Beschwerdeführers auf das Anforderungsniveau 3 abgestellt, ergibt sich ein Valideneinkommen von Fr. 69'913.- (LSE des Jahres 2008, TA1, Ziff. 45 Baugewerbe, Niveau 4, betriebsübliche wöchentliche Arbeitszeit 41,6 Stunden [Die Volkswirtschaft 6-2009 S. 86 Tabelle B9.2]).
Was das Invalideneinkommen betrifft, so ist das vorinstanzliche Abstellen auf das Total des Niveaus 4 (einfache und repetitive Tätigkeiten) in der Tabelle TA1 der LSE 2008 nicht zu beanstanden: Gemäss medizinischer Beurteilung von Dr. med. T._ kann und soll die linke Hand normal gebraucht werden. Die rechte Hand ist für mittelschwere Lastenhandhabung sowie für feinmotorische Arbeiten nicht einsetzbar. Anders als der Beschwerdeführer glauben zu machen versucht, besteht somit - in Bezug auf eine leichte Tätigkeit - keine funktionelle Einarmigkeit. In Frage kommen, wie sich den IV-Akten entnehmen lässt, insbesondere Kontroll- und Überwachungsaufgaben. Das gestützt darauf ermittelte Invalideneinkommen von Fr. 59'979.- im Jahr (bei einer betriebsüblichen wöchentlichen Arbeitszeit von 41.6 Stunden) ist in masslicher Hinsicht zu Recht unbestritten geblieben. Der behinderungsbedingte Abzug von 15 %, den die Vorinstanz auf dem Invalideneinkommen in Anschlag gebracht hat, ist nicht rechtsfehlerhaft. Selbst bei einem behinderungsbedingten Abzug von 25 % (Invalideneinkommen Fr. 44'984.25 [Fr. 59'979.- x 0.75]), wie vom Beschwerdeführer geltend gemacht, resultiert ein rentenausschliessender Invaliditätsgrad (35.7 %).
4. Nach dem Gesagten ist die Beschwerde unbegründet und abzuweisen. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Scartazzini