Sachverhalt:
A. H._, geboren 1959, ist gelernter Heizungsmonteur und seit dem Jahre 1982 selbstständig erwerbend (in der Firma L._ und G._ AG). Am 5. Juni 2001 erlitt er ein Quetschtrauma mit Metakarpalefrakturen III und IV an der linken Hand. In der Folge verrichtete er mehrheitlich Büroarbeiten (Angaben gegenüber der Schweizerischen Unfallversicherungsanstalt [SUVA] vom 16. Mai 2002; Bericht des Spitals W._ vom 18. Juni 2004). Am 23. Mai 2004 erlitt er bei einem Verkehrsunfall eine Distorsion der Hals- und Brustwirbelsäule (HWS und BWS). Die SUVA, bei welcher H._ obligatorisch versichert war, erbrachte für die Folgen beider Unfälle die gesetzlichen Leistungen.
Am 2. März 2005 meldete sich H._ unter Hinweis auf das Quetschtrauma sowie die HWS- und BWS-Distorsion bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich zog die Akten der SUVA bei, führte erwerbliche Abklärungen durch und holte Berichte ein der Klinik B._ (Schreiben vom 21. März 2005, Austrittsbericht vom 2. Dezember 2004), des Dr. med. A._, Facharzt FMH für Allgemeinmedizin, vom 5. April 2005, und des Spitals W._ vom 10. Mai 2005. Die Helsana Versicherungen AG, bei welcher H._ eine Kollektivtaggeldversicherung abgeschlossen hatte, richtete (bis Ende April 2008) Taggelder aus. Die SUVA verfügte am 4. Oktober 2006 die Zusprechung einer Invalidenrente bei einem Invaliditätsgrad von 23 %. Die hiegegen erhobenen Einsprachen der Helsana und des H._ wies sie mit Entscheid vom 19. März 2008 ab.
Die IV-Stelle veranlasste eine Begutachtung im Institut X._ (Gutachten vom 27. August 2008; Ergänzung vom 24. März 2009). Nach Eingang weiterer medizinischer Unterlagen und Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) vom 6. Mai und 22. Juli 2009 stellte die IV-Stelle vorbescheidweise die Abweisung des Leistungsbegehrens in Aussicht. Nachdem H._ hiegegen Einwände erhoben und der RAD (am 26. November 2009) erneut Stellung genommen hatte, verfügte die IV-Stelle am 29. Dezember 2009 entsprechend dem Vorbescheid.
B. Die hiegegen erhobene Beschwerde des H._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. August 2011 ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides die Rückweisung der Sache an die Vorinstanz zur Festlegung des Invaliditätsgrades, eventualiter zur Veranlassung eines psychiatrischen Gutachtens beantragen.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Dabei legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG; Ausnahme: Beschwerden gemäss Art. 97 Abs. 2 BGG [Art. 105 Abs. 3 BGG]).
2. Das kantonale Gericht hat die Rechtsprechung zum Beweiswert der ärztlichen Berichte und Gutachten und zur Beweiswürdigung zutreffend dargelegt. Darauf wird verwiesen. Richtig ist, dass pathogenetisch-ätiologisch unklare syndromale Beschwerdebilder ohne nachweisbare organische Grundlage nur ausnahmsweise eine Invalidität im Rechtssinne begründen (im Einzelnen: 136 V 279 E. 3.2.1 S. 281 mit Hinweisen).
3. 3.1 Die Vorinstanz würdigte die medizinischen Akten einlässlich und stellte fest, bezüglich der linksseitigen Handverletzung seien die Metakarpalefrakturen verheilt und ein Morbus Sudeck abgeklungen. Den weiterhin geklagten Handbeschwerden lägen keine objektivierbaren organischen Befunde mehr zu Grunde. Gleiches gelte für die als Folge der erlittenen HWS- und BWS-Distorsion geschilderte Symptomatik. Invalidenversicherungsrechtlich seien die körperlichen Beeinträchtigungen nurmehr relevant, soweit sie die in BGE 130 V 352 entwickelten Kriterien erfüllten. Indes sei die leichte depressive Episode keine psychische Komorbidität von erheblicher Schwere, Dauer und Ausprägung, und weder die linksseitigen Handbeschwerden noch die Beeinträchtigungen im Hals- und Brustwirbelsäulenbereich könnten als chronische körperliche Begleiterkrankung gewertet werden. Es fehle ein sozialer Rückzug in allen Belangen des Lebens, und die Akten liessen nicht auf einen primären Krankheitsgewinn schliessen. Sofern überhaupt von einem Scheitern einer konsequent durchgeführten Behandlung trotz kooperativer Haltung gesprochen werden könne, sei angesichts der Umstände dieses Kriterium jedenfalls nicht derart ausgeprägt erfüllt, dass auf die ausnahmsweise Unzumutbarkeit der Schmerzüberwindung zu schliessen wäre. Die Beschwerde sei deshalb abzuweisen.
3.2 Der Beschwerdeführer rügt, das kantonale Gericht habe seinen Entscheid mit einer Argumentation begründet, die weder von ihm noch von der Beschwerdegegnerin thematisiert worden sei, was das rechtliche Gehör verletze. Die ärztlichen Stellungnahmen datierten vor BGE 136 V 279, weshalb sich die Gutachter nicht zu seinen psychischen Ressourcen geäussert hätten. Dies wäre nachzuholen, sofern das Bundesgericht die Voraussetzungen für eine zumutbare Willensanstrengung zur Schmerzüberwindung nicht bereits aufgrund der vorhandenen Akten verneine. Zu Unrecht würden die Handbeschwerden als pathogenetisch-ätiologisch unklares Beschwerdebild ohne nachweisbare organische Grundlage qualifiziert. Die Anwendung der Rechtsprechung zur somatoformen Schmerzstörung auf spezifische HWS-Verletzungen verstosse gegen das Gleichbehandlungsgebot. Sodann seien mehrere der einschlägigen Kriterien erfüllt (depressive Episode, chronische körperliche Begleiterkrankung, mehrjähriger chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne länger dauernde Rückbildung, Scheitern der konsequenten ambulanten Behandlung trotz kooperativer Haltung, Rückzug in einigen Bereichen des Lebens [Sport, Präsenzzeit im Geschäft, soziale Kontakte]). Hinsichtlich des primären Krankheitsgewinns fehlten die medizinischen Daten.
4. Die Rüge des verletzten Gehörsanspruchs ist unbegründet. Der Anspruch auf rechtliches Gehör verlangt nicht, dass die verfahrensbeteiligte Partei die Gelegenheit erhalten muss, sich zu jedem möglichen Ergebnis, das von der entscheidenden Behörde ins Auge gefasst wird, zu äussern. Die Behörde hat in diesem Sinne nicht ihre Begründung den Parteien vorweg zur Stellungnahme zu unterbreiten. Es genügt, dass sich die Parteien zu den Grundlagen des Entscheids, insbesondere zum Sachverhalt sowie zu den anwendbaren Rechtsnormen, vorweg äussern und ihre Standpunkte einbringen können (BGE 132 II 257 E. 4.2 S. 267). Dies ist hier geschehen.
5. Nicht stichhaltig ist auch der Einwand des Beschwerdeführers, die Gutachter seien, da ihre Beurteilungen vor BGE 136 V 279 datierten, gegebenenfalls noch zu seinen psychischen Ressourcen zu befragen. Hat das kantonale Gericht eine erhebliche psychische Komorbidität zu Recht verneint, bleibt zu prüfen, ob die von der Rechtsprechung alternativ dazu formulierten Kriterien vorhanden (Tatfrage) und gegebenenfalls in ausreichender Intensität und Konstanz erfüllt (Rechtsfrage) sind, wonach die rechtsanwendenden Behörden darüber zu befinden haben, inwiefern die versicherte Person über psychische Ressourcen verfügt, die es ihr erlauben, mit den Schmerzen umzugehen und trotzdem zu arbeiten (Urteil 8C_420/2011 vom 26. September 2011 E. 2.6 mit Hinweisen). Ob die ärztlichen Beurteilungen vor oder nach Erlass von BGE 136 V 279 datieren, ist daher nicht von Bedeutung, solange - wie hier - die medizinischen Akten für die Prüfung der einschlägigen Kriterien ausreichen.
6. 6.1 Seit BGE 136 V 279 ist kein Grund ersichtlich, die Rechtsprechung zur grundsätzlich fehlenden rentenbegründenden Invalidität bei Schmerzstörungen nicht auch dann zur Anwendung zu bringen, wenn sie nach Schleudertraumata eintreten, im Gegenteil. Neuere medizinische Studien kommen klar zum Schluss, dass sich die Beschwerden in Folge leichter bis mittlerer HWS-Schleudertrauma nicht signifikant von den Beschwerden bei unspezifischen Nackenschmerzen unterscheiden, weshalb eine gesonderte Betrachtung bezüglich Schmerz, Funktion oder Prognosen nicht angezeigt ist (Thomas Gächter/Dania Tremp, Schmerzrechtsprechung am Wendepunkt, in: Jusletter 16. Mai 2011, Fn 24, mit Hinweisen auf Bogdan P. Radanov et al., Are Symptoms of Late Whiplash Specific? A Comparison of SCL-90-R Symptom Profiles of Patients with Late Whiplash and Patients with Chronic Pain Due to Other Types of Trauma, in: The Journal of Rheumatology 2011; 38:6; Arianne P. Verhagen et al., Do whiplash patients differ from other patients with non-specific neck pain regarding pain, function or prognosis?, in: Manual Therapy [2011], S. 1 ff., 6; Jörg Jeger, Tatfrage oder Rechtsfrage? Abgrenzungsprobleme zwischen Medizin und Recht bei der Beurteilung der Arbeitsfähigkeit in der Invalidenversicherung. Ein Diskussionsbeitrag aus der Sicht eines Mediziners, in: SZS 55/2011 S. 431 ff., 450 f.). Das Erleiden einer solchen Beeinträchtigung erscheint demnach medizinisch als einer von vielen denkbaren Faktoren, welche den Einstieg in eine chronifizierende Schmerzentwicklung begünstigen können und oft an ihrem Anfang stehen. Von einer rechtlich unzulässigen Verletzung des Gleichbehandlungsgebotes kann daher keine Rede sein. Im Gegenteil gebietet die rechtsgleiche Anwendung der - zwar bezüglich ihrer Relevanz in der Versicherungsmedizin umstrittenen aber derzeit massgeblichen - sog. Foerster-Kriterien auf ähnliche Krankheitsbilder, dass den HWS-Traumata keine Sonderstellung eingeräumt wird (vgl. Gächter/Tremp, a.a.O. Rz. 10).
6.2 Es steht fest, dass die (in den Hintergrund getretenen; Bericht des Spitals Z._ vom 19. März 2009) Beeinträchtigungen an der linken Hand zunächst auf eine somatische Ursache zurückgeführt werden konnten. Die vorinstanzliche Feststellung, wonach die Handbeschwerden nunmehr aber nicht mehr mit objektivierbaren organischen Befunde ausreichend erklärbar sind, bestreitet der Beschwerdeführer zu Recht nicht (vgl. hiezu das Gutachten des Instituts X._ vom 7. August 2008 sowie die Berichte des Spitals Z._ [rheumatologische interdisziplinäre Schmerzssprechstunde, RISS], vom 19. März 2009] und des Hausarztes Dr. med. M._, Facharzt Allgemeinmedizin FMH vom 27. April 2008]), zumal sich der Verdacht auf ein Karpaltunnelsyndrom nicht erhärten liess. Davon abgesehen, dass die Gutachter des Instituts X._ eine (relevante) Beeinträchtigung der Arbeitsfähigkeit von Seiten der linken Hand verneinten und selbst Hausarzt Dr. med. M._ nurmehr die Schleudertraumaproblematik als limitierend erachtete ("Seitens des alten Morbus Sudeck war die letzte Zeit keine Rede mehr"; Bericht vom 27. April 2008), verstiess die Vorinstanz jedenfalls nicht gegen Bundesrecht, wenn sie die Handproblematik als syndromales Beschwerdebild einordnete und nach den für Schmerzstörungen entwickelten Kriterien prüfte (BGE 136 V 279 E. 3.2.3 S. 283).
6.3 Die Vorinstanz hat entgegen den beschwerdeführerischen Vorbringen - so sich diese nicht in einer letztinstanzlich unzulässigen appellatorischen Kritik erschöpfen - kein Bundesrecht verletzt, wenn sie aus den relevanten Akten und Parteivorbringen schloss, die rechtsprechungsgemässen Kriterien einer anhaltend unzumutbaren Schmerzbewältigung seien nicht erfüllt. Insbesondere fehlt es an dem im Vordergrund stehenden Kriterium einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer (vgl. BGE 131 V 49 E. 1.2 S. 50). Der Beschwerdeführer räumt selbst ein, es liege auch kein anhaltender sozialer Rückzug in allen Lebensbelangen vor (sondern - lediglich - ein Rückzug in "einigen Bereichen"). Die von der SUVA vergleichsweise zugesprochene Invalidenrente bei einem Invaliditätsgrad von 23 % lässt entgegen den Vorbringen in der Beschwerde schon grundsätzlich (Vergleich) nicht auf eine chronische körperliche Begleiterkrankung schliessen. Auch hat die Vorinstanz ohne Bundesrecht zu verletzen berücksichtigt, dass ein fehlendes ausreichendes organisches Korrelat eine chronische Begleiterkrankung ausschliesst (hiezu z.B. auch Urteil 8C_80/2011 vom 14. Juni 2011 E. 6.3.3.2) und erwogen, die Akten liessen nicht auf einen primären Krankheitsgewinn schliessen. Selbst wenn die persistierenden Beeinträchtigungen, welche die Arbeitsfähigkeit in einer angepassten Tätigkeit auf 70 % beschränken, das Kriterium eines mehrjährigen chronifizierten Krankheitsverlaufs erfüllten, was offen bleiben kann, hat die Vorinstanz nach bundesrechtskonformer gesamthafter Würdigung der tatsächlichen Verhältnisse korrekt dargelegt, dass kein Ausnahmefall von der grundsätzlichen Überwindbarkeit der Schmerzstörung vorliegt, zumal sie das Scheitern einer konsequenten Behandlung zu Recht als jedenfalls nicht als sehr ausgeprägt bezeichnete. Der Versicherte zeigt nicht auf, inwiefern aus medizinischer Sicht welche konkreten sachverhaltsrelevanten Fragen nicht rechtsgenüglich abgeklärt worden seien. Auf weitere Beweismassnahmen hat das kantonale Gericht verzichtet, ohne eine den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) verletzende, unvollständige Sachverhaltsfeststellung zu treffen.
7. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der BVG Sammelstiftung der Rentenanstalt, Zürich, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Dezember 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Bollinger Hammerle