Sachverhalt:
A. V._, geboren 1953, war zuletzt vom 1. November 2000 bis 31. Juli 2003 (letzter effektiver Arbeitstag: 20. Juni 2003) bei der Firma E._ AG als Facharbeiter Tief-/Strassenbau angestellt. Am 20. September 2005 meldete er sich unter Hinweis auf Nacken- und Kreuzschmerzen, Depression und Tinnitus bei der Invalidenversicherung zum Leistungsbezug (Arbeitsvermittlung, Rente) an. Die IV-Stelle des Kantons Zürich führte erwerbliche Abklärungen durch und holte einen Bericht ein des Dr. med. B._, FMH für Allgemeinmedizin, vom 24. September 2005, dem weitere medizinische Berichte beilagen, insbesondere eine Beurteilung des Dr. med. P._, FMH für Rheumatologie, vom 30. Januar 2005. Weiter veranlasste sie einen Bericht des Dr. med. P._ vom 5. Dezember 2005 und ersuchte den Regionalen Ärztlichen Dienst (RAD; Dr. med. G._) um Beurteilungen vom 13. Februar und 9. März 2006. Mit Verfügung vom 16. März 2006 wies sie das Leistungsbegehren ab, da der Invaliditätsgrad unter 40 % liege und somit kein Rentenanspruch bestehe. Mit Einspracheentscheid vom 7. Juni 2006 bestätigte die IV-Stelle ihre Verfügung. Am 17. April 2007 meldete sich V._ erneut zum Bezug von IV-Leistungen an (Hörgerätebezug), welche ihm mit Verfügung vom 3. September 2008 zugesprochen wurden. Die gegen den Einspracheentscheid vom 7. Juni 2006 erhobene Beschwerde des V._ hiess das Sozialversicherungsgericht des Kantons Zürich am 29. August 2007 in dem Sinne gut, als es diesen aufhob und die Sache an die IV-Stelle zurückwies, damit sie eine "umfassende medizinische Abklärung" in die Wege leite und hernach über den Rentenanspruch neu verfüge.
Die IV-Stelle beauftragte das Institut B._ mit einem interdisziplinären Gutachten vom 26. August 2008. Nach Eingang einer Stellungnahme des RAD-Arztes Dr. med. W._, Facharzt Allgemeinmedizin, vom 25. November 2008, durchgeführtem Vorbescheidverfahren und nochmaliger Rücksprache mit Dr. med. W._ vom 26. Januar 2009 verfügte die IV-Stelle am 3. Februar 2009 die Abweisung des Leistungsbegehrens.
B. Die hiegegen erhobene Beschwerde des V._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 12. Februar 2010 ab.
C. V._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und insbesondere beantragen, unter Aufhebung des angefochtenen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen. Im Sinne eines Eventualantrages ersucht er um Neubegutachtung, eventuell um Nachbesserung des Gutachtens.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente hat. Die Vorinstanz legte - teilweise unter Verweisung auf den Rückweisungsentscheid vom 29. August 2007 - die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze, namentlich diejenigen zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis) und zur ausnahmsweise invalidisierenden Wirkung somatoformer Schmerzstörungen (<ref-ruling>) richtig dar. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz stellte gestützt auf das Gutachten fest, der Beschwerdeführer leide an folgenden Beschwerden: Beinahe konstante stechende Schmerzen im Bereich der rechten Flanke seit einer Uretersteinentfernung im März 2008, belastungsabhängige lumbale Rückenschmerzen mit intermittierender plötzlicher Schwäche des linken Beins, seit Jahren teilweise in die linke Schulter ausstrahlende Nackenschmerzen, seit etwa drei Jahren Tinnitus, welcher im ganzen Kopf verspürt werde. Die geklagten Beschwerden im HWS-Bereich liessen sich mit objektivierbaren Befunden kaum begründen. Die degenerativen HWS-Veränderungen führten zwar bei körperlich hohen Belastungen grundsätzlich zu Beschwerden, vermöchten aber die vom Versicherten gezeigte, völlig aufgehobene Beweglichkeit nicht zu erklären. Auch für die im Bereich der rechten Flanke verspürten Beschwerden lasse sich kein organisches Korrelat finden. Eine Inkonsistenz habe insoweit festgestellt werden können, als dem Beschwerdeführer beim unbeobachteten Gehen auf der Treppe plötzlich ein flüssiger Wechselschritt möglich gewesen sei. Auf die Einschätzung der Gutachter, wonach die Diskrepanz zwischen den geklagten Beschwerden und den objektivierbaren Befunden auf eine Schmerzverarbeitungsstörung zurückgehe und die früher von Dr. med. B._ (recte: von den Ärzten am Psychiatriezentrum H._; Austrittsbericht vom 17. Januar 2007) postulierte Anpassungsstörung mit depressiver Reaktion derzeit ebenso wenig nachweisbar sei wie eine somatoforme Schmerzstörung, könne abgestellt werden. Gestützt auf das Gutachten sei der Beschwerdeführer aufgrund der verminderten Belastbarkeit des oberen Achsenskelettes in sämtlichen körperlich schweren Tätigkeiten vollständig arbeitsunfähig. Körperlich leichte bis mittelschwere Arbeiten, darunter auch die zuletzt ausgeübte (Baggerführer), wären aber sowohl aus somatischer wie auch aus psychischer Sicht uneingeschränkt zumutbar; weder aus internistischer noch aus otorhinolaryngologischen Gründen bestünden weitere Einschränkungen. Selbst bei gesicherter Diagnose einer anhaltenden somatoformen Schmerzstörung stehe aufgrund der Ergebnisse der Begutachtung nunmehr fest, dass die Kriterien für eine nur ausnahmsweise anzunehmende Invalidisierung nicht erfüllt wären. Es fehlten sowohl eine psychische Komorbidität als auch - in Würdigung der Alltagsaktivitäten (Spaziergänge, Zeitungslektüre, Fernsehen, regelmässiger Besuch von Kindern und Enkeln) - ein sozialer Rückzug in allen Lebensbelangen. Angesichts der sowohl von den Gutachtern als auch von den Ärzten an der Klinik Y._ konstatierten ungenügenden Motivation des Versicherten, sich aktiv um seine Genesung zu bemühen, fehle es des Weiteren an der vorausgesetzten kooperativen Haltung. Allein die unveränderte Symptomatik ohne längerdauernde Rückbildung und der zweifellos verfestigte, therapeutisch nicht mehr beeinflussbare Verlauf vermöchten die Unüberwindbarkeit der Schmerzen nicht zu begründen. Ob die Baggerführer-Tätigkeit zu den nicht mehr zumutbaren schweren körperlichen Tätigkeiten gezählt werden müsse, sei nicht entscheidwesentlich, weil es diesfalls bei dem der ursprünglichen Verfügung vom 16. März 2006 zu Grunde liegenden Einkommensvergleich bleibe, welcher keinen rentenbegründenden Invaliditätsgrad ergeben habe.
3.2 Der Beschwerdeführer rügt, die Vorinstanz habe <ref-law> verletzt "wegen offensichtlich zu hoch angesetztem Invaliditätseinkommen" sowie <ref-law> "wegen unzutreffender Unterstellung einer möglichen beruflichen Wiedereingliederung" und <ref-law> "wegen Aberkennung einer mindestens 70%igen Invalidität". Im Einzelnen bringt er vor, angesichts der Vielzahl der von ihm geschilderten chronischen Krankheitsschäden sprächen bereits der gesunde Menschenverstand und die Lebenserfahrung dafür, dass er zu keiner für den Arbeitsmarkt tauglichen Berufstätigkeit geeignet sei. Die Interaktion zwischen den geltend gemachten Leiden und deren kumulativer Wirkung sei nicht begutachtet worden. Auch ohne fachmännische Beurteilung müsse jedermann auf den ersten Blick erkennen, dass ihm das Durchhaltevermögen für eine aus Arbeitgebersicht genügliche und entlöhnbare geregelte Tätigkeit fehle. Hauptsächlich erfülle das gesamte Krankheitsbild, namentlich unter Berücksichtigung der mehrfachen, schweren und chronischen Schmerzbelastung, zweifelsfrei die Voraussetzungen für eine ausnahmsweise invalidisierende somatoforme Schmerzstörung. Schliesslich sei die Unmöglichkeit einer beruflichen Wiedereingliederung "optima forma" gegeben.
4. Das kantonale Gericht hat die medizinische Aktenlage vollständig und korrekt dargelegt und widerspruchsfrei begründet, weshalb dem Gutachten im Rahmen der freien Beweiswürdigung (<ref-law>) ausschlaggebendes Gewicht beizumessen und auf die dortige Einschätzung der Arbeitsfähigkeit abzustellen ist (E. 3.1 hievor). Von einer offensichtlich unrichtigen oder unvollständigen Feststellung des rechtserheblichen Sachverhalts kann keine Rede sein. Ausserdem hat die Vorinstanz mit zutreffender Begründung, auf die verwiesen werden kann, dargelegt, dass der Beschwerdeführer - unabhängig davon, ob die Beschwerden diagnostisch als Schmerzverarbeitungsstörung (ICD-10 F54) oder als somatoforme Schmerzstörung (ICD-10 F45.4) eingeordnet werden - nicht an einem invalidisierenden Gesundheitsschaden leidet. Soweit der Versicherte aus den subjektiv empfundenen Beschwerden die Unzumutbarkeit der willentlichen Schmerzüberwindung und eines Wiedereinstiegs in den Arbeitsprozess ableitet, ist seine Argumentation grundsätzlich untauglich (vgl. <ref-ruling> E. 2.2.3 S. 354). Auch die weiteren Vorbringen vermögen keine Bundesrechtsverletzung darzutun. Zunächst setzte sich der das psychiatrische Teilgutachten verfassende Dr. med. G._ ausreichend mit den medizinischen Vorakten, insbesondere mit den Einschätzungen der Ärzte am Psychiatriezentrum H._ (Ambulatorium), auseinander. Dr. med. B._ hielt zwar am 24. September 2005 unter Bezugnahme auf den Austrittsbericht der Klinik Y._ vom 29. Juni 2005 fest, der Versicherte leide an einer Depression. Indes berücksichtigten die Ärzte an der Klinik Y._ auch invaliditätsfremde Faktoren (sprachliche Schwierigkeiten, mangelnde Motivation; vgl. Einschätzung des RAD-Arztes Dr. med. G._ vom 13. Februar 2006); darüber hinaus wurde diese Diagnose in der Folge nicht bestätigt: Die Ärzte am Psychiatriezentrum H._ führten im Austrittsbericht vom 17. Januar 2007 aus, der Versicherte leide an einer Anpassungsstörung mit chronifizierender depressiver Reaktion (ICD-10 F43.21), wobei die chronischen Schmerzen zu einer psychischen Alteration mit depressiven, adynamen und anhedonischen Inhalten geführt hätten. Der Einsatz verschiedener Antidepressiva habe keinerlei Veränderung bewirkt und insgesamt sei während der ganzen Therapiedauer (elf Gespräche zu je ca. 1⁄2 Stunde) unklar geblieben, inwieweit der Versicherte schon rein aus sprachlichen Gründen auf die therapeutischen Versuche habe eingehen können. Eine Weiterführung der Psychotherapie zum damaligen Zeitpunkt erachteten die Ärzte als nicht indiziert. Bereits diese Einschätzung legt nahe, dass keine psychisch ausgewiesene Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer im Raum stand, weil die Ärzte andernfalls nicht von einer Weiterführung der psychiatrischen Therapie abgeraten hätten. Diese Beurteilung wird nunmehr durch das Gutachten bestätigt. Entgegen den Vorbringen in der Beschwerde enthalten die Beurteilungen des Dr. med. P._ vom 30. Januar und 5. Dezember 2005 keine Hinweise auf eine anspruchserhebliche psychische Komorbidität: Dr. med. P._ führte lediglich aus, über die lange Zeit hätten sich die mit den MRI-Befunden nicht erklärbaren Schmerzen "sicher schon längst zentralisiert" und seien einer manuellen Behandlung kaum mehr zugänglich. Zudem habe er den Eindruck, der Versicherte könne auch nicht die genügende Motivation zu einer Physiotherapie aufbringen; die "Medizinalisierung" sollte auf ein Minimum beschränkt werden (Schreiben vom 30. Januar 2005) bzw. er empfehle eine "Entmedikalisierung", da keine der bis dahin initiierten Behandlungen einen Erfolg gebracht habe (Bericht vom 5. Dezember 2005).
Nicht offensichtlich unrichtig und damit letztinstanzlich bindend sind die vorinstanzlichen Feststellungen zum fehlenden sozialen Rückzug sowie zur fehlenden Motivation und Eigenanstrengung des Versicherten (vgl. hiezu auch E. 3.1 hievor). Schliesslich betreffen die Feststellungen des kantonalen Gerichts zur Verwertbarkeit der verbleibenden Arbeitsfähigkeit Tatsachen, die entgegen den Beanstandungen des Beschwerdeführers ebenfalls weder offensichtlich unrichtig oder unvollständig sind, so dass das Bundesgericht daran gebunden ist. Auf die diesbezüglichen Ausführungen im angefochtenen Entscheid kann verwiesen werden (<ref-law>). Damit ist die Verneinung eines iv-rechtlich relevanten, anspruchsbegründenden Gesundheitszustandes - insbesondere einer invalidisierenden somatoformen Schmerzstörung - zu bestätigen.
5. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Bollinger Hammerle