Sachverhalt:
A. Nachdem der 1958 geborene F._ seit 1. Mai 1993 eine ganze Rente der Invalidenversicherung bezogen hatte, hob die IV-Stelle des Kantons Zürich die Rente mit Verfügung vom 1. Juli 2005 und Einspracheentscheid vom 16. November 2005 auf Ende August 2005 auf, was vom Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. August 2006 bestätigt wurde. Nach einer erneuten Anmeldung im Januar 2007 und verschiedenen Abklärungen, so auch einer Begutachtung durch das Institut X._ vom 14. Februar 2008, sprach die IV-Stelle F._ mit Verfügung vom 21. Juli 2008 ab 1. Januar 2006 eine Viertelsrente zu.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab; nachdem es F._ auf eine mögliche reformatio in peius hingewiesen hatte, hob es sodann die Verfügung vom 21. Juli 2008 auf und stellte es fest, dass er keinen Anspruch auf eine Rente der Invalidenversicherung habe (Entscheid vom 16. Dezember 2009).
C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es seien "die vollen Versicherungsleistungen zuzusprechen". Eventualiter "sei das Verfahren im Sinne der Erwägungen zurückzuweisen". Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
D. Mit Zwischenverfügung vom 5. März 2010 wies das Bundesgericht das Gesuch von F._ um unentgeltliche Rechtspflege wegen Aussichtslosigkeit ab.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG).
2. 2.1 Streitig und zu prüfen ist der Anspruch auf eine Rente der Invalidenversicherung. Dabei steht in Frage, ob die Vorinstanz im Rahmen einer reformatio in peius zu Recht die Verfügung der IV-Stelle vom 21. Juli 2008 aufgehoben hat, mit welcher dem Versicherten ab 1. Januar 2006 eine Viertelsrente zugesprochen worden war. Die Vorinstanz hat die Bestimmungen über den Begriff der Invalidität (<ref-law>) und zum Umfang des Rentenanspruchs (<ref-law> in der bis zum 31. Dezember 2007 gültigen Fassung) zutreffend dargelegt. Richtig sind auch die Erwägungen zur Aufgabe des Arztes, den Gesundheitszustand zu beurteilen sowie zur Arbeitsfähigkeit der versicherten Person Stellung zu nehmen (<ref-ruling> E. 4 S. 261). Darauf wird verwiesen.
2.2 In pflichtgemässer Würdigung der gesamten Aktenlage hat das kantonale Gericht zutreffend dargelegt, weshalb für die Beurteilung der Arbeitsfähigkeit aus somatischer Sicht auf das diesbezüglich beweiskräftige Gutachten des Instituts X._ vom 14. Februar 2008 abzustellen ist, wonach dem Versicherten aus somatischer Sicht eine körperlich leichte, angepasste Tätigkeit zu 100 % zumutbar ist, da sich keinerlei Hinweise für eine persistierende Aktivität der früher postulierten Polyarthritis mehr finden. Alle diese Entscheidungen über Tatfragen sind nicht offensichtlich unrichtig (E. 1). Was die psychischen Aspekte anbelangt, hat die Vorinstanz die in der psychiatrischen Exploration auf 20 % geschätzte Arbeitsunfähigkeit angesichts der diagnostizierten somatoformen Schmerzstörung und der leichten depressiven Episode nicht übernommen, weil die rechtlichen Kriterien für die ausnahmsweise Unüberwindbarkeit der Somatisierungsstörung nicht erfüllt seien. Diese Schlussfolgerung verletzt im Lichte von <ref-ruling> und der seitherigen ständigen Rechtsprechung Bundesrecht nicht (E. 1).
Soweit der Beschwerdeführer rügt, die Einschätzung der behandelnden Fachärztin Dr. med. L._ sei unbeachtet geblieben, übersieht er die im Rahmen der Beweiswürdigung relevante Verschiedenheit von Behandlungsauftrag einerseits und Begutachtungsauftrag andererseits (vgl 124 I 170 E. 4 S. 175; Urteil 9C_801/2007 vom 7. Februar 2008 E. 3.2.2; Urteil 8C_286/2007 vom 3. Januar 2008 E. 4). Deshalb vermag eine durch die behandelnde Ärztin erstellte abweichende Zumutbarkeitsschätzung für sich allein das Ergebnis der fachärztlichen Expertise nicht umzustossen, ohne dass zusätzliche objektive, den Beweiswert des Gutachtens beeinträchtigende Gründe hinzutreten, was hier nicht der Fall ist. Es ist entgegen der Auffassung des Beschwerdeführers auch keine Verletzung des rechtlichen Gehörs in Form der gerichtlichen Begründungspflicht auszumachen. Die Vorinstanz hat darauf hingewiesen, dass die IV-Stelle das Gutachten des Instituts X._ einholte, weil die Aktenlage mit dem Bericht der behandelnden Fachärztin nicht schlüssig war. Ebenfalls hat das kantonale Gericht nachvollziehbar dargelegt, weshalb auf die Einschätzung des Gutachtens in somatischer Hinsicht abzustellen ist. Der Einwand zum Einkommensvergleich ist unbehelflich, nachdem die Vorinstanz nicht wie die IV-Stelle von einer 80%-Verweisungstätigkeit ausgeht, sondern von einem Pensum von 100 %. Der Eventualantrag auf Rückweisung wird vom Beschwerdeführer nicht weiter begründet, weshalb darauf nicht weiter einzugehen ist (<ref-law>), zumal ein Bedarf nach ergänzenden Abklärungen in keiner Richtung ersichtlich ist.
3. Die Beschwerde hatte keine Aussicht auf Erfolg, weswegen sie im vereinfachten Verfahren nach <ref-law> als offensichtlich unbegründet (Abs. 2 lit. a), ohne Durchführung des Schriftenwechsels, mit summarischer Begründung und unter Verweis auf den vorinstanzlichen Entscheid, erledigt wird.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke