Sachverhalt:
A. M._, geboren 1952, bezog seit 1. Januar 1986 aufgrund seiner gesundheitlichen Beeinträchtigung (Hüftverletzung/Hüfttotalprothese) eine halbe Rente der Invalidenversicherung, welche mit Verfügung der IV-Stelle des Kantons Zürich vom 18. November 1993 (bestätigt mit Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 3. Januar 1996) per 31. Dezember 1993 aufgehoben wurde, nachdem der Versicherte seine seit 1975 ausgeübte selbstständige Tätigkeit als Maler aufgab und ab 1. Juli 1990 eine Tätigkeit als Portier bei der Firma S._ AG aufnehmen konnte, womit er ein Renten ausschliessendes Erwerbseinkommen erzielte.
Am 23. September 2005 meldete sich M._ erneut bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 23. Oktober 2006 teilte die IV-Stelle dem Versicherten mit, dass eine Überprüfung des Rentenanspruchs zur Zeit nicht möglich sei, da die Arbeitsunfähigkeit vor allem durch sein Abhängigkeitsverhalten begründet sei, weshalb das Leistungsbegehren abgewiesen werde. Nach einer erfolgreichen Alkoholentwöhnung im Psychiatriezentrum X._ vom 19. März bis 11. April 2007 nahm die IV-Stelle aufgrund des Schreibens des Hausarztes Dr. med. Z._, Allgemeine Medizin FMH, vom 13. Juli 2007 die Abklärungen wieder auf und liess den Versicherten durch Dr. med. K._, Facharzt FMH für Rheumatologie und Innere Medizin begutachten. Gestützt auf dessen Gutachten vom 5. Oktober 2007 wies sie, nach durchgeführtem Vorbescheidverfahren das Leistungsbegehren mit Verfügung vom 17. Dezember 2007 ab, da in der angestammten Tätigkeit als Portier eine volle Arbeitsfähigkeit bestehe.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Juni 2009 ab.
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die IV-Stelle zu verpflichten, ihm eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 52 % auszurichten.
Während die IV-Stelle auf Abweisungen der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Streitig ist, ob sich der Invaliditätsgrad des Versicherten seit der rentenaufhebenden Verfügung vom 18. November 1993 bis zur rentenabweisenden Verfügung vom 7. Dezember 2007 in einer für den Rentenanspruch relevanten Weise verändert hat. Die Vorinstanz hat in materiell- und beweisrechtlicher Hinsicht die für die Beurteilung dieser Frage massgeblichen Grundlagen sowie die diesbezügliche Rechtsprechung zutreffend dargelegt. Darauf wird verwiesen.
3. Mit Bezug auf die Arbeitsfähigkeit gelangte das kantonale Gericht nach Würdigung der medizinischen Unterlagen zum Schluss, dass der Beschwerdeführer in seiner gelernten Tätigkeit als Maler zu 100 % arbeitsunfähig ist. In der zuletzt ausgeübten Tätigkeit als Portier oder in einer andern angepassten Tätigkeit sah es indes keine Einschränkung in der Arbeitsfähigkeit gegeben. Es stützte sich dabei auf das Gutachten des Rheumatologen Dr. med. K._, dem es zu Recht vollen Beweiswert zuerkannte (<ref-ruling> E. 3a S. 352). Die pauschal geäusserten Zweifel des Beschwerdeführers sind nicht geeignet, die vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig und unvollständig erscheinen zu lassen. Insbesondere kann aus dem Umstand, dass der Gutachter für die abweichende Beurteilung des behandelnden Arztes u.a. vermutungsweise psychosoziale Faktoren anführte, nichts Gegenteiliges abgeleitet werden.
4. Im Rahmen der Invaliditätsbemessung ging die Vorinstanz bei der Ermittlung des Valideneinkommens davon aus, dass der Beschwerdeführer ohne Gesundheitsschädigung mit überwiegender Wahrscheinlichkeit als Maler und Geschäftsführer tätig wäre. Nach Anpassung des für 1993 mit Fr. 78'390.75 festgelegten Einkommens an die Nominallohnentwicklung bis 2007 ergab sich ein Valideneinkommen von Fr. 94'539.50, was unbestritten ist. Bei der Bestimmung des Invalideneinkommens stützte sich das kantonale Gericht auf die vom Bundesamtes für Statistik herausgegebene Lohnstrukturerhebung (LSE) 2006, nachdem der Beschwerdeführer das Arbeitsverhältnis per 31. März 2005 beendet hatte. Sie ging vom Einkommen für Männer mit Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) von Fr. 4'732.- monatlich bzw. Fr. 56'784.- im Jahr 2006 (Tabelle TA1, Anforderungsniveau 4, Total Männer) aus und liess die Frage offen, ob aufgrund der Berufserfahrung und der Ausbildung nicht sogar auf den höheren Lohn bei Arbeiten im Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt) abzustellen wäre. Unter Berücksichtigung der im Jahre 2007 betriebsüblichen wöchentlichen Arbeitszeit sowie der Nominallohnentwicklung errechnete sie ein Invalideneinkommen von Fr. 60'226.-. Verglichen mit dem Valideneinkommen von Fr. 94'539.50 resultierte ein Invaliditätsgrad von gerundet 36 %.
5. 5.1 Streitig und zu prüfen ist vorliegend einzig die Rechtsfrage (vgl. <ref-ruling> E. 3.3 S. 399), ob ein (behinderungsbedingt oder anderweitig begründeter) Leidensabzug vom statistisch ermittelten Invalideneinkommen vorzunehmen ist.
5.2 Der Beschwerdeführer macht geltend, unter Berücksichtigung der gesundheitlichen Lage und des Alters rechtfertige sich ein leidensbedingter Abzug von 25 %. Auch gemäss Gutachten des Dr. med. K._ leide er an beachtlichen gesundheitlichen Einschränkungen, weshalb er, wenn auch nicht in seiner Arbeitsfähigkeit, so doch in seiner Leistungsfähigkeit und in der Auswahl geeigneter Stellen deutlich eingeschränkt sei. Gemäss dem gutachterlichen Belastungsprofil sei es ihm nur noch möglich, leichte körperliche Tätigkeiten auszuüben. Er sei jedoch auch in der Ausübung leichter Tätigkeiten zusätzlich erheblich eingeschränkt. Er könne keine Überkopfarbeiten mehr ausführen, keine schweren Lasten tragen und die Tätigkeit müsse nicht nur wechselbelastend sein, sondern er könne nur kurze Strecken gehen, wobei dazwischen die Möglichkeit bestehen müsse, sich wieder hinzusetzen. Mit einer solchen erheblichen Einschränkung sei es ihm nicht möglich, einen verglichen mit einem gesunden Arbeitnehmer gleichwertigen Lohn zu erzielen.
5.3 Ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, ist von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalls (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) abhängig. Der Einfluss sämtlicher Merkmale auf das Invalideneinkommen ist nach pflichtgemässem Ermessen gesamthaft zu schätzen, wobei der Abzug auf höchstens 25 % zu begrenzen ist (<ref-ruling> E. 5 S. 78 ff.; <ref-ruling> E. 4.3.2. S. 481). Die Rechtsprechung gewährt insbesondere dann einen Abzug auf dem Invalideneinkommen, wenn eine versicherte Person selbst im Rahmen körperlich leichter Hilfsarbeitertätigkeit in ihrer Leistungsfähigkeit eingeschränkt ist (<ref-ruling> E. 5a/bb S. 78). Sind hingegen leichte bis mittelschwere Arbeiten zumutbar, ist allein deswegen auch bei eingeschränkter Leistungsfähigkeit noch kein Abzug gerechtfertigt. Dies ergibt sich daraus, dass der Tabellenlohn im Anforderungsniveau 4 bereits eine Vielzahl von leichten und mittelschweren Tätigkeiten umfasst (Urteil 9C_72/2009 vom 30. März 2009 E. 3.4 mit zahlreichen Hinweisen).
5.4 Dem Beschwerdeführer ist entsprechend dem Gutachten des Dr. med. K._ vom 5. Oktober 2007 die zuletzt ausgeübte Tätigkeit als Portier mit einer leichten und wechselbelastenden Arbeit, bei der er abwechselnd kurze Strecken gehen muss und dazwischen sitzen kann, keine Überkopfarbeiten verrichten und keine schweren Lasten heben muss, uneingeschränkt zumutbar. Abgesehen von Überkopfarbeiten sind laut Gutachten auch mittelschwere Tätigkeiten möglich. Damit besteht trotz eingeschränkter Leistungsfähigkeit kein Grund für einen leidensbedingten Abzug, zumal auch leidensadaptierte Tätigkeiten (etwa leichte Verpackungs-, Montage- und Kontrollarbeiten) nicht nur im untersten (Lohn-)Bereich der massgebenden Kategorie vertreten sind. Der Beschwerdeführer ist überdies aufgrund seines beruflichen Werdegangs nicht auf leichte Hilfsarbeiten beschränkt. Wie die Vorinstanz zu Recht andeutete, wären allenfalls auch Tätigkeiten im Anforderungsniveau 3 möglich gewesen. Schliesslich spricht auch das Alter (vgl. AHI S. 237, I 377/98 E. 4c) des Versicherten nicht für ein reduziertes Einkommen.
5.5 Unter diesen Umständen hat das kantonale Gericht nicht Bundesrecht verletzt, wenn es keinen Abzug vom Tabellenlohn vornahm und einen Rentenanspruch verneinte.
6. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Februar 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Weber Peter