Sachverhalt:
A. Der 1953 geborene E._ war nach einer längeren Zeit, während welcher er arbeitslos war, in den Jahren 2003 bis 2005 bei der Firma O._ AG als Hilfsarbeiter tätig. Danach bezog er wieder Arbeitslosenentschädigung und in der Zeit vom 7. September 2006 bis 5. Februar 2008 Leistungen einer Krankentaggeldversicherung. Am 20. März 2008 meldete sich E._ wegen Arthrose und psychischen Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte die medizinischen Akten, insbesondere des behandelnden Hausarztes, Dr. med. R._ der von diesem eingesetzten Psychotherapeutin, C._, des Dr. med. G._, Facharzt für orthopädische Chirurgie FMH und der Chirurgischen Klinik, Abteilung Urologie des Spitals W._, ein. Im Weiteren liess sie den Versicherten durch Dr. med. K._, Facharzt für Psychiatrie und Psychotherapie, begutachten. Gestützt auf die Expertise vom 13. Juli 2009 verneinte die IV-Stelle mit Verfügung vom 20. November 2009 einen Rentenanspruch, da E._ für die zuletzt ausgeübte Tätigkeit im Transportdienst voll arbeitsfähig sei.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2011 ab.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien sowohl in somatischer als auch in psychiatrischer Hinsicht weitere medizinische Sachverhaltsabklärungen durchzuführen. In prozessualer Hinsicht ersucht er um eine parteiöffentliche Verhandlung. Im Weiteren sei ihm die Gelegenheit zu einer Replik einzuräumen.
Die IV-Stelle verzichtet mit Hinweis auf die Begründung des angefochtenen Entscheides auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen.
D. Mit unaufgeforderter Eingabe vom 24. Oktober 2011 lässt E._ einen Bericht seines behandelnden Psychiaters vom 19. Oktober 2001 auflegen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Soweit hingegen die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 398). Die konkrete Beweiswürdigung stellt eine Tatfrage dar (<ref-ruling> E. 3.3 S. 399; Urteil 8C_304/2011 vom 6. Juli 2011 E. 1).
2. Der unaufgefordert und nachträglich eingereichte Bericht des Dr. med. Y._, Psychiatrie und Psychtherapie FMH, vom 19. Oktober 2011 ist ein unzulässiges Novum (<ref-law>). Im Übrigen sind vorliegend die im Zeitpunkt der ablehnenden Rentenverfügung vom 20. November 2009 bestehenden Sachverhaltselemente zu beurteilen. Die ärztliche Beurteilung vom 19. Oktober 2011 kann allenfalls Grundlage für eine Neuanmeldung bilden.
3. Die Beschwerde an das Bundesgericht ist innert der Beschwerdefrist (<ref-law>) mit Antrag, Begründung und Angabe der Beweismittel (<ref-law>) einzureichen. Ein zweiter Schriftenwechsel findet nur ausnahmsweise auf Anordnung des Gerichts statt (<ref-law>). Die Rechtsprechung hat darüber hinaus aus Art. 6 Ziff. 1 EMRK und <ref-law> ein Recht auf Replik abgeleitet, das aber nur darin besteht, sich zu den von der Gegenpartei eingereichten Stellungnahmen zu äussern (<ref-ruling> E. 4.3 S. 102 f.). Davon hat der Beschwerdeführer keinen Gebrauch gemacht.
4. 4.1 Nach Art. 6 Ziff. 1 Satz 1 EMRK hat jede Person ein Recht darauf, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird. Vorliegend sind zivilrechtliche Ansprüche im Sinne dieser Norm streitig (<ref-ruling> E. 2a S. 50). Das kantonale Gericht, dem es primär obliegt, die Öffentlichkeit der Verhandlung zu gewährleisten (E. 3 S. 54), hat bei Vorliegen eines klaren und unmissverständlichen Parteiantrags grundsätzlich eine öffentliche Verhandlung durchzuführen (<ref-ruling> E. 1 S. 281 und E. 3 S. 283 f.). Ein während des ordentlichen Schriftenwechsels gestellter Antrag ist grundsätzlich rechtzeitig (<ref-ruling>). Dem aus Art. 6 Ziff. 1 EMRK abgeleiteten Anspruch auf deren Abhaltung ist Genüge getan, wenn die Recht suchende Person mindestens vor einer Instanz in einer öffentlichen Verhandlung gehört wird (Urteile 8C_504/2010 vom 2. Februar 2011 E. 1.2 und 2.2).
4.2 Der Grundsatz der Öffentlichkeit bezieht sich sowohl auf die Parteiöffentlichkeit als auch auf die Publikums- und Presseöffentlichkeit. Er umfasst unter anderem den Anspruch des Einzelnen, seine Argumente dem Gericht mündlich in einer öffentlichen Sitzung vortragen zu können. Der Öffentlichkeitsgrundsatz beinhaltet keinen Anspruch darauf, dass bestimmte Beweismittel öffentlich und in Anwesenheit der Parteien abgenommen werden. Die Durchführung einer öffentlichen Verhandlung setzt daher im Sozialversicherungsprozess einen - im erstinstanzlichen Verfahren zu stellenden - Parteiantrag voraus, aus dem klar und unmissverständlich hervorgehen muss, dass eine konventionskonforme Verhandlung mit Publikums- und Presseanwesenheit durchgeführt werden soll. Wird lediglich eine persönliche Anhörung oder Befragung, ein Parteiverhör, eine Zeugeneinvernahme oder die Durchführung eines Augenscheins verlangt, darf das Gericht daraus schliessen, dass es dem Antragsteller um die Abnahme bestimmter Beweismittel und nicht um die Durchführung einer Verhandlung mit Publikums- und Presseanwesenheit geht (<ref-ruling> E. 3a S. 55; SVR 2009 IV Nr. 22 S. 62 E. 1.2 [9C_599/2008]; Urteil 8C_138/2011 vom 21. Juni 2011 E. 2.3). Blosse Beweisabnahmeanträge, wie auch die Durchführung einer persönlichen Befragung, sind von Art. 6 Ziff. 1 EMRK nicht erfasst (Urteil des EuGMR i.S. H._ gegen die Schweiz vom 15. Dezember 2005, Nr. 53146/99, Ziff. 34; <ref-ruling> E. 5.2 S. 147).
5. 5.1 Der Beschwerdeführer stellte in der Replik im vorinstanzlichen Verfahren rechtzeitig einen Antrag auf eine "parteiöffentliche Verhandlung". Er ersuchte dabei insbesondere um eine Befragung seiner Tochter als Zeugin oder Auskunftsperson, da deren Beobachtung und Beurteilung von den Feststellungen und Schlussfolgerungen im Gutachten des Dr. med. K._ abweichen würden. Damit hatte er gerade nicht klar und unmissverständlich begründet, dass eine konventionskonforme Verhandlung mit Publikums- und Presseanwesenheit durchgeführt werden soll. Vielmehr ging es ihm einzig um die Abnahme eines bestimmten Beweismittels. Mit der Beschränkung seines Antrages auf eine parteiöffentliche - im Gegensatz zu einer publikumsöffentlichen - Verhandlung schloss er die Öffentlichkeit sogar ausdrücklich aus.
5.2 Auf die Zeugeneinvernahme als Beweismittel (<ref-law> in Verbindung mit Art. 62-65 BZP, vgl. Seiler/von Werdt/Güngerich, a.a.O., N. 6 und 11 zu <ref-law>) kann verzichtet werden, wenn davon keine entscheiderheblichen neuen Aufschlüsse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94).
Im vorliegenden Fall ist nicht ersichtlich, und wird in der Beschwerde auch nicht überzeugend begründet, inwiefern von der beantragten Zeugeneinvernahme ein solcher Erkenntnisgewinn hätte erwartet werden können. Das kantonale Gericht, könnte von der Durchführung dieser Beweismassnahmen auch unter Berücksichtigung von Art. 6 Ziff. 1 EMRK (vgl. BGE <ref-ruling> E. 4b S. 94 mit Hinweisen), absehen. Wie die Vorinstanz überzeugend begründete, kann das subjektive Erleben der Tochter und ihre nachträgliche retrospektive Beurteilung die fachärztlichen Erkenntnisse des psychiatrischen Gutachters nicht erschüttern. Die antizipierte Beweiswürdigung erfolgte zu Recht.
6. Streitig und zu prüfen ist der Rentenanspruch, insbesondere die Arbeitsunfähigkeit (<ref-law>) und der Invaliditätsgrad.
Die Vorinstanz hat die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze über die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> und <ref-law>; <ref-ruling> E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 4 S. 99 f. Mit Hinweisen; <ref-ruling> E. 3a S. 352 ff.) zutreffend dargelegt. Darauf wird verwiesen.
7. Das kantonale Gericht hat als Ergebnis seiner ausführlich begründeten Würdigung der medizinischen Unterlagen festgehalten, der Beschwerdeführer sei in physischer Hinsicht in einer angepassten Tätigkeit zu 100 % arbeitsfähig. Es traf überdies die Feststellung, der entscheidwesentliche Sachverhalt gehe aus den Akten mit genügender Klarheit hervor. Hinsichtlich der Beurteilung des psychischen Gesundheitszustandes stützte sich die Vorinstanz insbesondere auf das Gutachten des Dr. med. K._ vom 13. Juni 2009, welchem es vollen Beweiswert zuerkannte. Unter Berücksichtigung der Berichte der behandelnden Psychologin stellte es weiter fest, dass der Gutachter auf Nachforschungen über eine mögliche Kriegstraumatisierung vor Einreise in die Schweiz im Jahre 1979 und auf die Erhebung einer (weiteren) Fremdanamnese verzichten durfte. Die Schlussfolgerungen des Experten seien nachvollziehbar begründet. Auch aus psychiatrisch-psychotherapeutischer Sicht lasse sich keine Einschränkung der Zumutbarkeit begründen.
Mittels Einkommensvergleich hat die Vorinstanz bei einem monatlichen Valideneinkommen von Fr. 4'827.- und einem Invalideneinkommen von Fr. 3'604.-, welches bei einer nicht sachgerechten Berücksichtigung des maximal möglichen Abzuges von 25 % resultieren würde, auf einen rentenausschliessenden Invaliditätsgrad von 25,3 % geschlossen.
8. 8.1 Dass das kantonale Gericht im Rahmen freier Beweiswürdigung (<ref-law>) der im Gutachten des Dr. med. K._ vom 13. Juni 2009 in Berücksichtigung der relevanten Vorakten und der geklagten Beschwerden attestierten vollen Arbeitsunfähigkeit beweismässig ausschlaggebendes Gewicht beigemessen hat, ist - mit Blick auf die vorinstanzlich vollständige und inhaltlich korrekte Darlegung der medizinischen Aktenlage sowie deren sorgfältige und objektive Prüfung (vgl. <ref-ruling> E. 4.1 S. 400), aber auch angesichts der beweisrechtlich bedeutsamen Verschiedenheit von Behandlungs-/Therapieauftrag einerseits und Begutachtungsauftrag andererseits (vgl. <ref-ruling> E. 4 S. 175; s. auch Urteil I 701/05 vom 5. Januar 2007, E. 2 in fine, mit zahlreichen Hinweisen) - weder offensichtlich unrichtig noch willkürlich oder sonstwie bundesrechtswidrig. Das vorinstanzliche Beweisergebnis beruht vielmehr auf einer dem Anspruch auf rechtliches Gehör (<ref-law>) genügenden Auseinandersetzung mit den Einwänden des Versicherten.
8.2 Der Beschwerdeführer bringt vor, seine somatischen Beschwerden, namentlich eine im Oktober 2008 nachgewiesene Diskushernie L5, eine im Dezember 2006 diagnostizierte beginnende Coxarthrose links, die bekannte Tendinitis calcarea im Schultergelenk links und die Folgen des im Februar 2007 erfolgreich operierten Karzinoms in der Harnblase, seien von der Invalidenversicherung zu Unrecht nicht gutachterlich abgeklärt worden, womit die Sachverhaltsabklärung nur unvollständig erfolgt sei. Er übergeht dabei, dass keiner der ihn behandelnden Ärzte eine Arbeitsunfähigkeit bei einer leichten Tätigkeit als Hilfsarbeiter in Folge der genannten Gesundheitsschäden attestierte. Bei dieser klaren Ausgangslage bestand kein Anlass für eine weitere gutachterliche Abklärung.
8.3 Soweit der Beschwerdeführer letztinstanzlich darüber hinaus ausführlich begründet, weshalb seines Erachtens auf das psychiatrische Gutachten des Dr. med. K._ nicht abgestellt werden könne, da dieser Arzt die Ehefrau und die Tochter nicht befragte und eine mögliche Kriegstraumatisierung durch die Stationierung im Zypernkrieg nicht näher untersucht habe, und dass ein vom Gutachter durchgeführter Test fehlerhaft interpretiert worden sei, ist ihm nicht zu folgen. Bereits das kantonale Gericht hat ausführlich dargelegt, weshalb die Einwände des Versicherten gegen das Gutachten nicht zutreffen. Wenn es zur Hauptsache darauf abgestellt hat, ohne aber die weiteren Berichte von behandelnden und untersuchenden Ärzten ausser Acht zu lassen, nahm es eine Beweiswürdigung vor, die grundsätzlich nur unter der Voraussetzung der offensichtlich unrichtigen oder sonstwie bundesrechtswidrigen Sachverhaltsfeststellung einer Überprüfung durch das Bundesgericht zugänglich ist (E. 1 hievor), was nicht zutrifft. Die umfangreichen Vorbringen des Beschwerdeführers, die sich mit dem erwähnten Gutachten und damit mit der vorinstanzlichen Beweiswürdigung befassen, sind daher als unzulässige appellatorische Kritik am angefochtenen Entscheid nicht weiter zu beachten. Hinsichtlich der geforderten fremdanamnestischen Ergänzungen, insbesondere was die persönliche Geschichte des Beschwerdeführers vor seiner Einreise in die Schweiz betrifft, ist anzufügen, dass auch die den Versicherten bis zum Verfügungszeitpunkt während mehrerer Jahre behandelnde Psychologin in ihren Berichten und Zeugnissen keine diesbezüglich relevanten Angaben über irgendwelche die psychische Gesundheit des Patienten gefährdende Erlebnisse schildert. Daran kann auch das erst letztinstanzlich aufgelegte und als unzulässiges Novum (<ref-law>) nicht zu beachtende Zeugnis der Frau C._ vom 20. Dezember 2009 nichts ändern. Damit verletzt die vorinstanzliche Feststellung, dass vollumfänglich auf die Ergebnisse gemäss Gutachten vom 14. April 2009 abgestellt werden kann, kein Bundesrecht.
9. Entgegen der Darstellung in der Beschwerde hat das kantonale Gericht sehr wohl einen regelkonformen Einkommensvergleich vorgenommen. Es ist dabei zu Gunsten des Beschwerdeführers von einem durchschnittlich zu erzielenden Valideneinkommen ausgegangen, obwohl er ein solches ausweislich der Akten, insbesondere des IK-Auszuges, nie erreicht hatte. Bei einem maximal möglich Abzug von 25 % ergab sich ein Invaliditätsgrad von 25.3 %. Damit wurde der Anspruch auf eine Invalidenrente zu Recht verneint.
10. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. November 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer