Sachverhalt:
A. Der 1954 geborene R._ meldete sich am 11. Mai 2006 bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Diese tätigte medizinische und berufliche Abklärungen. Gestützt darauf verneinte sie mit Verfügung vom 22. Oktober 2009 einen Anspruch auf Invalidenrente.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Juni 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt R._ beantragen, in Aufhebung der Verfügung der IV-Stelle und des vorinstanzlichen Entscheids sei ihm eine ganze Invalidenrente zuzusprechen, eventualiter sei die Angelegenheit zur Neuabklärung zurückzuweisen. Zugleich lässt er um unentgeltliche Rechtspflege ersuchen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Das kantonale Gericht hat die zur Beurteilung des Rentenanspruchs massgebenden Bestimmungen und Grundsätze einschliesslich der Rechtsprechung zutreffend dargelegt.
3. In Würdigung der medizinischen Unterlagen gelangte die Vorinstanz zum Schluss, der Beschwerdeführer könne trotz der gesundheitlichen Beeinträchtigungen eine körperlich leichte bis mittelschwere, adaptierte Tätigkeit zu 100% der Norm ausüben, was einen Anspruch auf eine Invalidenrente ausschliesse. Dabei stellte sie insbesondere auf das von der IV-Stelle in Auftrag gegebene polydisziplinäre Gutachten des Ärztlichen Begutachtungsinstituts Z._ vom 5. Mai 2008 ab. Bezogen auf die vom Beschwerdeführer angerufenen Berichte des behandelnden Dr. med. H._, Psychiatrie und Psychotherapie FMH, vom 10. Juli 2008, 21. Januar und 6. April 2009 erwog es, diese seien nicht geeignet, die Einschätzung der Ärzte des Ärztlichen Begutachtungsinstituts Z._ in Frage zu stellen; denn dass der Beschwerdeführer an psychischen Symptomen leide, hätten auch die Gutachter des Ärztlichen Begutachtungsinstituts Z._ erkannt; sie hätten diese in zutreffender Weise in Zusammenhang mit der Somatisierungsstörung gestellt, wogegen Dr. med. H._ sich dazu nicht geäussert habe; sodann sei nicht einsichtig, weshalb bei einer wie der von Dr. med. H._ gestellten eher schwerwiegenden Diagnose nach Lage der Akten lediglich monatliche Therapiesitzungen stattfänden; schliesslich müsse bei den Ausführungen von Dr. med. H._, der etwa auch die Berentung als erstrebenswert erklärt habe, obwohl dies nicht seinen Aufgabenbereich betreffe, der Erfahrungstatsache Rechnung getragen werden, dass behandelnde Ärzte im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patienten aussagen würden.
4. Der Beschwerdeführer beruft sich letztinstanzlich erneut zur Hauptsache auf die Berichte von Dr. med. H._, ohne sich indessen mit den diese betreffenden, oben dargelegten vorinstanzlichen Erwägungen hinreichend auseinanderzusetzen. Einzig mit dem Hinweis, die Berichte von Dr. med. H._ seien jüngeren Datums als das Gutachten des Ärztlichen Begutachtungsinstituts Z._, ist die behauptete rechtsfehlerhafte Feststellung der verbliebenen Arbeitsfähigkeit nicht begründet: Das kantonale Gericht hat dargelegt, weshalb dennoch auf das Gutachten des Ärztlichen Begutachtungsinstituts Z._ abzustellen sei. Darauf geht der Beschwerdeführer nicht ein. Soweit er überdies eine durch die Verwaltung begangene Verletzung des Anspruchs auf rechtliches Gehör rügt, weil sie sich mit den Ausführungen von Dr. med. H._ nicht hinreichend auseinandergesetzt habe, ist ihm zu entgegnen, dass zumindest die Vorinstanz diese hinlänglich erörtert und damit eine allfällige Gehörsverletzung geheilt hat (vgl. <ref-ruling> E. 2.6.1. S. 285). Wenn er Gegenteiliges behauptet, so geht dies offenkundig fehl.
Insgesamt erweisen sich die Vorbringen des Beschwerdeführers, soweit überhaupt den Anforderungen nach <ref-law> genügend, als ungeeignet, die für das Bundesgericht verbindlichen tatsächlichen Feststellungen der Vorinstanz (E. 1 hievor) zur Arbeitsunfähigkeit als offensichtlich unrichtig oder sonst wie bundesrechtswidrig erscheinen zu lassen. Sie erschöpfen sich in weiten Teilen in einer unzulässigen appellatorischen Kritik an der Beweiswürdigung des Sozialversicherungsgerichts. Auf weitere Abklärungen, wie vom Beschwerdeführer eventualiter beantragt, ist dergestalt zu verzichten.
5. Die Beschwerde hatte keine Aussicht auf Erfolg. Sie kann somit im vereinfachten Verfahren nach <ref-law> als offensichtlich unbegründet (Abs. 2 lit. a) erledigt werden Das Gesuch um unentgeltliche Rechtspflege ist aus demselben Grund abzuweisen (<ref-law>). Die Gerichtskosten sind ausgangsgemäss dem Beschwerdeführer aufzuerlegen (Art. 66. Abs. 1 Satz 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Januar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Grünvogel