Sachverhalt:
A. Der 1954 geborene B._ war seit November 1990 als Deckenmonteur bei der Firma I._ AG für integrierte Deckensysteme tätig. Am 17. Mai 2010 meldete er sich unter Hinweis auf seit Januar 2010 bestehende Rückenbeschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich traf erwerbliche sowie medizinische Abklärungen und holte unter anderem ein rheumatologisches Gutachten der Frau Dr. med. und Dr. sc. nat. ETH S._, Innere Medizin FMH spez. Rheumaerkrankungen, vom 19. Mai 2011 sowie ein psychiatrisches Gutachten mit interdisziplinärer Zusammenfassung des Dr. med. K._, Psychiatrie und Psychotherapie FMH, Chefarzt Klinik X._, vom 27. Mai 2011 ein. Nach durchgeführtem Vorbescheidverfahren verneinte die IV-Stelle mit Verfügung vom 24. Oktober 2011 ausgehend von einem Invaliditätsgrad von 33% den Anspruch auf eine Invalidenrente.
B. Die dagegen erhobene Beschwerde, mit welcher B._ die Zusprechung einer ganzen Invalidenrente sowie die Vornahme weiterer medizinischer Abklärungen beantragen liess, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. August 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheids eine ganze Invalidenrente auszurichten, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, subeventualiter sei die Sache zu weiteren Abklärungen und anschliessender neuen Entscheidung an die Vorinstanz zurückzuweisen, subsubeventualiter sei die Sache zu weiteren Abklärungen und anschliessender neuen Entscheidung an die IV-Stelle zurückzuweisen. Gleichzeitig ersucht B._ um Gewährung der unentgeltlichen Rechtspflege.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 137 II 313 E. 1.4 S. 317 f. mit Hinweis). Trotzdem obliegt es der Beschwerde führenden Partei, sich in ihrer Beschwerde sachbezogen mit den Darlegungen im angefochtenen Entscheid auseinanderzusetzen (Art. 42 Abs. 1 und 2 BGG). Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; vgl. auch BGE 137 III 580 E. 1.3 S. 584; je mit Hinweisen). Hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt eine qualifizierte Rügepflicht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 137 V 57 E. 1.3 S. 60; 136 I 49 E. 1.4.1 S. 53).
1.2 Im Rahmen der Invaliditätsbemessung betreffen die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose und die ärztliche Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die auf Grund der medizinischen Untersuchungen gerichtlich konstatierte Arbeits(un)fähigkeit Tatfragen (BGE 132 V 393 E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. 2.1 Streitig und - im Rahmen der dargelegten Kognition - zu prüfen ist, ob das kantonale Gericht mit der Verneinung des Anspruchs auf eine Invalidenrente Bundesrecht verletzt hat.
2.2 Die hiefür massgebenden Rechtsgrundlagen, namentlich die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zum Begriff der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG) und der Erwerbsunfähigkeit (Art. 7 ATSG), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG) sowie zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG) sind im angefochtenen Entscheid zutreffend dargelegt worden. Richtig sind auch die Ausführungen zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
3. 3.1 Die Vorinstanz hat nach einlässlicher und umfassender Würdigung der medizinischen Aktenlage, insbesondere gestützt auf das rheumatologische Gutachten der Frau Dr. med. und Dr. sc. nat. ETH S._ vom 19. Mai 2011 sowie das psychiatrische Gutachten mit interdisziplinärer Zusammenfassung des Dr. med. K._ vom 27. Mai 2011 erkannt, dass dem Beschwerdeführer die bisherige Tätigkeit als Deckenmonteur nicht mehr, eine leidensangepasste Tätigkeit jedoch zu 100% zumutbar sei.
3.2 Die Tatsachenfeststellungen des kantonalen Gerichts, namentlich die aus den medizinischen Unterlagen gewonnenen Erkenntnisse, sind im letztinstanzlichen Prozess grundsätzlich verbindlich. Im Rahmen der eingeschränkten Sachverhaltskontrolle (Art. 97 Abs. 1 BGG) ist es nicht Aufgabe des Bundesgerichts, die schon im vorangegangenen Verfahren im Recht gelegenen ärztlichen Berichte neu zu würdigen und die rechtsfehlerfreie Sachverhaltsfeststellung der Vorinstanz hinsichtlich der medizinisch begründeten Verminderung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Beeinträchtigungen verbleibenden Arbeitsfähigkeit zu korrigieren (E. 1 hiervor).
3.3 Die Vorbringen des Beschwerdeführers sind nicht geeignet, eine offensichtliche Unrichtigkeit der betreffenden Schlussfolgerungen des kantonalen Gerichts aufzuzeigen, zumal sie sich grossteils in einer wörtlichen Wiederholung der schon im erstinstanzlichen Beschwerdeverfahren erhobenen und entkräfteten Rügen erschöpfen.
3.3.1 So hat sich die Vorinstanz bereits einlässlich mit den Ausführungen der beiden Gutachter auseinandergesetzt sowie schlüssig dargelegt, dass den Gutachten voller Beweiswert zuzuerkennen ist und sie im Wesentlichen mit den Berichten der andern Ärzte übereinstimmen, lediglich von der Einschätzung der Arbeitsfähigkeit durch den behandelnden Arzt Dr. med. N._, Facharzt FMH Allg. Medizin, abweichen.
3.3.2 Der Beschwerdeführer bringt sodann wiederum Kritik bezüglich Befangenheit der Gutachter vor und macht unter Berufung auf BGE 137 V 210 geltend, die Gutachten seien beweisrechtlich einer versicherungsinternen medizinischen Entscheidsgrundlage gleichzustellen, weshalb bereits geringe Zweifel an der Zuverlässigkeit der ärztlichen Feststellung genügten, um eine neue Begutachtung anzuordnen. Solche Zweifel seien hier gerechtfertigt.
Letzteres trifft nicht zu. Das kantonale Gericht hat gestützt auf eine einlässliche Auseinandersetzung mit den medizinischen Akten erkannt, dass die Gutachten S._ und K._ vom 19. und 27. Mai 2011 in allen Teilen beweiswertig sind und die sich bei der Invaliditätsbemessung in medizinischer Hinsicht stellenden Fragen überzeugend beantworten. Diese Beweiswürdigung ist weder offensichtlich unrichtig noch sonstwie rechtswidrig. Das gilt namentlich auch hinsichtlich des Einbezugs der übrigen medizinischen Akten. Liegt demnach mit den eingeholten Gutachten eine für die streitigen Belange umfassende und beweiskräftige fachärztliche Beurteilung vor, hat das kantonale Gericht auch, entgegen der in der Beschwerde vertretenen Auffassung, zu Recht auf die Einholung eines Obergutachtens verzichtet. Damit kann offen bleiben, ob die zu Gutachten der Medizinischen Abklärungsstellen (MEDAS) erarbeiteten Grundsätze gemäss BGE 137 V 210 und Urteil 9C_495/2012 vom 4. Oktober 2012 im vorliegenden Fall, in welchem die zur Diskussion stehenden Gutachten nicht von einer MEDAS stammen, überhaupt anwendbar wären.
3.3.3 Des Weitern sieht der Beschwerdeführer eine Verletzung des rechtlichen Gehörs darin, dass sich die Vorinstanz nicht mit seiner Argumentation auseinandergesetzt habe, wonach gemäss bundesgerichtlicher Rechtsprechung Versicherten ab dem 55. Altersjahr eine Wiedereingliederung nicht zumutbar sei.
Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (BGE 136 I 184 E. 2.2.1 S. 188, 229 E. 5.2 S. 236).
Das kantonale Gericht hat sich zwar nicht ausdrücklich mit der Argumentation betreffend Wiedereingliederung auseinandergesetzt, indes geht aus der Zugrundelegung einer 100%igen Arbeitsfähigkeit in einer behinderungsangepassten Tätigkeit im angefochtenen Entscheid hervor, dass es diese Rechsprechung als nicht anwendbar erachtete. Dieser Standpunkt ist denn auch zutreffend, bezieht sich die vom Beschwerdeführer angerufene Rechtsprechung doch auf Fälle, in denen eine versicherte Person eine (teilweise) wiedergewonnene Arbeitsfähigkeit nach längerem Rentenbezug wieder verwerten soll. Dies ist vorliegend nicht der Fall.
3.3.4 Soweit sich der Beschwerdeführer schliesslich auf die nach der Operation vom 10. Februar 2012 ausgebliebene Linderung der Beschwerden sowie die deswegen erforderliche erneute Operation vom 2. Oktober 2012 beruft, ist darauf hinzuweisen, dass für das vorliegende Beschwerdeverfahren der bis zum Zeitpunkt des Verfügungserlasses eingetretene Sachverhalt massgebend ist (BGE 132 V 215 E. 3.1.1. S. 220), es dem Versicherten jedoch unbenommen bleibt, bei einer relevanten Veränderung des Gesundheitszustandes eine erneute Anmeldung vorzunehmen.
3.4 Nicht gerügt wird die konkrete Invaliditätsbemessung, weshalb diesbezüglich kein Anlass zu einer näheren Prüfung besteht. Mit der verfügten und vorinstanzlich bestätigten Verneinung des Rentenanspruchs hat es daher sein Bewenden.
4. Die Beschwerde ist somit abzuweisen. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG).
Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Die erhobenen Rügen vermochten den angefochtenen Entscheid nicht ernsthaft in Zweifel zu ziehen. Dem Gesuch um unentgeltliche Rechtspflege kann daher zufolge Aussichtslosigkeit der Beschwerde (BGE 138 III 217 E. 2.2.4 S. 218) nicht entsprochen werden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. März 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Kopp Käch