Sachverhalt: A. Der 1954 geborene B._ war seit November 1990 als Deckenmonteur bei der Firma I._ AG für integrierte Deckensysteme tätig. Am 17. Mai 2010 meldete er sich unter Hinweis auf seit Januar 2010 bestehende Rückenbeschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich traf erwerbliche sowie medizinische Abklärungen und holte unter anderem ein rheumatologisches Gutachten der Frau Dr. med. und Dr. sc. nat. ETH S._, Innere Medizin FMH spez. Rheumaerkrankungen, vom 19. Mai 2011 sowie ein psychiatrisches Gutachten mit interdisziplinärer Zusammenfassung des Dr. med. K._, Psychiatrie und Psychotherapie FMH, Chefarzt Klinik X._, vom 27. Mai 2011 ein. Nach durchgeführtem Vorbescheidverfahren verneinte die IV-Stelle mit Verfügung vom 24. Oktober 2011 ausgehend von einem Invaliditätsgrad von 33% den Anspruch auf eine Invalidenrente. B. Die dagegen erhobene Beschwerde, mit welcher B._ die Zusprechung einer ganzen Invalidenrente sowie die Vornahme weiterer medizinischer Abklärungen beantragen liess, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. August 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheids eine ganze Invalidenrente auszurichten, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, subeventualiter sei die Sache zu weiteren Abklärungen und anschliessender neuen Entscheidung an die Vorinstanz zurückzuweisen, subsubeventualiter sei die Sache zu weiteren Abklärungen und anschliessender neuen Entscheidung an die IV-Stelle zurückzuweisen. Gleichzeitig ersucht B._ um Gewährung der unentgeltlichen Rechtspflege. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.