Sachverhalt: A. A.a. Der 1962 geborene A._ arbeitete zuletzt bis Ende September 2009 als Küchenhilfe in einem Altersheim. Wegen Beschwerden an den Füssen leistete die IV-Stelle des Kantons Zürich Kostengutsprache für orthopädische Serienschuhe. Im April 2006 meldete sich A._ unter Hinweis auf Fersen- und Rückenschmerzen sowie Knieprobleme bei der IV-Stelle zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen verneinte die IV-Stelle mit Verfügung vom 14. Dezember 2006 einen Rentenanspruch. Dies bestätigte das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. April 2008. A.b. Mit Eingabe vom 2. Juli 2007 machte der Versicherte eine Verschlechterung des Gesundheitszustandes geltend. Die IV-Stelle führte medizinische Abklärungen durch und verneinte gestützt darauf mit Verfügung vom 23. April 2010 erneut einen Rentenanspruch. Das kantonale Gericht wies die dagegen erhobene Beschwerde mit Entscheid vom 22. März 2011 ab. Das Bundesgericht trat auf die Beschwerde mit Entscheid vom 28. Juni 2011 nicht ein. A.c. Am 21. September 2012 meldete sich A._ wiederum bei der Invalidenversicherung zum Leistungsbezug an. Aufgrund der gegen den Vorbescheid vom 22. November 2012 erhobenen Einwände liess die IV-Stelle den Versicherten im Sanatorium B._ psychiatrisch begutachten (Gutachten vom 12. Juli 2013). Mit Verfügung vom 25. November 2013 verneinte sie abermals einen Rentenanspruch. B. Die von A._ dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. August 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, ihm die gesetzlichen Leistungen nach dem Invalidenversicherungsgesetz zuzusprechen. Die Sache sei zur ergänzenden medizinischen Abklärung an die Verwaltung zurückzuweisen. Eventualiter sei die IV-Stelle zu verpflichten, ihm eine ganze Rente zuzusprechen. Zudem wird um unentgeltliche Rechtspflege ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.