Sachverhalt: A. A.a. Der 1956 geborene A._ war zuletzt von März 1987 bis Dezember 2006 bei der Firma B._ als Bauarbeiter/Schaler angestellt. Das Arbeitsverhältnis wurde aufgelöst, weil die Firma B._ ihre operative Tätigkeit Ende 2006 einstellte. Ab Mitte Dezember 2006 wurde A._ durch seinen Hausarzt Dr. med. C._, Allgemeinmedizin FMH, wegen Rückenschmerzen und depressiven Verstimmungen 100 % krankgeschrieben. Ein auf Januar 2007 vorgesehenes Arbeitsverhältnis bei der Bauunternehmung D._ AG trat er aus gesundheitlichen Gründen nicht an. Im Mai 2007 meldete sich A._ unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an (Umschulung, Arbeitsvermittlung und Rente). Die IV-Stelle Basel-Stadt klärte die erwerblichen und medizinischen Verhältnisse ab und holte namentlich ein rheumatologisch-psychiatrisches Gutachten der Dres. med. E._, Psychiatrie Psychotherapie FMH, und F._, FMH Innere Medizin und Rheumaerkrankungen, vom 4. März 2008 ein. Gestützt darauf wies sie das Leistungsbegehren des Versicherten mit in Rechtskraft erwachsener Verfügung vom 11. Juli 2008 ausgehend von einem Invaliditätsgrad von 14 % ab. A.b. Im Oktober 2009 meldete sich A._ erneut zum Bezug von Leistungen der Invalidenversicherung an. Nach Einholung eines bidisziplinären Verlaufsgutachtens der Dres. med. E._ und F._ vom 24. Mai 2011 lehnte die IV-Stelle mit Verfügung vom 2. Januar 2012 einen Rentenanspruch ausgehend von einem Invaliditätsgrad von 7 % wiederum ab. Eine dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 27. Juni 2012 ab. A.c. Im Januar 2013 meldete sich A._ für die Durchführung von beruflichen Massnahmen bei der Invalidenversicherung an. Mit Verfügung vom 30. Mai 2013 schloss die IV-Stelle die beruflichen Massnahmen aufgrund einer fehlenden subjektiven Eingliederungsfähigkeit ab. Sie leitete erneut eine Überprüfung des Rentenanspruchs ein, welchen sie nach Einholung eines bidisziplinären Gutachtens der Dres. med. E._ und F._ vom 17. und 25. März 2014 sowie nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 21. August 2014 ablehnte. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 12. Mai 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die Verfügung der IV-Stelle vom 21. August 2014 sowie der vorinstanzliche Entscheid vom 12. Mai 2015 seien aufzuheben und die Angelegenheit sei zur Vornahme weiterer Abklärungen und zu neuer Entscheidung an die IV-Stelle zurückzuweisen. Zudem lässt er um Gewährung der unentgeltlichen Rechtspflege ersuchen. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.