Sachverhalt:
A.
A.a. Der 1956 geborene A._ war zuletzt von März 1987 bis Dezember 2006 bei der Firma B._ als Bauarbeiter/Schaler angestellt. Das Arbeitsverhältnis wurde aufgelöst, weil die Firma B._ ihre operative Tätigkeit Ende 2006 einstellte. Ab Mitte Dezember 2006 wurde A._ durch seinen Hausarzt Dr. med. C._, Allgemeinmedizin FMH, wegen Rückenschmerzen und depressiven Verstimmungen 100 % krankgeschrieben. Ein auf Januar 2007 vorgesehenes Arbeitsverhältnis bei der Bauunternehmung D._ AG trat er aus gesundheitlichen Gründen nicht an. Im Mai 2007 meldete sich A._ unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an (Umschulung, Arbeitsvermittlung und Rente). Die IV-Stelle Basel-Stadt klärte die erwerblichen und medizinischen Verhältnisse ab und holte namentlich ein rheumatologisch-psychiatrisches Gutachten der Dres. med. E._, Psychiatrie Psychotherapie FMH, und F._, FMH Innere Medizin und Rheumaerkrankungen, vom 4. März 2008 ein. Gestützt darauf wies sie das Leistungsbegehren des Versicherten mit in Rechtskraft erwachsener Verfügung vom 11. Juli 2008 ausgehend von einem Invaliditätsgrad von 14 % ab.
A.b. Im Oktober 2009 meldete sich A._ erneut zum Bezug von Leistungen der Invalidenversicherung an. Nach Einholung eines bidisziplinären Verlaufsgutachtens der Dres. med. E._ und F._ vom 24. Mai 2011 lehnte die IV-Stelle mit Verfügung vom 2. Januar 2012 einen Rentenanspruch ausgehend von einem Invaliditätsgrad von 7 % wiederum ab. Eine dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 27. Juni 2012 ab.
A.c. Im Januar 2013 meldete sich A._ für die Durchführung von beruflichen Massnahmen bei der Invalidenversicherung an. Mit Verfügung vom 30. Mai 2013 schloss die IV-Stelle die beruflichen Massnahmen aufgrund einer fehlenden subjektiven Eingliederungsfähigkeit ab. Sie leitete erneut eine Überprüfung des Rentenanspruchs ein, welchen sie nach Einholung eines bidisziplinären Gutachtens der Dres. med. E._ und F._ vom 17. und 25. März 2014 sowie nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 21. August 2014 ablehnte.
B.
Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 12. Mai 2015 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die Verfügung der IV-Stelle vom 21. August 2014 sowie der vorinstanzliche Entscheid vom 12. Mai 2015 seien aufzuheben und die Angelegenheit sei zur Vornahme weiterer Abklärungen und zu neuer Entscheidung an die IV-Stelle zurückzuweisen. Zudem lässt er um Gewährung der unentgeltlichen Rechtspflege ersuchen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (<ref-ruling> E. 5.1 S. 232).
2.
Streitig und im Rahmen der dargelegten Kognition zu prüfen ist, ob sich in diesem Fall einer Neuanmeldung nach vorgängiger Ablehnung eines Rentenanspruchs der Sachverhalt in der Zeit zwischen der letzten, mit Entscheid des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 27. Juni 2012 bestätigten Verfügung vom 2. Januar 2012 und der rentenablehnenden Verfügung vom 21. August 2014 in erheblichem Ausmass verändert hat.
Die Vorinstanz hat die für die Beurteilung massgebenden Rechtsgrundlagen, insbesondere die bei der Rentenrevision geltenden Grundsätze, welche bei Neuanmeldungen analog Anwendung finden (<ref-law>; Art. 87 Abs. 2 und 3 IVV; <ref-ruling> E. 3.2.3 S. 77; vgl. auch <ref-ruling> E. 5.4 S. 114; <ref-ruling> E. 3. S. 132) zutreffend wiedergegeben. Richtig sind auch die Ausführungen zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 6.2.2 S. 269; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht hat erkannt, dass das Gutachten der Dres. med. E._ und F._ vom 17. und 25. März 2014 sowohl unter formal- wie materiellrechtlichen Gesichtspunkten in allen Teilen beweistauglich sei. In umfassender Würdigung der gesamten medizinischen Aktenlage, insbesondere gestützt auf das bidisziplinäre Gutachten der Dres. med. E._ und F._ hat es festgestellt, dass es im Vergleich zur Beurteilung im Jahre 2012 nicht zu einer massgeblichen Verschlechterung des Gesundheitszustandes und damit der Erwerbsfähigkeit gekommen sei.
3.2. Der Beschwerdeführer macht - wie bereits im kantonalen Verfahren - Befangenheit der Gutachter geltend. Die Fachärzte seien ihm nicht mehr vorurteilsfrei gegenübergetreten, nachdem sie ihn bereits zweimal begutachtet hätten. Zudem hätten sie dem seit der vorletzten Begutachtung erstellten MRT der Lendenwirbelsäule vom 7. Mai 2013 zu wenig Beachtung geschenkt und sich nicht ausreichend mit den abweichenden Meinungen der behandelnden Ärzte auseinandergesetzt. Schliesslich sei die angefochtene Verfügung mangelhaft, weil sie keinen Einkommensvergleich enthalte.
4.
4.1. Nach der Rechtsprechung gelten für medizinische Sachverständige grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit zu erwecken. Bei der Befangenheit handelt es sich allerdings um einen inneren Zustand, der nur schwer bewiesen werden kann. Es braucht daher für die Ablehnung nicht nachgewiesen zu werden, dass die sachverständige Person tatsächlich befangen ist. Es genügt vielmehr, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen. Bei der Beurteilung des Anscheins der Befangenheit und der Gewichtung solcher Umstände kann jedoch nicht auf das subjektive Empfinden einer Partei abgestellt werden. Das Misstrauen muss vielmehr in objektiver Weise als begründet erscheinen. Im Hinblick auf die erhebliche Bedeutung, welche den Arztgutachten im Sozialversicherungsrecht zukommt, ist - wie die Vorinstanz zutreffend dargelegt hat - an die Unparteilichkeit des Gutachters ein strenger Massstab anzusetzen (<ref-ruling> E. 7.1 S. 109 f.; SVR 2013 IV Nr. 35 S. 105, 9C_689/2012 E. 2.2; vgl. auch <ref-ruling> E. 2.1.3 S. 231). So kann das Expertenverhalten während der Exploration objektiv den Anschein von Befangenheit erwecken. Zu denken ist etwa an Äusserungen, welche die Glaubhaftigkeit der Angaben des Exploranden oder der Explorandin zum Gesundheitszustand und zur Selbsteinschätzung der Arbeitsfähigkeit von vornherein mehr oder weniger offen verneinen, an abschätzige Bemerkungen persönlicher Natur oder unter Umständen an die Art und Weise, wie die Untersuchung durchgeführt wird. Die Objektivität der Beurteilung steht auch in Frage, wenn die begutachtende Person von weitgehend sachfremden Kriterien auf Aspekte des Gesundheitszustandes schliesst, welche für die zumutbare Arbeitsfähigkeit von Bedeutung sind. Schliesslich kann die Abfassung einer medizinischen Expertise in beleidigendem Ton oder sonst auf unsachliche Art und Weise objektiv Zweifel an der Unvoreingenommenheit der sachverständigen Person wecken (Urteil 9C_893/2009 vom 22. Dezember 2009 E. 1.2.2 mit Hinweisen).
4.2. Der Umstand, dass sich ein Sachverständiger schon einmal mit einer Person befasst hat, schliesst später dessen Beizug als Gutachter nicht zum Vornherein aus. Eine unzulässige Vorbefassung liegt auch dann nicht vor, wenn er zu (für eine Partei) ungünstigen Schlussfolgerungen gelangt. Anderes gilt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv zu begründen vermögen, etwa wenn der Sachverständige seinen Bericht nicht neutral und sachlich abfasste (<ref-ruling> E. 7.2.2 S. 110 mit Hinweisen). Zu fragen ist dabei danach, ob das Ergebnis der Begutachtung nach wie vor als offen und nicht vorherbestimmt erscheint. Kann die Offenheit bejaht werden, ist die Besorgnis der Voreingenommenheit trotz Vorbefassung unbegründet. Dies ist beispielsweise der Fall, wenn der Experte andere Fragen zu beantworten oder sein erstes Gutachten lediglich zu erklären, zu erläutern oder zu ergänzen hat, nicht aber, wenn er die Schlüssigkeit seiner früheren Expertise zu überprüfen oder objektiv zu kontrollieren hat (Urteil 8C_212/2015 vom 10. Juli 2015 E. 3.3.2). Bei einer Verlaufsbegutachtung, welche nicht eine Überprüfung des früheren Gutachtens, sondern allfällige seitherige Veränderungen zum Gegenstand hat, ist es somit sachgerecht und kann es den Aufschlusswert erhöhen, wenn die seitherige gesundheitliche Entwicklung von den mit dem Fall bereits vertrauten medizinischen Vorgutachtern abgeklärt und beurteilt wird (Urteil 9C_1032/2010 vom 1. September 2011 E. 4.1).
4.3. Mit dem kantonalen Gericht sind vorliegend Anhaltspunkte für eine Befangenheit der Gutachter zu verneinen. Der vorinstanzliche Entscheid setzt sich mit den diesbezüglichen, bereits im kantonalen Verfahren erhobenen Einwendungen des Beschwerdeführers zutreffend auseinander. In Anbetracht der Beurteilung eines mehrjährigen Krankheitsverlaufs im Rahmen einer Verlaufsbegutachtung ist der Beizug der bereits früher involvierten Sachverständigen - wie oben dargelegt - nicht zu beanstanden. Schliesslich ist nochmals darauf hinzuweisen, dass es auch zur Aufgabe des Gutachters gehört, den Befund anhand der Klinik zu überprüfen und dessen Auswirkungen bei der Untersuchung und im Alltag substanziiert darzulegen. Dazu gehören insbesondere auch Angaben zum beobachteten Verhalten, Feststellungen über die Konsistenz der gemachten Angaben, wie auch Hinweise, welche zur Annahme von Aggravation führen könne. Daraus ergeben sich keine Anhaltspunkte, welche den Anschein der Befangenheit oder von Voreingenommenheit der Gutachter zu begründen vermöchten.
5.
5.1. Was sodann die Frage der Verschlechterung des Gesundheitszustandes anbelangt, sind die durch das kantonale Gericht getroffenen Tatsachenfeststellungen, namentlich die aus den medizinischen Unterlagen gewonnenen Erkenntnisse, im letztinstanzlichen Prozess grundsätzlich verbindlich (vgl. E. 1.1 hiervor). Im Rahmen der eingeschränkten Sachverhaltskontrolle (<ref-law>) ist es nicht Aufgabe des Bundesgerichts, die schon im vorangehenden Verfahren im Recht gelegenen ärztlichen Berichte neu zu beurteilen und die rechtsfehlerfreie Sachverhaltsfeststellung der Vorinstanz hinsichtlich einer medizinisch begründeten Verminderung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Beeinträchtigungen verbleibenden Arbeitsfähigkeit zu korrigieren.
5.2. Die diesbezüglichen Vorbringen des Beschwerdeführers zeigen keine offensichtliche Unrichtigkeit der vorinstanzlichen Schlussfolgerungen auf. Mit dem kantonalen Gericht ist dem Gutachten der Dres. med. E._ und F._ vom 17. und 25. März 2014 die Erfüllung der rechtsprechungsgemässen Kriterien beweiskräftiger medizinischer Gutachten zuzuerkennen. Die Sachverständigen legen in Kenntnis der Vorakten, namentlich unter Berücksichtigung des MRT der Lendenwirbelsäule vom 7. Mai 2013 und der transitorischen ischämischen Attacke vom 14. Juli 2013, ausdrücklich dar, dass im Vergleich zum Zeitpunkt der letzten rentenabweisenden Verfügung vom 2. Januar 2012 keine relevante Veränderung des Gesundheitszustandes eingetreten sei. Vielmehr gelte für die angestammte Tätigkeit nach wie vor die aus somatischer Sicht formulierte Leistungseinbusse von 35-40 %, wohingegen für eine angepasste Verweistätigkeit keine anhaltende Einschränkung der Arbeitsfähigkeit formuliert werden könne. In diesem Zusammenhang kann denn auch auf den Austrittsbericht der Neurologischen Klinik und Poliklinik des Spitals G._ vom 8. August 2013 verwiesen werden, gemäss welchem der Beschwerdeführer nach der transitorischen ischämischen Attacke vom 14. Juli 2013 am 18. Juli 2013 in gutem Allgemeinzustand beschwerdefrei nach Hause entlassen werden konnte.
5.3. Zusammenfassend beruht die vorinstanzliche Annahme einer fehlenden Verschlechterung des Gesundheitszustandes sowie einer nach wie vor zumutbaren vollen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit weder auf offensichtlich unrichtigen noch auf sonstwie rechtsfehlerhaften Tatsachenfeststellungen. Weil von zusätzlichen medizinischen Abklärungsmassnahmen keine neuen entscheidwesentlichen Aufschlüsse zu erwarten sind, kann und konnte auf weitergehende medizinische Erhebungen und Gutachten verzichtet werden (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236).
6.
Da sich gemäss angefochtenem Entscheid im massgeblichen Zeitraum am Gesundheitszustand und beim Grad der Arbeitsfähigkeit keine wesentliche Änderung ergeben hat, erübrigt es sich schliesslich, eine Invaliditätsbemessung mit Einkommensvergleich vorzunehmen. Mangels invalidenversicherungsrechtlich relevanter Verschlechterung des Gesundheitszustands besteht nach wie vor kein Rentenanspruch. Beim vorinstanzlichen Entscheid hat es somit sein Bewenden.
7.
Das Verfahren ist kostenpflichtig (<ref-law>). Dem unterliegenden Versicherten werden die Gerichtskosten auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann gewährt werden, da die gesetzlichen Voraussetzungen erfüllt sind (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Advokat Dr. Heiner Schärrer wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Januar 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Kopp Käch