Sachverhalt:
A.
Der 1964 geborene A._ meldete sich am 27. Februar 2007 unter Hinweis auf einen operierten Gleitwirbel, Hyperlaxität und zunehmende Allergien bei der Invalidenversicherung zum Leistungsbezug an. Nach diversen Abklärungen und der Einholung eines interdisziplinären Gutachtens beim Institut B._ in C._ vom 21. November 2007 wies die IV-Stelle Bern mit Verfügung vom 19. Februar 2008 ausgehend von einem IV-Grad von 29 % einen Rentenanspruch ab. Am 17. März 2009 verfügte sie alsdann den Abschluss der beruflichen Massnahmen, welche sie mit Mitteilung vom 28. Januar 2008 gewährt hatte. Die hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 9. September 2009 in dem Sinne gut, als es die Verfügung vom 17. März 2009 aufhob und die Sache an die Verwaltung zurückwies, damit diese die Voraussetzungen für die einzelnen beruflichen Massnahmen abkläre und den Einwand des Versicherten vom 30. Januar 2009, mit welchem er die erneute Prüfung des Rentenanspruchs beantragte, als Neuanmeldung entgegennehme.
In der Folge führte die IV-Stelle weitere berufliche und medizinische Abklärungen durch, gewährte Eingliederungsmassnahmen und beauftragte das Institut B._ schliesslich erneut mit einer medizinischen Beurteilung (Gutachten vom 5. Mai 2014). Mit Verfügung vom 17. September 2014 wies sie nach Durchführung des Vorbescheidverfahrens gestützt auf das Gutachten des Instituts B._ einen Anspruch des Versicherten auf berufliche Eingliederungsmassnahme ab. Sodann verneinte sie mit Verfügung vom 29. September 2014 einen Anspruch auf eine Invalidenrente
B.
Die gegen beide Verfügungen erhobenen Beschwerden wies das Verwaltungsgericht des Kantons Bern nach Vereinigung der Verfahren mit Entscheid vom 21. Mai 2015 ab.
C.
Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei ihm eine halbe Invalidenrente zuzusprechen. Subsidiär sei die Angelegenheit an die Vorinstanz zurückzuweisen. In einer separaten Eingabe wird zudem um Gewährung der unentgeltlichen Rechtspflege ersucht.
Während die IV-Stelle unter Verzicht auf eine ausführliche Vernehmlassung auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Von diesen tatsächlichen Feststellungen kann es nur abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2.
2.1. Streitig und zu prüfen ist vor Bundesgericht nur mehr einzig die Rechtsfrage, ob im Rahmen der Bemessung des Invaliditätsgrades der vorinstanzliche Verzicht auf einen Tabellenlohnabzug Bundesrecht verletzt.
2.2. Ob und in welcher Höhe statistische Tabellenlöhne herabzusetzen sind, hängt nach den zutreffenden Erwägungen im angefochtenen Entscheid von sämtlichen persönlichen und beruflichen Umständen des Einzelfalles ab, die nach pflichtgemässem Ermessen gesamthaft zu schätzen sind. Relevante Merkmale sind leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad (BGE 126 V 75 E. 5b/bb S. 80). Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom hypothetischen Invalideneinkommen vorzunehmen sei, ist eine Rechtsfrage. Demgegenüber stellt die Höhe des Abzuges eine typische Ermessensfrage dar, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, d.h. bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (BGE 137 V 71 E. 5.1 S. 72 f. mit Hinweis auf BGE 132 V 393 E. 3.3 S. 399).
2.3. Im angefochtenen Entscheid wird zur Nichtgewährung eines Abzugs von den Tabellenlöhnen erwogen, die leidensbedingten Einschränkungen seien im Zumutbarkeitsprofil bereits berücksichtigt worden. Im Weitern rechtfertigten auch die übrigen Faktoren (Alter, Dienstjahre, Nationalität/Aufenthaltskategorie, Beschäftigungsgrad) keinen Abzug, sei doch der Versicherte erst 50 Jahre alt, Schweizer Staatsbürger und könnte in einem vollschichtigen Pensum (mit erhöhtem Pausenbedarf) arbeiten.
2.4. Der Beschwerdeführer ist im Gegensatz dazu der Ansicht, dass sich angesichts der leidensbedingten Arbeitsplatzeinschränkung, des fortgeschrittenen Alters und des reduzierten Beschäftigungsgrades ein maximaler Abzug von 25 % rechtfertige.
3.
3.1. Der vorinstanzlichen Beurteilung ist insofern zuzustimmen, als die leidensbedingten Einschränkungen im Zumutbarkeitsprofil gemäss Gutachten des Instituts B._ vom 7. Mai 2014 bereits enthalten sind und mit der festgestellten 75%-igen Arbeitsfähigkeit aufgefangen werden. Die Einwendungen des Beschwerdeführers vermögen daran nichts zu ändern. Insbesondere lässt sich aus dem Umstand, dass die IV-Stelle bereits in der Verfügung vom 19. Februar 2008 einen Abzug von 15 % gewährte, nichts für den konkreten Fall ableiten, so ist mit der Vorinstanz über einen allfälligen Abzug bei jeder Rentenbeurteilung neu zu befinden. Auch bezüglich des Alters des Versicherten und seiner Nationalität besteht offensichtlich kein Abzugsgrund, fällt doch bei Versicherten anfangs Fünfzig das Merkmal "Lebensalter" noch kaum ins Gewicht (Urteil 9C_268/2014 vom 29. April 2014 E.2.2). Ob ein Abzug für die Abwesenheit vom Arbeitsmarkt seit bald 15 Jahren gewährt werden könnte, kann dahinstehen. Jedenfalls ist ein solcher mit Blick auf die Teilzeiterwerbstätigkeit des Beschwerdeführers vorzunehmen. So ist dem Versicherten beizupflichten, dass teilzeitbeschäftigte Männer im Vergleich zu Vollzeitangestellten erfahrungsgemäss überproportional tiefer entlöhnt werden (vgl. BGE 126 V 472 E. 4.2.3 S. 481; nebst vielen Urteil 8C_668/2010 vom 15. März 2011 E. 7.2.2).
3.2. Unter Berücksichtigung aller Umstände scheint auch in Anbetracht ähnlich gelagerter Fälle ein Abzug von insgesamt 10 % als angezeigt. Dies führt zu einem Invalideneinkommen von Fr. 42'460.-, was in Gegenüberstellung mit dem von der Vorinstanz festgestellten unbestrittenen Valideneinkommen von Fr. 77'662.- einem Invaliditätsgrad von gerundet 44 % entspricht. Der Beschwerdeführer hat damit Anspruch auf eine Viertelsrente. Angesichts der Neuanmeldung im Januar 2009 und einer aufgrund des Gutachtens des Instituts B._ ausgewiesenen Leistungseinschränkung von 25 % ab Anfang 2013 ist der Rentenbeginn in Anwendung von Art. 28 Abs. 1 in Verbindung mit Art. 29 Abs. 1 IVG auf Januar 2014 festzusetzen. Die Beschwerde ist mithin teilweise gutzuheissen.
4.
4.1. Dem Ausgang des Verfahrens entsprechend haben die Parteien die Gerichtskosten je zur Hälfte zu tragen (Art. 66 Abs. 1 BGG). Die Beschwerdegegnerin hat dem Beschwerdeführer eine reduzierte Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
4.2. Dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 21. Mai 2015 und die Verfügung der IV-Stelle Bern vom 17. September 2014 werden aufgehoben und es wird festgestellt, dass der Beschwerdeführer Anspruch auf eine Viertelsrente ab 1. Januar 2014 hat. Im Übrigen wird die Beschwerde abgewiesen.
2.
Dem Beschwerdeführer wir die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Elias Moussa wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden den Parteien je zur Hälfte auferlegt, wobei die Fr. 400.- des Beschwerdeführers vorläufig auf die Gerichtskasse genommen werden.
4.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.--zu entschädigen.
5.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 1'400.- ausgerichtet.
6.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. September 2015
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter