Sachverhalt:
A.
Der 1965 geborene A._ meldete sich am 17. Februar 2007 unter Hinweis auf eine Hörschädigung zu Umschulungsmassnahmen und zum Bezug einer Rente bei der Invalidenversicherung an. Die IV-Stelle Glarus verneinte mit Verfügung vom 29. September 2009 einen Leistungsanspruch. Dies bestätigte das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 1. September 2010.
Am 14. März 2015 meldete sich A._ erneut zum Leistungsbezug an und machte nebst der Hörschädigung eine Silikose der Lungen geltend. Am 11. Mai 2015 erliess die Schweizerische Unfallversicherungsanstalt (SUVA) eine Nichteignungsverfügung für Arbeiten mit Exposition zu Quarzstaub. Mit Verfügung vom 23. September 2015 verneinte die IV-Stelle abermals einen Leistungsanspruch, da A._ zwar in seiner angestammten Tätigkeit als Bauhilfsarbeiter vollständig arbeitsunfähig sei, für eine leichte Verweisungstätigkeit, welche der Schwerhörigkeit Rechnung tragen würde, bestehe hingegen keine höhergradige und längerdauernde Arbeitsunfähigkeit.
B.
Das Verwaltungsgericht des Kantons Glarus wies die dagegen erhobene Beschwerde, ausgehend von einem rentenausschliessenden Invaliditätsgrad, mit Entscheid vom 2. Juni 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheids die Zusprechung einer Invalidenrente beantragen.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG); es prüft unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG sowie Art. 106 Abs. 2 BGG) indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 134 I 313 E. 2 S. 315; 133 II 249 E. 1.4.1 S. 254).
2.
Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze zu den Begriffen Invalidität und Erwerbsunfähigkeit, zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (mit dem mindestens erforderlichen Invaliditätsgrad von 40 %) sowie zu den bei einer Neuanmeldung nach vorangegangener rechtskräftiger Verneinung eines Rentenanspruchs analog anzuwendenden Regeln der Rentenrevision zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Die Vorinstanz setzte sich eingehend sowohl mit den vor der Neuanmeldung datierenden wie auch mit den nachfolgend erstellten medizinischen Akten auseinander. Sie stellte insbesondere fest, nebst einer schweren Hörschädigung leide der Versicherte seit der letzten rentenablehnenden Verfügung vom 29. September 2009 neu an einer Silikose der Lungen mit progressiver massiver Fibrose, massiver hilärer und mediastinaler Lymphadenopathie sowie bronchoskopisch schwerer obstruierender Bronchitis (Berichte des PD Dr. med. B._, FMH Pneumologie, Innere Medizin und Intensivmedizin, Chefarzt am Spital C._, vom 7. März 2014 und 26. Juni 2015). Der Pneumologe habe ausgeführt, für leichte körperliche Tätigkeiten sei der Beschwerdeführer vollständig arbeitsfähig, wobei hinsichtlich des zumutbaren Leistungsprofils die hochgradige Schwerhörigkeit und die sprachlichen Barrieren, da der Versicherte nur portugiesisch spreche, zu beachten seien. Der Regionale Ärztliche Dienst (Dr. med. D._, Facharzt FMH für Rheumatologie, Facharzt FMH und UEMS für Physikalische Medizin und Rehabilitation) habe in seiner Stellungnahme vom 8. Juli 2015 in Beachtung der Darlegungen des PD Dr. med. B._ und der übrigen Berichte festgehalten, dass eine volle Arbeitsfähigkeit in einer angepassten Tätigkeit, ohne Exposition gegenüber Quarzstaub und mit Rücksicht auf seinen Gehörschaden, auch nach Vorliegen der Silikose zumutbar bleibe, wie etwa leichte Montagetätigkeiten, Lager- oder Verpackungstätigkeiten. Ein neuer Einkommensvergleich habe sich daher erübrigt, da dies bereits dem im Entscheid vom 1. September 2010 zugrunde gelegten zumutbaren Leistungsprofil entsprochen habe. In einer Eventualbegründung erwog das kantonale Gericht, auch wenn der dannzumal vorgenommene leidensbedingte Abzug aufgrund vermehrt notwendiger Atempausen oder weiterer gesundheitlicher Beeinträchtigungen von 10 auf 15 % erhöht würde, resultiere bei einem Einkommensvergleich anhand der Verhältnisse im Jahr 2015 bei einem Invaliditätsgrad von 39 %, kein Anspruch auf eine Invalidenrente.
3.2. Gegen die vorinstanzliche Beweiswürdigung bringt der Beschwerdeführer nichts vor. Er führt einzig aus, er könne gemäss Dr. med. B._ kaum Treppen steigen und Lasten tragen; zudem seien die Einschränkungen aufgrund der Gehörschädigung massiv. Er sei nicht mehr in der Lage, schwere körperliche Anstrengungen vorzunehmen. Dies ist unbestritten und wurde vom kantonalen Gericht in nicht zu beanstandender Weise bei der Würdigung der medizinischen Aktenlage mit Blick auf das zumutbare Leistungsprofil berücksichtigt. Es ist nicht ersichtlich und wird auch nicht geltend gemacht, dass die vorinstanzlichen Feststellungen betreffend die Arbeitsfähigkeit (E. 3.1) offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen.
4.
4.1.
4.1.1. Für die Bestimmung des Invaliditätsgrades wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (Valideneinkommen; Art. 16 ATSG). Wird - wie im konkreten Fall - das Invalideneinkommen auf der Grundlage von statistischen Durchschnittswerten ermittelt, ist der entsprechende Ausgangswert (Tabellenlohn) um maximal 25 % zu kürzen, wenn persönliche und berufliche Merkmale wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität resp. Aufenthaltskategorie oder Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben und die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (BGE 135 V 297 E. 5.2 S. 301; 126 V 75 E. 5b/aa-cc S. 80).
4.1.2. Die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vorzunehmen sei, ist eine Rechtsfrage, während jene nach der Höhe des Abzuges eine typische Ermessensfrage darstellt, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. BGE 132 V 393 E. 3.3 in fine S. 399; Urteil 9C_973/2008 vom 19. Januar 2009 E. 3).
4.2. Der Versicherte kritisiert den vorinstanzlichen Einkommensvergleich. Er habe ein Valideneinkommen in der Höhe von Fr. 92'699.55 nur erzielen können, weil er überdurchschnittlich lange im Betrieb gearbeitet habe, sich in seiner Landessprache habe verständigen können und die Schwerhörigkeit aufgrund des eingespielten Teams keine Rolle mehr gespielt habe. Die Vorinstanz habe nicht berücksichtigt, dass ihm aufgrund seiner Nichteignung für Arbeiten mit Quarzstaubexposition die Möglichkeit einer solchen Tätigkeit genommen worden sei. Er hält des Weiteren einen leidensbedingten Abzug von mindestens 20 % für gerechtfertigt.
4.3.
4.3.1. Das zumutbare Leistungsprofil des Versicherten hat sich seit der Verfügung vom 29. September 2009 insofern nicht verändert, als ihm bereits zu jenem Zeitpunkt die bisherige Tätigkeit als Bauarbeiter aufgrund seiner Hörschädigung nicht mehr zumutbar gewesen war. Die Vorinstanz nahm in ihrer Eventualbegründung einen neuen Einkommensvergleich vor und bestimmte das Invalideneinkommen korrekterweise auf der Grundlage eines Tabellenlohnes. Sie passte hinsichtlich des Valideneinkommens das in ihrem Entscheid vom 1. September 2010 gestützt auf den Auszug aus dem individuellen Konto ermittelte Durchschnittseinkommen der Jahre 2002 bis 2009 von Fr. 87'247.- der Teuerung an, woraus für das Vergleichsjahr 2015 ein Valideneinkommen von Fr. 92'699.55 resultierte. Es ist nicht ersichtlich und wird auch nicht dargelegt, inwiefern das vorinstanzlich festgestellte Valideneinkommen offensichtlich unrichtig (unhaltbar, willkürlich: BGE 135 II 145 E. 8.1 S. 153; Urteil 9C_607/2012 vom 17. April 2013 E. 5.2; zum Begriff der Willkür: BGE 140 III 16 E. 2.1 S. 18 f. mit Hinweisen) sein oder auf einer Rechtsverletzung beruhen soll (vgl. E. 1). Es bleibt daher für das Bundesgericht verbindlich (E. 1). Im Übrigen würde sich ein tieferes Valideneinkommen eh zu Ungunsten des Beschwerdeführers auswirken.
4.3.2. Das Invalideneinkommen legte das kantonale Gericht anhand der Schweizerischen Lohnstrukturerhebung (LSE) 2012 des Bundesamtes für Statistik, Tabelle TA1, Kompetenzniveau 1, (Einfache Tätigkeiten körperlicher oder handwerklicher Art), Männer, und mit einem Abzug von 15 % auf Fr. 56'684.52.- fest. Damit wurde - entgegen den Darlegungen in der Beschwerde - gerade beachtet, dass die körperlich anstrengende Tätigkeit mit Quarzstaubexposition auf dem Bau dem Versicherten nicht mehr zumutbar ist und es wurden einzig Löhne angerechnet, die für einfache und repetitive Arbeiten von ungelernten Arbeitnehmenden bezahlt werden.
4.3.3. Die Höhe des gewährten Abzugs von 15 % liegt im Ermessensspielraum der Vorinstanz: Berücksichtigt wurde nebst der Schwerhörigkeit die lange Betriebszugehörigkeit und die geltend gemachten, vermehrt benötigten Atempausen. Die mangelhaften Sprachkenntnisse sind bereits durch die Verwendung der Tabellenlöhne Kompetenzniveau 1 der LSE 2012 abgegolten (vgl. dazu SVR 2015 IV Nr. 1 S. 1, 8C_97/2014 E. 4.2 und Urteil 9C_633/2013 vom 23. Oktober 2013 E. 4.2). Da Hilfsarbeiten auf dem hypothetisch ausgeglichenen Arbeitsmarkt (Art. 16 ATSG) altersunabhängig nachgefragt werden (vgl. statt vieler Urteile 8C_672/2013 vom 20. Februar 2014 E. 3.3 und 9C_380/2015 vom 17. November 2015 E. 3.2.4), wirkt sich der Faktor Alter nicht (zwingend) lohnsenkend aus. Überdies ist nach der Rechtsprechung ein Alter von (knapp) 50 Jahren (zum Verfügungszeitpunkt) nicht abzugsrelevant (Urteile 9C_366/2015 vom 22. September 2015 E. 4.3.2 mit Hinweisen). Dass die Vorinstanz keinen höheren Abzug vornahm, ist auch mit Blick auf die ausländische Herkunft des Versicherten nicht rechtsfehlerhaft (vgl. Urteil 9C_81/2011 vom 28. März 2011 E. 4.3) : Gemäss Tabelle T12 der LSE 2012 verdienen Männer mit Niederlassungsbewilligung C ohne Kaderfunktion zwar weniger als Schweizer, aber mehr als das für die Invaliditätsbemessung herangezogene Durchschnittseinkommen. Die seit der ersten rentenablehnenden Verfügung neu hinzugetretene Silikose der Lungen ist, wie erwähnt, bereits im umschriebenen Zumutbarkeitsprofil enthalten; eine erneute Anrechnung würde auf eine unzulässige doppelte Berücksichtigung hinauslaufen. Die Vorinstanz hat ihr Ermessen bei der Festlegung des leidensbedingten Abzuges von 15 % somit nicht rechtsfehlerhaft ausgeübt. Die Beschwerde ist unbegründet.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. September 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla