Sachverhalt:
A.
Der 1977 geborene A._ meldete sich am 25. Juni 2014 unter Hinweis auf eine seit einem Unfallereignis im Jahr 2010 bestehende posttraumatische Belastungsstörung sowie wegen Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Glarus tätigte erwerbliche und medizinische Abklärungen und liess den Versicherten beim ABI Ärztliches Begutachtungsinstitut GmbH, Basel, polydisziplinär begutachten (Expertise vom 18. September 2017) Im Wesentlichen gestützt hierauf verneinte die IV-Stelle mit Verfügung vom 7. Mai 2018 einen Anspruch auf Invalidenrente des A._.
B.
Mit Entscheid vom 15. November 2018 wies das Verwaltungsgericht des Kantons Glarus die dagegen erhobene Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, ihm sei in Aufhebung des angefochtenen Entscheids rückwirkend seit 1. Dezember 2014 eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Angelegenheit an die Vorinstanz zurückzuweisen, damit diese ein psychiatrisches Gerichtsgutachten einhole. Weiter seien die Kosten für die psychiatrische Stellungnahme der Frau Dr. med. B._, Fachärztin für Psychiatrie und Psychotherapie FMH, vom 28. Mai 2018 in der Höhe von Fr. 1'250.- der IV-Stelle aufzuerlegen. Ferner ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Verwaltungsgericht zu Recht die einen Anspruch auf Invalidenrente verneinende Verfügung der IV-Stelle vom 7. Mai 2018 bestätigte.
2.2. Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze über die Begriffe der Invalidität (<ref-law> in Verbindung mit <ref-law>), namentlich bei psychischen Gesundheitsschäden (<ref-ruling>, 139 V 547 E. 5 S. 554, 127 V 294; vgl. auch <ref-ruling> und 418), und der Erwerbsunfähigkeit (<ref-law>) sowie über den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG) zutreffend dargelegt. Dasselbe gilt für die Aufgabe der Ärzte bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 3.2 S. 195; <ref-ruling> E. 4 S. 99) und die beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
3.
3.1. Die Vorinstanz qualifizierte das polydisziplinäre Gutachten des ABI vom 18. September 2017 als beweiskräftig. Die Experten diagnostizierten eine Angst- und depressive Störung gemischt (ICD-10 F54), ein chronisches lumbovertebrales Schmerzsyndrom ohne fassbare radikuläre Symptomatik (ICD-10 M54.5), ein metabolisches Syndrom sowie einen chronischen Nikotinabusus. Anlässlich des multidisziplinären Konsensus erachteten die Gutachter den Versicherten seit 2014 als uneingeschränkt arbeits- und leistungsfähig in geeigneten, adaptierten Tätigkeiten; in den früher ausgeübten Tätigkeiten als angelernter Automechaniker und ungelernter Bauarbeiter sei die Arbeitsfähigkeit um 10 % eingeschränkt. In Übereinstimmung mit dieser gutachterlichen Arbeitsfähigkeitsschätzung ging die Vorinstanz von einer 90%igen Arbeitsfähigkeit in der bisherigen Tätigkeit aus. Damit liege kein rentenbegründender Invaliditätsgrad vor.
3.2. Der Beschwerdeführer rügt in formellrechtlicher Hinsicht die Verletzung seines Anspruchs auf rechtliches Gehör. Er habe im vorinstanzlichen Verfahren replikweise eine Verletzung seines rechtlichen Gehörs durch die IV-Stelle geltend gemacht. So sei die (erstreckbare) behördliche Frist von 73ter Abs. 1 IVV zur Einreichung von Einwendungen im Rahmen des Vorbescheidverfahrens infolge des Fristenstillstands um Ostern gemäss <ref-law> am Montag, 7. Mai 2018, abgelaufen. Am 4. Mai 2018 habe seine Rechtsvertreterin um Fristerstreckung bis 6. Juni 2018 ersucht. Diese Eingabe habe die Beschwerdegegnerin am 7. Mai 2018 erhalten. Ungeachtet dessen habe sie bereits am selben Tag die Verfügung erlassen, ohne dass ihr allfällige Einwände des Beschwerdeführers bekannt gewesen seien. Nachdem sich die Vorinstanz damit überhaupt nicht befasst habe, sei das rechtliche Gehör wiederum schwerwiegend verletzt worden.
4.
4.1. Gemäss <ref-law> teilt die IV-Stelle der versicherten Person den vorgesehenen Endentscheid über ein Leistungsbegehren oder den Entzug oder die Herabsetzung einer bisher gewährten Leistung mittels Vorbescheid mit (Satz 1); die versicherte Person hat Anspruch auf rechtliches Gehör im Sinne von Artikel 42 ATSG (Satz 2). Die Parteien können innerhalb einer Frist von 30 Tagen Einwände zum Vorbescheid vorbringen (<ref-law>).
4.2.
4.2.1. Nach Art. 96 Abs. 3 des Gesetzes über die Verwaltungsrechtspflege des Kantons Glarus vom 4. Mai 1986 (Verwaltungsrechtspflegegesetz; VRG; III G/1) ordnet die Beschwerdeinstanz nach Bedarf einen weiteren Schriftenwechsel an. Vorliegend hat die Vorinstanz mit Schreiben vom 28. August 2018 dem Beschwerdeführer die Beschwerdeantwort der IV-Stelle zur Kenntnisnahme zukommen lassen und gleichzeitig den Schriftenwechsel abgeschlossen. Der Beschwerdeführer rügt erstmals nach dem als geschlossen erklärten Schriftenwechsel im vorinstanzlichen Beschwerdeverfahren eine Gehörsverletzung im Verwaltungsverfahren mit unaufgefordert eingereichtem Schreiben vom 23. Juli 2018 in Berufung auf sein unbedingtes Replikrecht.
4.2.2. Der Anspruch einer Partei im Rahmen eines Gerichtsverfahrens zu replizieren, bildet einen Teilgehalt des verfassungsmässigen Anspruchs auf rechtliches Gehör. Diese Garantie umfasst das Recht, von allen beim Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können, unabhängig davon, ob die Eingaben neue und/oder wesentliche Vorbringen enthalten (vgl. <ref-ruling> E. 2.1 S. 485 f. mit Hinweisen). Weder das Replikrecht (vgl. Art. 29 Abs. 1 und 2 BV resp. Art. 6 Ziff. 1 EMRK; <ref-ruling> E. 3.2 S. 191 f.; <ref-ruling> E. 2.3.3 S. 157) noch ein gerichtlich (hier nicht) angeordneter zweiter Schriftenwechsel oder das Recht auf Akteneinsicht (vgl. <ref-law>; <ref-ruling> E. 3 S. 388) gewährt aber einen Anspruch darauf, ausserhalb der Beschwerdefrist Aspekte vorzutragen, die bereits mit der Beschwerde hätten vorgebracht werden können (Urteile 9C_478/2017 vom 5. März 2018 E. 2; 8C_478/2016 vom 7. Oktober 2016 E. 2; 2C_1104/2013 vom 4. September 2014 E. 4). Ein zweiter Schriftenwechsel kann nicht dazu dienen, Anträge und Rügen vorzutragen, die schon in der Beschwerde hätten gestellt oder vorgebracht werden können.
4.2.3. Die Rüge der Gehörsverletzung im Zusammenhang mit dem Vorbescheidverfahren hätte bereits in der Beschwerdeschrift an das Verwaltungsgericht vorgebracht werden können und müssen; sie ist nach dem soeben Dargelegten im kantonalen Verfahren verspätet erhoben worden. Überdies beantragt der Beschwerdeführer keine Rückweisung aus formellrechtlichen Gründen und sprach sich in seiner vorinstanzlichen Eingabe vom 24. Juli 2018 für eine Heilung der Gehörsverletzung im kantonalen Verfahren aus. Aus diesen Einwendungen kann er daher nichts zu seinen Gunsten ableiten.
5.
5.1. Sodann macht der Beschwerdeführer eine Missachtung des Untersuchungsgrundsatzes und der Anforderungen an den Beweiswert ärztlicher Gutachten durch die Vorinstanz geltend, indem diese dem ABI-Gutachten Beweiskraft beigemessen habe.
5.2.
5.2.1. Was er hierzu vorbringt, vermag nicht durchzudringen. Mit dem kantonalen Gericht ist dem Beschwerdeführer hinsichtlich der gerügten unvollständigen Aktenlage zwar zuzustimmen, dass dem psychiatrischen Gutachter Dr. med. C._ die Austrittsberichte der Klinik D._ vom 3. September 2014 und 13. Dezember 2016 nicht vorlagen. Das kantonale Gericht führte aber schlüssig aus, dass diesem zwölf weitere Austrittsberichte (verschiedener Kliniken) zur Verfügung gestanden seien, die den massgeblichen medizinischen Sachverhalt hinreichend widerspiegelten. Der Beschwerdeführer vermag nicht darzulegen, welche wesentlichen medizinischen Tatsachen dadurch bei der Begutachtung unberücksichtigt geblieben sein sollen, namentlich stimmt er mit dem kantonalen Gericht darin überein, dass aus den beiden Berichten keine neuen Erkenntnisse resultieren. Nicht ersichtlich ist weiter, inwiefern eine fehlende Angabe der genauen Explorationsdauer gegen die inhaltliche Zuverlässigkeit der psychiatrischen Teilexpertise sprechen soll. Die Vorinstanz wies sodann bereits zutreffend darauf hin, dass der Beweiswert eines psychiatrischen Gutachtens nicht von einer bestimmten verbindlichen Mindestdauer abhängt (vgl. etwa Urteil 8C_660/2013 vom 15. Mai 2014 E. 4.2.3). Anhaltspunkte dafür, dass der für eine psychiatrische Untersuchung zu betreibende zeitliche Aufwand der Fragestellung und der zu beurteilenden Psychopathologie nicht angemessen war, bestehen nicht (Urteil 8C_602/2013 vom 9. April 2014 E. 3.2 mit Hinweis). Soweit er erneut den Ablauf der psychiatrischen Begutachtung bemängelt, ist zu wiederholen, dass es im Ermessen des Sachverständigen liegt, wie er die Fragen stellt und welche Untersuchungsmethoden er anwendet. Wichtigste Grundlage gutachterlicher Schlussfolgerungen bildet - gegebenenfalls neben standardisierten Tests - die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung (vgl. Urteile 9C_664/2015 vom 2. Mai 2016 E. 4.2, 8C_47/2016 vom 15. März 2016 E. 3.2.2, 8C_86/2015 vom 6. Mai 2015 E. 5.2, je mit Hinweisen). Eine Mangelhaftigkeit des durch Dr. med. C._ erhobenen Psychostatus, der sich bei der psychopathologischen Befunderhebung an den AMDP-Richtlinien orientierte, vermag der Beschwerdeführer nicht darzutun. Die Teilexpertise liefert den erforderlichen Einblick in den psychischen Zustand des Versicherten, wobei die psychiatrische Exploration von der Natur der Sache her nicht ermessensfrei erfolgen kann. Dem oder der medizinischen Sachverständigen ist deshalb praktisch immer ein gewisser Spielraum eröffnet, innerhalb welchem verschiedene Interpretationen möglich, zulässig und im Rahmen einer Exploration lege artis zu respektieren sind (Urteil 9C_634/2015 vom 15. März 2016 E. 6.1 mit Hinweis).
5.2.2. Das kantonale Gericht durfte zusammenfassend ohne die bundesrechtlichen Beweiswürdigungsregeln zu verletzen, die Auffassung vertreten, dass Dr. med. C._ die entsprechenden Vorgaben genügend beachtete. Soweit sich der Beschwerdeführer schliesslich wiederum auf die das Teilgutachten des Dr. med. C._ kritisierende Stellungnahme der behandelnden Frau Dr. med. B._ vom 28. Mai 2018 beruft, hat sich das kantonale Gericht - entgegen der Behauptung in der Beschwerde - mit ihrer Kritik am Gutachten hinreichend auseinandergesetzt und nachvollziehbar begründet, weshalb diese nichts daran ändert, dass die Expertise des ABI als beweiskräftige medizinische Grundlage für die Beurteilung des strittigen Leistungsanspruchs taugt. Wichtige Aspekte, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind, zeigt der Beschwerdeführer nicht auf (Urteile 8C_29/2018 vom 6. Juli 2018 E. 3.2.2 und 9C_91/2018 vom 7. Juni 2018 E. 4.2.1 mit Hinweisen). Festzuhalten ist ferner, dass im Hinblick auf die Beurteilung, ob ein psychisches Leiden invalidisierend wirkt, als Tatsachenfeststellungen, welche das Bundesgericht nur eingeschränkt überprüfen kann, alle Feststellungen der Vorinstanz zählen, die auf der Würdigung von ärztlichen Angaben und Schlussfolgerungen betreffend Diagnose und Folgenabschätzung beruhen (<ref-ruling> E. 7 S. 309). Wie die Vorinstanz bereits festhielt, muss im Übrigen bei der Beurteilung der Stellungnahme von Frau Dr. med. B._ der Erfahrungstatsache, dass behandelnde Ärzte mitunter im Hinblick auf ihre Vertrauensstellung im Zweifelsfall eher zu Gunsten ihrer Patienten aussagen, Rechnung getragen werden (<ref-ruling> E. 4.5 S. 470; <ref-ruling> E. 3b/cc S. 353).
5.2.3. Die vorinstanzliche Beweiswürdigung hält nach dem Gesagten vor Bundesgericht stand. Der Sachverhalt ist nicht offensichtlich unrichtig oder unvollständig festgestellt. Im Verzicht auf ein gerichtlich angeordnetes medizinisches Gutachten liegt somit weder eine Verletzung des Untersuchungsgrundsatzes (<ref-law>) noch der Regeln über die antizipierte Beweiswürdigung (<ref-ruling> E. 5.3 S. 236 f.).
6.
Zu verneinen ist ferner eine Kostenübernahmepflicht der IV-Stelle für die Stellungnahme der Frau Dr. med. B._ vom 28. Mai 2018 von Fr. 1'250.-. <ref-law> sieht eine Kostenübernahme für Abklärungsmassnahmen durch den Versicherer nur vor, wenn diese für die Beurteilung des Anspruchs unerlässlich waren oder Bestandteil nachträglich zugesprochener Leistungen bilden. Aus den vorstehenden Erwägungen ergibt sich ohne Weiteres, dass diese Voraussetzungen nicht erfüllt sind, womit der vorinstanzliche Entscheid auch in diesem Punkt zu bestätigen ist.
7.
Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Die unentgeltliche Rechtspflege kann ihm gewährt werden (<ref-law>). Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Tania Teixeira wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. April 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla