Sachverhalt:
A.
A._, geb. 1958, meldete sich am 17. Januar 2014 unter Hinweis auf ein lumbospondylogenes Syndrom links bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Glarus liess den Versicherten von Dr. med. B._, Fachärztin für Innere Medizin FMH, spez. Rheumaerkrankungen, internistisch-rheumatologisch begutachten. Gestützt auf deren Gutachten vom 2. April 2015 verneinte sie mit Verfügung vom 23. Februar 2017 einen Anspruch auf Leistungen der Invalidenversicherung.
Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 1. Juni 2017 gut und wies die Sache zu weiterer medizinischer Abklärung und neuem Entscheid an die IV-Stelle zurück. Diese holte in der Folge ein polydisziplinäres Gutachten der MEDAS Interlaken Unterseen GmbH, Unterseen, ein (Gutachten vom 4. Januar 2018). Gestützt darauf wies sie das Leistungsgesuch mit Verfügung vom 17. April 2018 (wie vorbeschieden) erneut ab.
B.
Mit Entscheid vom 30. August 2018 wies das Verwaltungsgericht des Kantons Glarus die dagegen erhobene Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, in Aufhebung des angefochtenen Entscheids sei ihm mit Wirkung ab 17. Januar 2014 eine ganze Rente der Invalidenversicherung zu gewähren. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Zudem ersuchte er um unentgeltliche Rechtspflege.
Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. <ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es einen Rentenanspruch des Beschwerdeführers verneinte. Die Vorinstanz legte die für die Beurteilung des Leistungsanspruchs einschlägigen Rechtsgrundlagen zutreffend dar. Darauf wird verwiesen.
3.
3.1. Die Vorinstanz stützte sich im Wesentlichen auf das polydisziplinäre Gutachten der MEDAS vom 4. Januar 2018. Im Gesamtkonsens diagnostizierten die Gutachter mit Auswirkung auf die Arbeitsfähigkeit ein chronisches lumbospondylogenes Syndrom nach Wirbelsäulen-Operation bei Diskushernie L5/S1 und Nachweis einer Rezidivhernie L5/S1 links, radiologisch Mehretagen-Degeneration der LWS sowie ein myofasciales Schmerzsyndrom M79. Ohne Auswirkungen auf die Arbeitsfähigkeit sei hingegen eine chronische Schmerzstörung mit somatischen psychischen und Verhaltensfaktoren (ICD-10 F45). Sie kamen zum Schluss, dass dem Versicherten die bisherigen Tätigkeiten als Bauhilfsarbeiter und Wagenreiniger bei der SBB seit Mai 2013 (Nachweis einer symptomatischen Diskushernie) nicht mehr zumutbar seien. Mindestens seit dem Begutachtungsdatum bestehe für eine leichte bis knapp mittelschwere, rückenschonende Tätigkeit ohne längere Gehstrecken eine Arbeitsfähigkeit von acht Stunden pro Tag mit einer Leistungsminderung von 20 % infolge einer (korrigierbaren) inaktivitätsbedingten Dekonditionierung.
In Würdigung der medizinischen Akten und nach Auseinandersetzung mit den Einwänden des Beschwerdeführers befand die Vorinstanz das Gutachten als beweiskräftig und stellte fest, dass der Versicherte in einer angepassten Tätigkeit mit überwiegender Wahrscheinlichkeit zu 80 % arbeitsfähig sei.
3.2. Der Beschwerdeführer stellt den Beweiswert des MEDAS-Gutachtens zu Recht nicht in Frage. Allerdings macht er geltend, die Vorinstanz hätte angesichts seiner gesundheitlichen Beeinträchtigungen, die mit einer geringeren Effizienz und einem vermehrten Pausenbedarf einher gingen, in Abweichung vom Gutachten auf eine höhere Arbeitsunfähigkeit als 20 % erkennen müssen. Soweit er sich auf die von der Vorinstanz festgestellte Fusshebelähmung bezieht, ist zu entgegnen, dass die Gutachter der MEDAS diese in ihre Beurteilung mit einbezogen haben (worauf auch die Vorinstanz hinweist) : So stellte Dr. med. C._, Facharzt für Neurologie FMH, zwar eine Volumenminderung bzw. leichte Atrophie am linken Fuss sowie diskrete radikuläre sensible Ausfallzeichen an der linken Unterschenkelaussenseite fest, wobei die elektroneurographischen Befunde mit einer leichtgradigen Schädigung der Wurzel L5 vereinbar seien. Dabei handle es sich um Zeichen einer alten radikulären Schädigung der Wurzel L5, die wahrscheinlich keine relevanten klinischen Auswirkungen habe, jedoch bei der retrospektiven Beurteilung der Arbeitsfähigkeit zu berücksichtigen sei. Dr. med. D._, Facharzt für Rheumatologie und Allgemeine Innere Medizin FMH, anerkannte aus rheumatologischer Sicht leichte bis mittelgradige Einschränkungen der zumutbaren Belastbarkeit des Achsenskeletts und der Funktionseinheit Lendenwirbelsäule linkes Bein, bei leichtgradiger Dekonditionierung aufgrund der langjährigen Schmerzsymptomatik. Der Beschwerdeführer bringt im Übrigen nichts vor, was die gutachterliche Einschätzung und die gestützt darauf erfolgte Beurteilung der Arbeitsfähigkeit durch die Vorinstanz zu entkräften vermöchte, weshalb es damit sein Bewenden hat. Auch trug die Vorinstanz seinen gesundheitlichen Einschränkungen im Rahmen eines zehnprozentigen leidensbedingten Abzugs vom Tabellenlohn Rechnung (worauf zurückzukommen ist, s. E. 5.2).
4.
Der Beschwerdeführer rügt des Weiteren, die Vorinstanz sei angesichts seines Alters, seiner Sprachkenntnisse und berufliche Laufbahn zu Unrecht von der Verwertbarkeit der ihm verbleibenden Resterwerbsfähigkeit ausgegangen.
4.1. Die Rechtsprechung anerkennt, dass das (vorgerückte) Alter zusammen mit weiteren persönlichen und beruflichen Gegebenheiten dazu führen kann, dass die einer versicherten Person verbliebene Resterwerbsfähigkeit auf dem ausgeglichenen Arbeitsmarkt realistischerweise nicht mehr nachgefragt wird. Massgebend sind die Umstände des konkreten Falles, etwa die Art und Beschaffenheit des Gesundheitsschadens und seiner Folgen, der absehbare Umstellungs- und Einarbeitungsaufwand und in diesem Zusammenhang auch Persönlichkeitsstruktur, vorhandene Begabungen und Fertigkeiten, Ausbildung, beruflicher Werdegang oder Anwendbarkeit von Berufserfahrung aus dem angestammten Bereich (<ref-ruling> E. 3.1 S. 460). Fehlt es an einer wirtschaftlich verwertbaren Resterwerbsfähigkeit, liegt eine vollständige Erwerbsunfähigkeit vor, die einen Anspruch auf eine ganze Invalidenrente begründet (<ref-ruling> E. 3.1 S. 460; Urteile 8C_77/2019 vom 8. März 2019 E. 3.1.1 und 9C_549/2018 vom 20. Februar 2019 E. 3.1.1 mit Hinweisen).
4.2. Die Vorinstanz hielt mit Blick auf die Rechtsprechung des Bundesgerichts zu Recht fest, dass eine verbleibende Aktivitätsdauer von rund fünf Jahren grundsätzlich als ausreichend gilt, um einen neue einfache Erwerbstätigkeit aufzunehmen, sich einzuarbeiten und die Arbeit auszuüben (Urteile 8C_77/2019 vom 8. März 2018 E. 3.2.3 und 9C_677/2016 vom 7. März 2017 E. 4.3). Daran vermögen die Einwände des Beschwerdeführers nicht zu ändern. So war er entgegen den Vorbringen in der Beschwerde nicht ausschliesslich als Reinigungskraft bei der SBB tätig gewesen, sondern hatte gemäss den Angaben im MEDAS-Gutachten zuvor als Hilfsarbeiter auf dem Bau, in einer Kunststofffabrik und in einer Fabrik für Transformatoren gearbeitet, was auf eine gewisse Flexibilität hindeutet. Auch seine "leidlichen" Deutschkenntnisse stehen der Aufnahme einer Hilfsarbeitertätigkeit nicht entgegen. Schliesslich werden letztinstanzlich keine Gründe dargelegt, die eine Änderung der hier zur Diskussion stehenden restriktiven Rechtsprechung rechtfertigten. Das kantonale Gericht verletzte somit kein Bundesrecht, indem es die Verwertbarkeit der Restarbeitsfähigkeit bejahte.
5.
5.1. Die Vorinstanz stellte im Einkommensvergleich bei beiden Vergleichseinkommen auf den gleichen Tabellenlohn ab (LSE 2014 Tabelle TA1, Kompetenzniveau 1, Männer, Total). Dies ist nicht zu beanstanden. Denn der Beschwerdeführer war seit 2010 nicht mehr erwerbstätig und die letzte Anstellung war ihm aus wirtschaftlichen Gründen gekündigt worden. Mithin wäre er auch im Gesundheitsfall nicht mehr am angestammten Arbeitsplatz tätig, so dass nicht auf den zuletzt erzielten Lohn abgestellt werden kann (vgl. <ref-ruling> E. 4.1 S. 325; <ref-ruling> E. 4.3.1 S. 224). Folglich müssen statistische Zahlen die Grundlage des Valideneinkommens bilden (vgl. Urteile 8C_587/2018 vom 11. März 2019 E. 5.1.2 und 9C_212/2015 vom 9. Juni 2015 E. 5.4; je mit Hinweisen). Im Weiteren hat der Versicherte keine zumutbare Verweisungstätigkeit aufgenommen, weshalb für die zahlenmässige Bestimmung des Invalideneinkommens praxisgemäss ebenfalls die Tabellenlöhne massgebend sind (vgl. <ref-ruling> E. 3b/bb S. 76 f.). Weil die Vorinstanz bereits seitens des Valideneinkommens nicht auf das zuletzt effektiv erzielte (tiefere) Einkommen abstellte, besteht im Übrigen auch kein Anlass für die vom Beschwerdeführer beantragte Parallelisierung der Vergleichseinkommen im Sinn einer Herabsetzung des Invalideneinkommens (vgl. z.B. <ref-ruling>; <ref-ruling>).
5.2. Umstritten ist schliesslich die Höhe des Leidensabzugs vom Tabellenlohn für die Ermittlung des Invalideneinkommens. Während das kantonale Gericht einen leidensbedingten Abzug von 10 % vornahm, beantragt der Beschwerdeführer einen maximalen Tabellenlohnabzug.
5.2.1. Die für die Beurteilung dieser Frage relevanten Rechtsgrundlagen wurden im angefochtenen Entscheid zutreffend dargestellt, worauf verwiesen wird. Hervorzuheben ist, dass der Grundsatz, ob ein behinderungsbedingt oder anderweitig begründeter Abzug vom Tabellenlohn vorzunehmen ist, als Frage des Bundesrechts frei zu prüfen ist, wohingegen die Höhe des Abzugs nur auf rechtsfehlerhafte Formen der Ermessensausübung (Ermessensüberschreitung oder -unterschreitung bzw. Ermessensmissbrauch) letztinstanzlich überprüft werden kann (<ref-ruling> E. 3.3 S. 399).
5.2.2. Das kantonale Gericht begründete den Abzug mit den gesundheitlichen Einschränkungen des Beschwerdeführers, dem nur noch leichte bis knapp mittelschwere rückenschonende Tätigkeiten mit kurzen Gehstrecken zumutbar sind. Daher sei er auf dem Arbeitsmarkt in Konkurrenz mit Mitbewerbern ohne Einschränkungen benachteiligt, was das Lohnniveau beeinflusse. Hingegen wirkten sich sein fortgeschrittenes Alter, seine schlechten Deutschkenntnisse und die eingeschränkte Berufserfahrung nicht zwingend lohnsenkend aus.
5.3. Der Beschwerdeführer führt, wie schon vor dem kantonalen Gericht, erneut seine mangelhaften Sprachkenntnisse, sein Alter und die Berufserfahrung an. Da Hilfsarbeiten auf dem hypothetisch ausgeglichenen Arbeitsmarkt (<ref-law>) altersunabhängig nachgefragt werden (vgl. statt vieler Urteile 9C_284/2018 vom 17. Juli 2018 E. 2.2.3 und 9C_535/2017 vom 14. Dezember 2017 E. 4. 6, nicht publ. in <ref-ruling>, aber in SVR 2018 IV Nr. 20 S. 63), wirkt sich der Faktor Alter nicht (zwingend) lohnsenkend aus. Einfache und repetitive Tätigkeiten erfordern sodann weder gute Sprachkenntnisse noch ein besonderes Bildungsniveau (Urteile 9C_771/2017 vom 29. Mai 2018 E. 3.5; 9C_633/2013 vom 23. Oktober 2013 E. 4.2) oder eine besonders vielseitige Berufserfahrung. Die Ermessensausübung der Vorinstanz bei der Festlegung des Abzuges vom Tabellenlohn ist somit nicht rechtsfehlerhaft. Die Beschwerde ist unbegründet
6.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (<ref-law>). Sein für das Verfahren vor Bundesgericht gestellte Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit des Verfahrens abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus, II. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. April 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart