Sachverhalt:
A.
A.a. Bei A._, geboren 1988, ist seit dem Alter von 18 Monaten eine Cerebralparese bekannt. Im Jahr 1994 wurde bei ihm ein Hirntumor (Astrozytom) operativ entfernt. Die Invalidenversicherung gewährte im Zusammenhang mit den anerkannten Geburtsgebrechen Ziff. 384 und 390 Kostengutsprache für medizinische Massnahmen.
A.b. Nach seinem Lehrabbruch im Jahr 2007 meldetet sich A._ im Mai 2008 unter Hinweis auf eine psychische Erkrankung bei der IV-Stelle Bern für berufliche Massnahmen an. Diese erteilte Kostengutsprache für ein Arbeitstraining als Vorbereitung für die Weiterführung der Lehre sowie den Aufenthalt in einer Wohn- und Arbeitsgemeinschaft im Kanton B._ (Mitteilung vom 29. Dezember 2009). Im Anschluss sprach sie dem Versicherten eine erstmalige berufliche Ausbildung zum Drucktechnologen zu (Mitteilung vom 23. Juli 2010). Wegen wiederholter Verstösse gegen die Hausregeln in der Wohn- und Arbeitsgemeinschaft forderte die gestützt auf einen Delegationsauftrag zuständige IV-Stelle des Kantons Tessin A._ dazu auf, seiner Schadenminderungspflicht nachzukommen (Schreiben vom 12. August 2013). Da sich der Versicherte weiterhin nicht an die Abmachungen hielt (unter anderem wiederholter Drogenkonsum), brach die IV-Stelle Bern die beruflichen Massnahmen per 31. Oktober 2013 ab (Verfügung vom 9. Dezember 2013). Mit unangefochten gebliebener Verfügung vom 10. Februar 2014 wies die IV-Stelle das Leistungsbegehren des Versicherten wegen Verletzung der Schadenminderungspflicht ab.
A.c. Am 4. September 2014 meldete sich A._ erneut zum Leistungsbezug an. Die nunmehr zuständige IV-Stelle des Kantons Graubünden gewährte ihm Kostengutsprache für das 3. und 4. Ausbildungsjahr zum Drucktechnologen EFZ (Mitteilungen vom 29. Juni und 18. August 2015). Nachdem der Versicherte die Abschlussprüfung bestanden hatte, schloss die IV-Stelle die beruflichen Massnahmen ab (Mitteilung vom 12. August 2016). Aufgrund der weiterhin bestehenden Suchtproblematik forderte sie A._ mit Schreiben vom 27. Oktober 2016 zur dreimonatigen Suchtmittelabstinenz auf, damit seine Arbeitsfähigkeit beurteilt werden könne. In der Folge veranlasste sie eine psychiatrische Begutachtung in der Swiss Medical Assessment- and Business-Center AG (SMAB). Gestützt auf die Expertise des Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, vom 4. August 2017 kündigte die IV-Stelle dem Versicherten die Abweisung seines Rentengesuchs an (Vorbescheid vom 26. Oktober 2017). Daran hielt sie mit Verfügung vom 22. Mai 2018 fest.
B.
Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 22. Januar 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm in Aufhebung des angefochtenen Entscheids und der Verfügung der IV-Stelle "ab wann rechtens" eine Invalidenrente zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Zudem wird um unentgeltliche Rechtspflege ersucht.
Während die IV-Stelle und die Vorinstanz auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Die Sachverhaltsfeststellung und Beweiswürdigung der Vorinstanz ist nicht schon dann offensichtlich unrichtig (willkürlich), wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es genügt somit nicht, dass eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Willkür liegt insbesondere vor, wenn die Vorinstanz offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder solche grundlos ausser Acht gelassen hat (Urteil 8C_89/2019 vom 19. Juni 2019 E. 2.2 mit Hinweisen). Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (vgl. <ref-law>) klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261 f.). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 4.2 S. 53 mit Hinweisen).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die leistungsablehnende Verfügung der Beschwerdegegnerin vom 22. Mai 2018 bestätigt hat.
2.2. Das kantonale Gericht hat die für die Beurteilung des Rentenanspruchs gemäss <ref-law> massgeblichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze, insbesondere zur Erwerbsunfähigkeit (<ref-law>) und zur Invalidität (<ref-law> in Verbindung mit <ref-law>), zutreffend dargelegt. Richtig sind auch die Ausführungen zum Beweiswert sowie zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 2.2.2 S. 126 f.; <ref-ruling> E. 6.2.2 S. 269; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht mass dem psychiatrischen Gutachten des Dr. med. C._ vom 4. August 2017 volle Beweiskraft bei. Der Experte habe schlüssig dargelegt, dass beim Beschwerdeführer eine bipolare affektive Störung mit rezidivierenden hypomanischen Episoden (ICD-10 F31.82) vorliege. Er habe zudem nachvollziehbar und unter Beachtung der massgebenden Indikatoren ausgeführt, dass der Versicherte in seiner bisherigen wie auch in einer angepassten Tätigkeit zu 80 % arbeitsfähig sei, wobei Fähigkeitsstörungen in den Bereichen Durchhaltefähigkeit, Flexibilität, Umstellungsfähigkeit und Selbstbehauptungsfähigkeit bestünden. Es bestehe kein Raum für eine losgelöste juristische Parallelüberprüfung. Sodann verneinte das kantonale Gericht das Vorliegen einer Frühinvalidität im Sinne von <ref-law>. Es sei vielmehr davon auszugehen, dass der Beschwerdeführer die erworbenen beruflichen Fähigkeiten auf dem ausgeglichenen Arbeitsmarkt im gleichen Ausmass verwerten könne wie eine nichtinvalide Person. Folglich sei das von der IV-Stelle ermittelte Valideneinkommen von Fr. 54'600.- nicht zu beanstanden. Weiter erachtete die Vorinstanz den von der IV-Stelle vorgenommenen Prozentvergleich als zulässig, da für beide hypothetischen Einkommen der Lohn massgebend sei, den der Beschwerdeführer in seiner Tätigkeit als Drucktechnologe erzielen könnte. Der Invaliditätsgrad entspreche demnach der Arbeitsunfähigkeit von 20 %. Ein Leidensabzug falle bei dieser Berechnungsweise ausser Betracht. Wie die Vorinstanz weiter ausführte, ergäbe sich selbst dann ein rentenausschliessender Invaliditätsgrad (von 25 %), wenn das Invalideneinkommen gestützt auf die Tabellenlöhne der Schweizerischen Lohnstrukturerhebungen (LSE) 2014 berechnet und der - hier allerdings nicht gerechtfertigte - maximale Leidensabzug von 25 % gewährt würde.
3.2. Der Beschwerdeführer bestreitet in medizinischer Hinsicht den Beweiswert des SMAB-Gutachtens. So sei die Kokainabhängigkeit (ICD-10 F14.2) bei der Beurteilung der Arbeits- und Leistungsfähigkeit zu Unrecht nicht berücksichtigt worden. Die Expertise unterscheide zwischen Diagnosen mit und ohne Auswirkungen auf die Arbeitsfähigkeit, was gemäss <ref-ruling> nicht mehr zulässig sei. Indem die Vorinstanz auf weitere Abklärungen zur Abhängigkeitserkrankung verzichtet und auf ein Gutachten abgestellt habe, das die Auswirkungen der Kokainabhängigkeit auf das funktionelle Leistungsvermögen nicht im Rahmen des vorgeschriebenen strukturierten Beweisverfahrens geprüft habe, habe sie den Untersuchungsgrundsatz verletzt sowie Beweise willkürlich gewürdigt. Insbesondere der Komplex "Persönlichkeit" sei nur ungenügend geprüft worden. In diesem Zusammenhang wirft der Beschwerdeführer der Vorinstanz zudem eine Verletzung der Begründungspflicht vor. In erwerblicher Hinsicht macht der Versicherte im Wesentlichen geltend, es liege eine Frühinvalidität vor, weshalb das Valideneinkommen gemäss <ref-law> festzulegen sei.
4.
4.1. Für die Festsetzung der Arbeitsfähigkeit bei psychischen Leiden definiert das strukturierte Beweisverfahren gemäss <ref-ruling> systematisierte Indikatoren, die - unter Berücksichtigung leistungshindernder äusserer Belastungsfaktoren einerseits und allfälliger Kompensationspotentiale (Ressourcen) anderseits - erlauben, das tatsächlich erreichbare Leistungsvermögen einzuschätzen (<ref-ruling> E. 2 S. 285 ff., E. 3.4-3.6 und 4.1 S. 291 ff.). Bei der Beurteilung der Arbeitsfähigkeit haben sich sowohl die medizinischen Sachverständigen als auch die Organe der Rechtsanwendung in ihrer Einschätzung des Leistungsvermögens an den normativen Vorgaben zu orientieren, die Gutachter im Idealfall gemäss der entsprechend formulierten Fragestellung (<ref-ruling> E. 5.2 S. 306 f.).
4.2. Mit <ref-ruling> hat das Bundesgericht vor dem Hintergrund der Rechtsprechung zur Ausdehnung des strukturierten Beweisverfahrens gemäss <ref-ruling> auf sämtliche psychischen Störungen (<ref-ruling> und 418) und nach vertiefter Auseinandersetzung mit den Erkenntnissen der Medizin die bisherige Rechtsprechung, wonach primäre Abhängigkeitssyndrome bzw. Substanzkonsumstörungen zum vornherein keine invalidenversicherungsrechtlich relevanten Gesundheitsschäden darstellen können und ihre funktionellen Auswirkungen deshalb keiner näheren Abklärung bedürfen, fallen gelassen (E. 5.3.3). Es hat entschieden, dass fortan - gleich wie bei allen anderen psychischen Erkrankungen - nach dem strukturierten Beweisverfahren zu ermitteln sei, ob und gegebenenfalls inwieweit sich ein fachärztlich diagnostiziertes Abhängigkeitssyndrom im Einzelfall auf die Arbeitsfähigkeit der versicherten Person auswirke. Dabei kann und muss im Rahmen des strukturierten Beweisverfahrens insbesondere dem Schweregrad der Abhängigkeit im konkreten Einzelfall Rechnung getragen werden (E. 6.3). Diesem komme nicht zuletzt deshalb Bedeutung zu, weil bei Abhängigkeitserkrankungen - wie auch bei anderen psychischen Störungen - oft eine Gemengelage aus krankheitswertiger Störung sowie psychosozialen und soziokulturellen Faktoren vorliege. Letztere seien auch bei Abhängigkeitserkrankungen auszuklammern, wenn sie direkt negative funktionelle Folgen zeitigen würden. Weiter wird im Urteil festgehalten, dass auch bei Vorliegen eines Abhängigkeitssyndroms die Schadenminderungspflicht (<ref-law>) zur Anwendung komme, so dass von der versicherten Person etwa die aktive Teilnahme an zumutbaren medizinischen Behandlungen verlangt werden könne (<ref-law>). Komme sie den ihr auferlegten Schadenminderungspflichten nicht nach, sondern erhalte sie willentlich den krankhaften Zustand aufrecht, sei nach <ref-law> i.V.m. <ref-law> eine Verweigerung oder Kürzung der Leistungen möglich (E. 5.3.1).
4.3. Gelangt der Rechtsanwender nach der Beweiswürdigung zum Schluss, ein Gutachten erfülle sowohl die mit <ref-ruling> definierten versicherungsmedizinischen Massstäbe wie auch die allgemeinen rechtlichen Beweisanforderungen (BGE <ref-ruling> E. 5.1 S. 232), ist es beweiskräftig, und die darin formulierten Stellungnahmen zur Arbeitsfähigkeit sind zu übernehmen. Eine davon losgelöste juristische Parallelüberprüfung nach Massgabe des strukturierten Beweisverfahrens soll nicht stattfinden (vgl. <ref-ruling> E. 4.3 S. 368; Urteile 8C_423/2019 vom 7. Februar 2020 E. 3.2.3; 9C_560/2019 vom 21. Januar 2020 E. 3.2.2).
5.
5.1.
5.1.1. Der Beschwerdeführer macht geltend, im SMAB-Gutachten sei die Kokainabhängigkeit bei der Beurteilung der Arbeits- und Leistungsfähigkeit zu Unrecht unberücksichtigt geblieben.
5.1.2. Dem ist zunächst entgegenzuhalten, dass auch bei Abhängigkeitssyndromen - nicht anders als bei den meisten Erkrankungen - kein direkter Zusammenhang besteht zwischen Diagnose und Arbeits (un) fähigkeit bzw. Invalidität. Vielmehr sind die Auswirkungen des bestehenden Gesundheitsschadens auf die funktionelle Leistungsfähigkeit im Einzelfall für die Rechtsanwendenden nachvollziehbar ärztlich festzustellen (<ref-ruling> E. 6.1 S. 227 mit Hinweis).
5.1.3. Das kantonale Gericht traf in Bezug auf die Relevanz der Kokainabhängigkeit keine Feststellungen, was insoweit nicht zu beanstanden ist, als der Beschwerdeführer im kantonalen Verfahren selber keine suchtmittelbedingte Arbeitsunfähigkeit behauptete. Infolge zwischenzeitlicher Änderung der Rechtsprechung in Bezug auf primäre Suchterkrankungen (vgl. E. 4.2 hiervor) drängt sich aber eine Ergänzung des Sachverhalts auf (vgl. E. 1.1 hiervor). Dr. med. C._ stellte in seinem Gutachten vom 4. August 2017 zwei Diagnosen: zum einen eine bipolare affektive Störung mit rezidivierenden hypomanischen Episoden (ICD-10 F31.82) und zum anderen eine Kokainabhängigkeit (ICD-10 F14.2). Letztere führte er unter den Diagnosen ohne Auswirkung auf die Arbeitsfähigkeit auf. Er wies auf die Schwierigkeiten bei der diagnostischen Einordnung des vorliegenden psychiatrischen Krankheitsbildes hin, wobei er die Diagnose einer bipolaren affektiven Störung nachvollziehbar und überzeugend herleitete. In Bezug auf die Suchterkrankung hielt er fest, der Versicherte habe ab dem 19. Lebensjahr Kokain konsumiert. Ab August 2016 sei es zu einem längeren Unterbruch gekommen. Dieser habe aber offensichtlich nur so lange angedauert, wie die von der IV-Stelle veranlassten Kontrollen durchgeführt worden seien, nämlich bis Ende Februar 2016 (richtig: 2017). Seither konsumiere der Versicherte wieder Kokain. Ab März 2017 bestehe eindeutig Rückfälligkeit.
5.1.4. Entgegen den Einwänden des Versicherten hat der Gutachter die Auswirkungen der Kokainabhängigkeit im Rahmen des strukturierten Beweisverfahrens geprüft. So hielt Dr. med. C._ etwa zur Ausprägung der diagnoserelevanten Befunde fest, das Symptom "Drang nach Suchtmitteln" sei bezüglich Kokain sehr deutlich ausgeprägt. Das zeige die Rückfälligkeit im März 2017. Die IV-Stelle weist in ihrer Vernehmlassung indessen zu Recht darauf hin, dass der Beschwerdeführer seinen Drogenkonsum in der Vergangenheit unterbrechen konnte. Auch dem Gutachter ist nicht entgangen, dass der Versicherte ab August 2016 bis Ende Februar 2017 seinen Kokainkonsum sistieren konnte. Der Unterbruch habe offensichtlich aber nur so lange gedauert, wie die IV-Stelle Kontrollen habe durchführen lassen. Dem Beschwerdeführer ist es demnach offenbar gelungen, die von der IV-Stelle verlangte Suchtmittelabstinenz (vgl. Schreiben vom 27. Oktober 2016) - gemäss Angaben im Gutachten bereits ab August 2016 - einzuhalten und über die geforderte Dauer von drei Monaten hinaus aufrechtzuerhalten. Nach dem Rückfall im März 2017 hat er gemäss eigenen Angaben bis zur gutachterlichen Untersuchung am 13. Juli 2017 ca. zehn Mal Kokain konsumiert, zuletzt vier Wochen vor der Begutachtung. Er gab an, längerfristig schon damit aufhören zu wollen, derzeit aber noch nicht. Dr. med. C._ nannte als verbleibende Therapieoptionen die regelmässige Medikamenteneinnahme und die Abstinenz von Suchtmitteln. Eine krankheitsbedingte Unfähigkeit zur Therapieadhärenz verneinte er. Zu den Wechselwirkungen der gestellten Diagnosen führte er aus, es liege eine bipolare affektive Störung mit rezidivierenden hypomanischen Episoden vor. Darüber hinaus sei davon auszugehen, dass wiederholt auch Zustände kokainbedingter Euphorisierung aufgetreten seien. Daraus erhellt, dass nach Ansicht des Gutachters die bipolare Störung im Vordergrund steht. Es erscheint insgesamt, insbesondere mit Blick auf die eingehaltene mehrmonatige Suchtmittelabstinenz und den seit März 2017 immerhin reduzierten Drogenkonsum, nachvollziehbar, dass der Gutachter die Kokainabhängigkeit den Diagnosen ohne Auswirkung auf die Arbeitsfähigkeit zuordnete. Insoweit ist nicht zu beanstanden, dass sich die Vorinstanz zu keinen weiteren Abklärungen in Bezug auf das Suchtgeschehen veranlasst sah. Eine Verletzung des Untersuchungsgrundsatzes ist darin nicht zu erblicken.
5.2. Weiter trifft es zwar zu, dass die eigentliche Standardindikatorenprüfung im Sinne von <ref-ruling> im SMAB-Gutachten vom 4. August 2017 knapp ausgefallen ist, was auch die Vorinstanz einräumt. Dies ändert aber nichts daran, dass sich der Experte an den massgeblichen Indikatoren orientiert hat. Sodann ist es nicht erforderlich, dass das kantonale Gericht die Indikatoren einzeln aufführt und festhält, dass diese den normativen Vorgaben Rechnung tragen (Urteil 8C_423/2019 vom 7. Februar 2020 E. 3.2.4). Dies ist nur nötig, falls die Vorinstanz die medizinische Indikatorenprüfung nicht als schlüssig erachtet (Urteil 8C_465/2019 vom 12. November 2019 E. 7.3; vgl. auch E. 4.3 hiervor). Solchenfalls hat sie darzulegen, inwiefern sich der Gutachter nicht an die normativen Vorgaben gehalten hat. Im Übrigen zeigt der Beschwerdeführer nicht substanziiert auf, inwiefern die Ausführungen des Gutachters zum Komplex "Persönlichkeit" unvollständig resp. die gestützt darauf ergangenen Feststellungen der Vorinstanz offensichtlich unrichtig sein sollen. Dasselbe gilt in Bezug auf den Abschnitt "Eingliederungserfolg oder -resistenz". Das kantonale Gericht führte hierzu aus, dem Schlussbericht des Einsatzprogramms "pro vision" vom 11. Juli 2017 sei nicht zu entnehmen, dass der Beschwerdeführer bereits mit kleineren Aufgaben überfordert gewesen sei. Zudem habe der Gutachter eine Berufsanamnese vorgenommen und im Rahmen der Vorgeschichte gemäss Aktenlage auch Dokumente der beruflichen Eingliederung aufgeführt. Ausserdem mangle es den Äusserungen des Berufsberaters über den instabilen Gesundheitszustand des Versicherten aufgrund fehlender medizinsicher Fachkenntnisse an Aussagekraft. Die Frage nach den noch zumutbaren Tätigkeiten und Arbeitsleistungen sei ohnehin nach Massgabe der objektiv feststellbaren Gesundheitsschädigung in erster Linie durch die Ärzte und nicht durch die Eingliederungsfachleute auf der Grundlage der von ihnen erhobenen, subjektiven Arbeitsleistung zu beantworten. Inwiefern diese Beweiswürdigung der Vorinstanz offensichtlich unrichtig sein soll, vermag der Beschwerdeführer mit seinen Vorbringen nicht darzutun. Eine Verletzung der Begründungspflicht und damit des rechtlichen Gehörs ist in diesem Zusammenhang ebenfalls nicht erkennbar.
5.3. Bei seiner Einschätzung der 20%igen Arbeitsunfähigkeit aufgrund der diagnostizierten bipolaren affektiven Störung mit rezidivierenden hypomanischen Episoden (ICD-10 F31.82) stützte sich Dr. med. C._ auf seine Untersuchung und die dabei erhobenen - weitestgehend unauffälligen - Befunde sowie auf die vorhandenen Akten. Dabei trug er auch dem Umstand Rechnung, dass Schwankungen der Symptomatik inhärent sind. Die bipolare Störung bezeichnete er als aktuell remittiert. Er wies zudem darauf hin, dass in den Akten nie über eine manische, sondern immer nur über eine hypomanische Symptomatik berichtet worden sei. Weiter berücksichtigte der Gutachter, dass sich der Beschwerdeführer nach eigenen Angaben im erlernten Beruf als Drucktechnologe ein Pensum von 80 % zutraue. Inwiefern diese Äusserung auf eine fehlende Krankheitseinsicht zurückzuführen sein soll, wird in der Beschwerde nicht näher dargelegt. Dies ergibt sich auch nicht aus dem Gutachten. Als geeignete Tätigkeiten bezeichnete Dr. med. C._ schliesslich sachbetonte, gut strukturierte und emotional wenig belastende Arbeiten. Unregelmässige Arbeitszeiten sowie Nachtschichten sollten vermieden werden. Nicht geeignet seien Tätigkeiten, die den ständigen Kontakt zu Suchtmitteln erfordere. Entgegen den Vorbringen des Versicherten leuchtet die Einschätzung einer 80%igen Arbeitsfähigkeit in der erlernten Tätigkeit als Drucktechnologe wie auch in anderen leidensadaptierten Tätigkeiten ein. Dass in Bezug auf Arbeitsunfähigkeitsschätzungen ein Ermessensspielraum besteht, liegt in der Natur der Sache (Urteil 9C_28/2019 vom 18. Juni 2019 E. 4.1).
5.4. Nach dem Gesagten hat die Vorinstanz dem SMAB-Gutachten vom 4. August 2017 zu Recht Beweiskraft beigemessen. Folglich ist auch nicht zu beanstanden, dass sie die darin attestierte Arbeitsfähigkeit von 80 % übernommen hat (vgl. E. 4.3 hiervor). Insgesamt gibt der Versicherte hinsichtlich der gutachterlichen Indikatorenprüfung die eigene Sichtweise wieder, wie die medizinischen Akten zu würdigen und welche rechtlichen Schlüsse daraus zu ziehen seien. Dies genügt nicht, um die Beurteilung der Arbeitsfähigkeit im angefochtenen Entscheid im Ergebnis in tatsächlicher Hinsicht als offensichtlich unrichtig oder anderweitig als bundesrechtswidrig erscheinen zu lassen (vgl. nicht publ. E. 6.3 des Urteils <ref-ruling>, veröffentlicht in: SVR 2015 KV Nr. 8 S. 29, 9C_535/2014; Urteil 8C_827/2018 vom 10. April 2019 E. 6.2.3).
6.
Streitig ist sodann, ob beim Beschwerdeführer eine Frühinvalidität gegeben und das Valideneinkommen folglich gemäss <ref-law> festzulegen ist.
6.1. Die Vorinstanz verneinte das Vorliegen einer Frühinvalidität. Sie begründete dies damit, dass die Schwierigkeiten des Versicherten in seinem beruflichen Alltag nicht auf die seit seiner Kindheit bestehende Cerebralparese und den 1994 entfernten Hirntumor zurückzuführen seien. Auch die psychischen Beschwerden hätten nicht dazu geführt, dass er keine zureichenden beruflichen Kenntnisse im Sinne von <ref-law> habe erwerben können. Aktenkundig sei er vielmehr mit Hilfe der von der IV-Stelle zugesprochenen beruflichen Massnahmen in der Lage gewesen, die Lehre zum Drucktechnologen erfolgreich abzuschliessen. Den seither bestehenden objektivierbaren Einschränkungen (Fähigkeitsstörungen in den Bereichen Durchhaltefähigkeit, Flexibilität und Selbstbehauptungsfähigkeit) werde bereits im Rahmen der medizinisch attestierten reduzierten Arbeitsfähigkeit Rechnung getragen. Das kantonale Gericht kam nach Würdigung der medizinischen Sachlage zum Schluss, dass der Beschwerdeführer die erworbenen beruflichen Fähigkeiten auf dem ausgeglichenen Arbeitsmarkt im gleichen Ausmass verwerten könne wie eine nichtinvalide Person.
6.2. Der Beschwerdeführer wendet dagegen ein, seine gesundheitlichen Einschränkungen, insbesondere seine psychische Labilität, die Überforderung im Umgang mit Menschen und der Substanzkonsum bei Schwierigkeiten, würden sich wie ein roter Faden durch sein Leben ziehen. Bereits im Kindesalter hätten gewisse Verhaltensauffälligkeiten bestanden. Ab dem Teenageralter habe er in Stresssituationen diverse Suchtmittel konsumiert. Es bestehe ein relevanter Zusammenhang zwischen den anerkannten Geburtsgebrechen, der psychischen Labilität und der Abhängigkeitserkrankung. Im Übrigen sei unbestritten, dass er die erworbenen Fähigkeiten auf dem ausgeglichenen Arbeitsmarkt nicht ohne Nachteil ummünzen könne.
6.3. Dem Beschwerdeführer ist insoweit beizupflichten, als unter die Bestimmung von <ref-law> nicht nur all jene Personen fallen, die wegen ihrer Invalidität überhaupt keine Berufsausbildung absolvieren können, sondern ebenso Versicherte, die zwar eine Berufsausbildung abschliessen, zu deren Beginn jedoch bereits invalid waren und die absolvierte Ausbildung wegen ihrer Invalidität auf dem ausgeglichenen Arbeitsmarkt nicht in gleicher Weise "ummünzen" können wie nichtbehinderte Personen mit derselben (ordentlichen) Ausbildung (Urteil 9C_233/2018 vom 11. April 2019 E. 1.2). Mit seinen Vorbringen vermag er indessen nicht in der geforderten Weise (vgl. E. 1.2 hievor) darzutun, inwiefern die Beweiswürdigung der Vorinstanz das Willkürverbot oder sonstwie Bundesrecht verletzen soll. Zunächst zeigt er nicht auf, auf welche medizinische Grundlage er seine Annahme stützt, es bestünde ein Zusammenhang zwischen seinen Geburtsgebrechen, den psychischen Beschwerden und dem Konsum von Suchtmitteln. Weiter bestehen die festgestellten Fähigkeitsstörungen gemäss Feststellungen der Vorinstanz erst seit Abschluss der Lehre zum Drucktechnologen, was mit Blick darauf, dass Dr. med. C._ eine 80%ige Arbeitsfähigkeit seit Ende der Lehre attestiert, nicht offensichtlich unrichtig erscheint. Entgegen den Vorbringen in der Beschwerde ist somit nicht zu beanstanden, dass es das kantonale Gericht nach Würdigung der medizinischen Akten in erwerblicher Hinsicht nicht als überwiegend wahrscheinlich erachtete, der Beschwerdeführer könne die erworbenen beruflichen Fähigkeiten auf dem ausgeglichenen Arbeitsmarkt nicht im gleichen Ausmass verwerten wie eine nichtinvalide Person.
Im Übrigen wird die Berechnung des Invaliditätsgrades nicht bestritten, weshalb es bei einem rentenausschliessenden Invaliditätsgrad von 20 % sein Bewenden hat.
6.4. Selbst wenn aber von einer Frühinvalidität auszugehen und das Valideneinkommen folglich gemäss <ref-law> zu bestimmen wäre, könnte der Beschwerdeführer daraus nichts zu seinen Gunsten ableiten. Das Valideneinkommen wäre diesfalls für das Jahr 2016 auf Fr. 74'250.- festzusetzen (vgl. IV-Rundschreiben Nr. 329). Das Invalideneinkommen wäre basierend auf den Tabellen der Schweizerischen Lohnstrukturerhebung (LSE) zu bestimmen, wie der Beschwerdeführer im kantonalen Beschwerdeverfahren selber auch gefordert hatte. In Anwendung der LSE 2014 (Tabelle TA1_tirage_skill_level, Total, Männer, Kompetenzniveau 1) würde dies zu einem Invalideneinkommen von Fr. 53'626.10 führen (5'312 x 12 / 40 x 41,7 / 103,2 x 104,1 x 0,8), was einen Invaliditätsgrad von 28 % ergäbe. Ein Abzug vom Tabellenlohn - sollte ein solcher denn überhaupt angezeigt sein - würde 15 % jedenfalls nicht übersteigen, sodass sich ein Invaliditätsgrad von höchstens 39 % ergäbe, was ebenfalls keinen Rentenanspruch begründen würde.
7.
Zusammenfassend ist nicht zu beanstanden, dass die Vorinstanz die einen Rentenanspruch ablehnende Verfügung der IV-Stelle vom 22. Mai 2018 schützte.
8.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung, <ref-law>) kann gewährt werden. Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Karin Wüthrich wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, 3. Kammer als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Wüest