Sachverhalt:
A.
Der 1961 geborene A._ bezog seit dem 3. Dezember 2018 Arbeitslosentaggelder, als ihn das kantonale Amt für Industrie, Gewerbe und Arbeit (KIGA; nachfolgend kurz KIGA) mit Verfügung vom 13. Mai 2019 verpflichtete, vom 20. Mai bis 19. August 2019 am Einsatzprogramm B._ teilzunehmen. A._ nahm daran nicht teil.
A.a. Am 18. Juni 2019 verfügte das KIGA nachträglich den vorzeitigen Abbruch des auf den 20. Mai 2019 angesetzten Einsatzprogramms per 31. Mai 2019. Dabei hob es hervor, "Ihre Teilnahme am Einsatzprogramm wird infolge Stellenantritts, gemäss Absprache mit Ihrem zuständigen Personalberater per 31. Mai 2019 abgebrochen."
A.b. Die für die Auszahlung der Taggelder zuständige Arbeitslosenkasse rechnete am 27. Juni 2019 den Monat Mai 2019 ab. Die (acht) Tage, an denen A._ am Einsatzprogramm nicht teilgenommen hatte, erachtete sie dabei als nicht zum Bezug berechtigend und reduzierte den zur Auszahlung gelangenden Betrag dementsprechend.
Dies veranlasste A._, sich am 5. Oktober 2019 beim KIGA über die Kürzung der Arbeitslosentaggelder mit der Begründung zu beschweren, der für ihn zuständige Mitarbeiter des RAV habe ihn mündlich (gänzlich) von der Pflicht zur Teilnahme am Einsatzprogramm befreit, nachdem er diesem mitgeteilt habe, auf den 2. Juni 2019 hin eine neue Arbeitsstelle antreten zu können.
A.c. Das KIGA wertete dies als verspätete, ausserhalb der Rechtsmittelfrist liegende Einsprache gegen die Verfügung vom 18. Juni 2019 und trat darauf nicht ein (Einspracheentscheid vom 14. November 2019). Sodann teilte es A._ mit, falls er mit der Abrechnung nicht einverstanden sei, könne er bei der dafür zuständigen Arbeitslosenkasse eine anfechtbare Verfügung verlangen.
B.
Gegen den Nichteintretensentscheid erhob A._ beim Verwaltungsgericht des Kantons Graubünden Beschwerde, welche mit Entscheid vom 19. Mai 2020 abgewiesen wurde, soweit darauf einzutreten sei.
C.
A._ gelangt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit dem sinngemässen Antrag, in Aufhebung des vorinstanzlichen und des Einsprache-Entscheids sei das KIGA anzuhalten, auf seine am 5. Oktober 2019 eingereichte Eingabe einzutreten und auf eine Kürzung der Taggelder zu verzichten.
Während das Staatssekretariat für Wirtschaft (SECO) und das KIGA auf eine Vernehmlassung verzichten, schliesst das Verwaltungsgericht auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
Dass das KIGA die Eingabe des Beschwerdeführers von 17. Oktober 2019 (auch) als Einsprache gegen die Verfügung vom 18. Juni 2019 entgegengenommen hat und - weil verspätet erhoben - darauf nicht eingetreten ist, lässt sich mit der Vorinstanz nicht beanstanden. Zu beachten ist dabei, dass in dieser Verfügung allein über die Dauer des Einsatzprogramms bzw. dessen Abbruch per 31. Mai 2019 befunden wurde. Dies kann daher auch vor Bundesgericht nicht mehr thematisiert werden.
2.
Der Beschwerdeführer wehrt sich darüber hinaus aber auch gegen die wegen der Nichtteilnahme am Einsatzprogramm unterbliebene Auszahlung der Taggelder für diese Zeit durch die Ausgleichskasse.
Nimmt eine Person an einer angeordneten arbeitsmarktlichen Massnahme wie dem Einsatzprogramm nicht teil, führt dies nicht eo ipso zu einem Leistungsausschluss. Vielmehr hat die kantonale Amtsstelle in einem weiteren Schritt zu prüfen, ob und bejahendenfalls in welchem Umfang eine Einstellung in der Anspruchsberechtigung vorzunehmen ist. Diese Aufgabe kann nicht von der Arbeitslosenkasse übernommen werden. Vielmehr ist es gemäss <ref-law> zwingend die kantonale Amtsstelle, die Einstellungen nach Abs. 1 lit. d dieser Bestimmung verfügt. Dies wird der Beschwerdegegner nun nachzuholen haben. Je nach Ergebnis wird alsdann die Ausgleichskasse die Taggelder für den Monat Mai 2019 neu zu berechnen haben.
3.
Die Beschwerde ist somit insoweit gutzuheissen, als sich das KIGA bis dato geweigert hat, über die Einstellung in der Anspruchsberechtigung zu verfügen. Davon unberührt ist die Verfügung vom 18. Juni 2019. Das darin Entschiedene kann nicht einer erneuten Diskussion zugeführt werden.
4.
D ie Gerichtskosten sind ausgangsgemäss dem Beschwerdegegner zu überbinden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird in dem Sinne gutgeheissen, als das kantonalen Amt für Industrie, Gewerbe und Arbeit (KIGA) in Ergänzung des vorinstanzlichen Entscheids angewiesen wird, über die Einstellung in der Anspruchsberechtigung zu verfügen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 30. Oktober 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Grünvogel