Sachverhalt:
A.
A.a. Die IV-Stelle des Kantons Graubünden sprach dem 1958 geborenen A._ aufgrund einer Somatisierungsstörung respektive eines generalisierten Schmerzsyndroms und depressiven Episoden mit Verfügung vom 10. Juni 2004 eine ganze Rente der Invalidenversicherung zu. Diesen Rentenanspruch bestätigte sie revisionsweise im Jahr 2007, wobei A._ am 5. Januar 2006 einen ausgedehnten ischämischen Mediainfarkt links erlitten hatte (Austrittsbericht der Klinik B._ vom 29. März 2006; Mitteilung vom 29. März 2007). Im Rahmen einer im Jahr 2012 durchgeführten Rentenrevision bestätigte der Hausarzt Dr. med. C._, Allgemeine Medizin FMH, am 11. Mai 2012 einen stabilen gesundheitlichen Endzustand bei Status nach cerebrovaskulärem Insult im Januar 2006 mit geringer Restlähmung und partieller Aphasie, vor allem in der Fremdsprache Deutsch sowie mit deutlichen psychoorganischen Funktionseinbussen (Perseveration, Reizbarkeit, Ermüdbarkeit). Die schwere somatoforme depressiv gefärbte Schmerzstörung habe sich nach dem Insult deutlich gebessert. Die IV-Stelle liess ein bidisziplinäres Gutachten am Institut D._ vom 29. Juli 2013 erstellen. Die Experten attestierten dem Versicherten in der angestammten Tätigkeit als Schichtarbeiter weiterhin eine volle Arbeitsunfähigkeit. Sie erachteten ihn jedoch neu aufgrund des deutlich gebesserten psychischen Gesundheitszustands in einer leidensadaptierten Tätigkeit im Umfang von 70 % arbeitsfähig. Wegen erheblicher Selbstlimitierung und unkooperativen Verhaltens sei eine Beurteilung der effektiven Leistungsgrenze aber nicht möglich. Nach einer abschliessenden Beurteilung durch pract. med. E._, Regionaler Ärztlicher Dienst (RAD) der IV-Stelle, liess ihn die IV-Stelle vom 2. September bis 4. November 2013 observieren. Denn der RAD-Arzt hielt eine Arbeitsfähigkeit von 70 % in einer angepassten Tätigkeit ab gutachterlicher Stellungnahme vom April 2013 fest, er schätzte aber das faktische Leistungsvermögen wesentlich grösser ein. Nachdem die IV-Stelle A._ über die Ergebnisse am 11. Dezember 2013 orientiert hatte, stellte sie nach Durchführung des Vorbescheidverfahrens mit rechtskräftig gewordener Verfügung vom 22. September 2014 die Invalidenrente auf Ende des der Zustellung folgenden Monats ein.
A.b. Am 15. Juni 2015 reichte A._ ein erneutes Gesuch um Leistungen der Invalidenversicherung ein. Die IV-Stelle trat auf das Leistungsbegehren mit Verfügung vom 23. September 2015 mangels glaubhaft gemachter Verschlechterung des Gesundheitszustands seit der letzten Verfügung nicht ein.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 4. Oktober 2016 ab, soweit es darauf eintrat.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des angefochtenen Entscheids und der Verfügung vom 23. September 2015 sei festzustellen, dass er zu 100 % invalid sei. Eventualiter sei eine pluridisziplinäre Begutachtung anzuordnen.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren beanstandeten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen sowie die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach <ref-law> und der Anforderungen an den Beweiswert von Arztberichten. Die aufgrund dieser Berichte gerichtlich festgestellte Gesundheitslage bzw. Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Sachverhaltsfragen (<ref-ruling> E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils <ref-ruling>, veröffentlicht in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]).
2.
Die Vorinstanz hat unter Hinweis auf Art. 87 Abs. 2 und 3 IVV und die hiezu ergangene Rechtsprechung (<ref-ruling> E. 3.2.3 S. 75 ff.; Urteile 9C_236/2011 vom 8. Juli 2011 E. 2.1.1 und 9C_688/2007 vom 22. Januar 2008 E. 2.2) zutreffend dargelegt, dass die versicherte Person in der Neuanmeldung eine anspruchsrelevante Änderung des Invaliditätsgrades glaubhaft zu machen hat und unter welchen Voraussetzungen die laut Art. 87 Abs. 2 und 3 IVV herabgesetzten Beweisanforderungen als erfüllt betrachtet werden können. Richtig ist auch, dass der Zeitablauf von Bedeutung ist, indem in Fällen, in welchen seit der rechtskräftigen Erledigung des Leistungsgesuchs erst kurze Zeit vergangen ist, an die Glaubhaftmachung einer Sachverhaltsänderung höhere Anforderungen gestellt werden als bei einer länger zurückliegenden Verfügung über ein Rentengesuch. Darauf wird verwiesen.
3.
Prozessthema ist einzig, ob die Vorinstanz zu Recht verneinte, dass die Beschwerdegegnerin auf das Gesuch des Versicherten vom 15. Juni 2015 hätte eintreten müssen. Soweit der Beschwerdeführer die Zusprechung von (Renten-) Leistungen anbegehrt, sind diese Anträge unzulässig, weshalb darauf nicht einzutreten ist.
3.1. Das kantonale Gericht schützte das Nichteintreten auf die Neuanmeldung mit der Begründung, der Beschwerdeführer habe eine anspruchserhebliche Änderung seines Gesundheitszustandes im massgeblichen Zeitraum zwischen der Verfügung vom 22. September 2014 und der Verfügung vom 23. September 2015 nicht glaubhaft gemacht. Der Neurologe Dr. med. F._ auf dessen Darlegungen sich der Versicherte stütze, habe objektiv betrachtet im Schreiben vom 26. Oktober 2015 den bereits bekannten Sachverhalt lediglich neu gewertet und daraus andere Schlüsse gezogen. Bereits im Gutachten des Instituts D._ vom 23. Juli 2013 sei der Mediainfarkt mit persistierender Aphasie festgestellt worden. Hinsichtlich der zudem geltend gemachten vermehrten epileptischen Anfälle sei, ebenso wie bei der Aphasie, nicht dargelegt worden, inwiefern diese die Arbeitsfähigkeit negativ beeinflusst hätten, zumal er auch keine sprachtherapeutischen Massnahmen mehr in Anspruch nehme. Gestützt auf die fachärztlichen Darlegungen sei eine erhebliche gesundheitliche Verschlechterung weder durch Zunahme der Epilepsie noch der Aphasie nachvollziehbar. Es lägen keine Dokumente vor, die auf organisch-pathologischer Ebene auf eine Verschlechterung des Gesundheitszustands hinweisen würden.
3.2. Der Beschwerdeführer rügt, das kantonale Gericht habe Recht verletzt, indem es die neurologische Störung, welche durch den ihn behandelnden Dr. med. F._ mehr als nur glaubhaft gemacht worden sei, nicht habe genauer untersuchen lassen. Ferner treffe nicht zu, dass hinsichtlich der Sprachstörung keine Logopädie beansprucht worden sei, diese habe aber lediglich einen vorübergehenden Effekt gehabt.
4.
4.1. Im Neuanmeldungsverfahren ist es in erster Linie Sache der versicherten Person, substanzielle Anhaltspunkte für eine allfällige neue Prüfung des Leistungsanspruchs darzulegen. Eine Pflicht der Verwaltung zur Nachforderung weiterer Angaben besteht nur, wenn den - für sich allein genommen nicht Glaubhaftigkeit begründenden - Arztberichten konkrete Hinweise entnommen werden können, wonach möglicherweise eine mit weiteren Erhebungen erstellbare rechtserhebliche Änderung vorliegt (vgl. Urteil 9C_286/2009 vom 28. Mai 2009 E. 2.2.3). Mit der Vorinstanz ist zu schliessen, dass im Verwaltungsverfahren kein Anlass zu ergänzenden Abklärungen bestand, da die Angaben des Dr. med. F._ (samt MRI vom 30. Oktober 2014) keine wesentliche Verschlechterung des Gesundheitszustands glaubhaft machen, wie sich aus den nachstehenden Erwägungen ergibt. Im vorinstanzlichen Verfahren waren erst Recht keine beweismässigen Weiterungen angezeigt, da das kantonale Gericht lediglich zu prüfen hatte, ob die IV-Stelle gestützt auf die ihr vorgelegten Unterlagen zu Recht auf die Neuanmeldung nicht eingetreten war (vgl. <ref-ruling> E. 5.2.5 S. 68 f.).
4.2. Was die geltend gemachte gesundheitliche Verschlechterung hinsichtlich Aphasie und Epilepsie betrifft, werden die tatsächlichen Feststellungen der Vorinstanz seitens des Beschwerdeführers zwar in Zweifel gezogen; die von ihm erhobenen Einwendungen erschöpfen sich jedoch zur Hauptsache in appellatorischer Kritik an der Beweiswürdigung des kantonalen Gerichts, auf welche das Bundesgericht im Rahmen der ihm gesetzlich eingeräumten Überprüfungsbefugnis nicht einzugehen hat (E. 1.1 hievor). Sodann begründete das kantonale Gericht im Einzelnen, weshalb der Beschwerdeführer keine relevante Veränderung glaubhaft vorbringen konnte. Es legte willkürfrei und schlüssig dar, dass sowohl ein am 30. Oktober 2014 angefertigtes Kontroll-MRI als auch die Angaben des Dr. med. F._ keine genügenden Anhaltspunkte für eine Verschlechterung des Gesundheitszustands liefern würden. Zur Begründung führte es aus, dass sich die bereits rund zwei Monate nach der renteneinstellenden Verfügung vom 22. September 2014 behauptete Verschlechterung der Aphasie (Bericht des Dr. med. F._ vom 5. Dezember 2014) einzig auf subjektiven Angaben stütze und nicht ansatzweise dargelegt werde, weshalb sich die aphasische Sprachstörung - mithin nach einer zunächst signifikanten Verbesserung (Bericht der Klinik B._ vom 21. April 2006 und Schreiben des Dr. med. F._ vom 30. Juni 2008, aufgeführt im Gutachten des Instituts D._) - zunehmend erheblich verschlechtert haben sollte. Entgegen den Darlegungen des behandelnden Arztes sei der von ihm angeführte, grossflächige Insult mit persistierender Aphasie schon von den Experten des Instituts D._ am 23. Juli 2013 hinreichend gewürdigt worden (vgl. Schreiben des Dr. med. F._ vom 20. August und 26. Oktober 2015).
Ebenso vermag der Versicherte hinsichtlich zunehmender epileptischer Anfälle keine offensichtlich unrichtige Feststellung des Sachverhalts darzutun. Die Vorinstanz legte korrekt dar, dass Dr. med. F._ auch hier auf die Angaben der Ehefrau verwiesen habe, die von einem nunmehr eindeutigen epileptischen Anfall berichtet habe (Schreiben des Dr. med. F._ vom 19. Mai 2015), wobei eine narbenbedingte, sich nicht auf die Arbeitsfähigkeit auswirkende Epilepsie ebenfalls bereits im Gutachten des Instituts D._ festgehalten wurde. Das kantonale Gericht wies zudem zu Recht darauf hin, dass nicht dargetan werde, inwiefern die einzelnen Anfälle mit der Arbeitsfähigkeit interferierten. Wenn es feststellte, die Darlegungen des Dr. med. F._ enthielten weder in Bezug auf die Sprachstörung noch hinsichtlich der Epilepsie Angaben über das quantitative Element einer relevanten, die Arbeitsfähigkeit schmälernden Veränderung des Gesundheitszustandes, ist dies nicht zu beanstanden (vgl. RAD-Stellungnahme vom 26. Oktober 2010). Eine anspruchsrelevante Veränderung vermögen die Unterlagen nach dem Gesagten mit der Vorinstanz nicht glaubhaft zu machen. Die zu diesem Schluss führende vorinstanzliche Sachverhaltswürdigung ist nicht offensichtlich unrichtig oder sonstwie rechtsfehlerhaft und daher für das Bundesgericht verbindlich. Damit hat es beim vom kantonalen Gericht bestätigten Nichteintreten der IV-Stelle auf die Neuanmeldung vom 15. Juni 2015 sein Bewenden.
5.
Die Gerichtskosten (<ref-law>) gehen ausgangsgemäss zu Lasten des Beschwerdeführers (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. März 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla