Sachverhalt:
A.
Der 1962 geborene A._ hat sich am 16. September 2009 zum Bezug von Leistungen der Invalidenversicherung angemeldet. Dr. B._, Spezialärztin für Anästhesie und Allgemeinmedizin, diagnostizierte in einem undatierten, am 6. Oktober 2009 bei der IV-Stelle Graubünden eingegangenen Arztbericht eine chronische Migräne, dissoziative Bewegungsstörung, rezidivierende depressive Störung und ein Tinnitus beidseits. Dr. C._, Oberarzt des Instituts X._, stellte am 26. Mai 2010 die Diagnosen rezidivierende depressive Störung, gegenwärtig mittelschwere bis schwere depressive Episode ohne psychotische Symptome, somatoforme, autonome Funktionsstörung im Sinne einer Herzneurose sowie sonstige somatoforme Störungen mit Auswirkungen auf die Arbeitsfähigkeit; er betrachtete A._ in der angestammten Tätigkeit als Küchenchef zu 100 % arbeitsunfähig. Eine leidensangepasste Tätigkeit stehe gegenwärtig nicht zur Verfügung. Am ehesten könne er sich eine Eingliederung im Rahmen einer geschützten Werkstätte vorstellen. Dr. D._, Facharzt für Allgemeine Innere Medizin vom Regionalen Ärztlichen Dienst der Invalidenversicherung (RAD), nahm in seiner Stellungnahme vom 2. Juni 2010 an, dass A._ seit 18. Juni 2009 zu 100 % arbeitsunfähig sei. Leider zeichne sich keine kurz- oder mittelfristige Besserung ab. Er empfehle den Fallabschluss und die frühe Revision in einem Jahr.
Mit Vorbescheid vom 18. Juni 2010 stellte die IV-Stelle Graubünden die Ausrichtung einer ganzen Rente ab 1. Juni 2010 bei einem Invaliditätsgrad von 92 % in Aussicht. Am 1. September 2010 lehnte die IV-Stelle Graubünden berufliche Massnahmen ab, da keine solchen möglich seien. Mit Verfügung vom 27. September 2010 sprach die IV-Stelle Graubünden A._ ab 1. Juni 2010 eine ganze Invalidenrente zu.
Gegenüber der SUVA machte A._ einen Rückfall zu einem Ereignis vom 25. Februar 2008 geltend, als er bei einem Gleitschirmunfall in eine Tanne gestürzt war. Im Rahmen einer neurologischen Beurteilung stellte Dr. E._, Facharzt FMH für Neurologie, Abteilung Versicherungsmedizin der SUVA, am 14. Januar 2011 fest, dass sich keine Traumafolgen feststellen liessen und es keinen nachvollziehbaren Grund gebe, die nach dem 18. Juni 2009 erheblich zugespitzten psychiatrischen Probleme von A._ in Zusammenhang mit dem stattgehabten Trauma mit Commotio cerebri vom 25. Februar 2008 zu bringen. Die IV-Stelle Graubünden holte bei Dr. F._, Oberärztin des Instituts X._, einen vom 5. Oktober 2011 datierten Bericht ein, nachdem A._ seit August 2010 nicht mehr in den Psychiatrischen Diensten Graubünden behandelt worden war. Am 1. Dezember 2011 veranlasste die IV-Stelle Graubünden bei Dr. G._, Facharzt Psychiatrie und Psychotherapie FMH, eine psychiatrische Begutachtung; die Expertise wurde am 18. Mai 2012 abgeliefert. Dr. G._ stellte eine relevante Verbesserung des Gesundheitszustandes seit der Verfügung vom 27. September 2010 fest. Seit April 2012 bestehe eine IV-relevante Arbeitsunfähigkeit von ca. 50 %.
Mit Vorbescheid vom 21. Juni 2012 stellte die IV-Stelle Graubünden die Herabsetzung der ganzen auf eine halbe Invalidenrente in Aussicht. Dagegen erhoben A._ am 9. Juli 2012 und am 11. Juli 2012 Dr. B._ Einwände. Mit Verfügung vom 15. August 2012 setzte die IV-Stelle Graubünden ab Oktober 2012 die bisherige ganze auf eine halbe Invalidenrente herab.
B.
Das Verwaltungsgericht des Kantons Graubünden wies die dagegen erhobene Beschwerde ab (Entscheid vom 14. Mai 2013).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Begehren, das Urteil des Verwaltungsgerichts des Kantons Graubünden vom 14. Mai 2013 sei aufzuheben und die Sache an die IV-Stelle zur weiteren medizinischen Abklärung zurückzuweisen. Eventuell seien ihm die gesetzlichen Leistungen nach Massgabe eines Invaliditätsgrades von mindestens 70 % bzw. 100 % ab Oktober 2012 auszurichten und ihm auf den nachzuzahlenden Rentenbetreffnissen Verzugszinsen in Höhe von 5 % zu vergüten.

Erwägungen:
1.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz, auf Rüge hin oder von Amtes wegen, berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in Verbindung mit <ref-law>). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1).
1.2. Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (vgl. Urteil 9C_999/2010 vom 14. Februar 2011 E. 1). Dem kantonalen Versicherungsgericht steht als Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (vgl. <ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.4 S. 5 mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 S. 246 mit Hinweis).
2.
Der Beschwerdeführer beanstandet, dass er seine Mitwirkungsrechte nicht habe wahrnehmen können. Ihm war am 1. Dezember 2011 in Aussicht gestellt worden, dass eine medizinische Abklärung bei Dr. G._ durchgeführt werde. Dabei wurde er aufgefordert, Ausstands- oder Ablehnungsgründe hinsichtlich der begutachtenden Person bekannt zu geben. Der Beschwerdeführer meldete sich innert der angesetzten Frist jedoch nicht bei der Beschwerdegegnerin. Es sind keine Anhaltspunkte vorhanden, die an der Unparteilichkeit des Gutachters Dr. G._ zweifeln lassen könnten. Solche werden auch vom Beschwerdeführer selber nicht genannt. Der Beschwerdeführer rügt weiter, er habe keine Ergänzungsfragen stellen können. Jedoch hat er weder im vorinstanzlichen noch im bundesgerichtlichen Verfahren konkrete Ergänzungsfragen deponiert, die nach seiner Meinung vom Gutachter hätten beantwortet werden müssen. Spätestens aber im kantonalen Beschwerdeverfahren hätten solche konkreten Ergänzungsfragen vorgelegt werden müssen, wenn der Beschwerdeführer der Auffassung gewesen wäre, diese seien zu beantworten. Wenn nun der Beschwerdeführer dies erneut beanstandet, so ist diese Kritik als unbeachtlich zu qualifizieren, da ihr letztlich ein konkreter Hintergrund fehlt.
3.
Der Beschwerdeführer erhielt mit Verfügung vom 27. September 2010 rückwirkend ab 1. Juni 2010 eine ganze Invalidenrente zugesprochen. Nach der Rechtsprechung ist bei der Rentenrevision zeitlicher Ausgangspunkt für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs beruht (<ref-ruling>). Die Vorinstanz hat in ihrem Urteil als massgebenden Referenzzeitpunkt zutreffend jenen des Erlasses der Verfügung vom 27. September 2010 festgelegt und den damaligen Gesundheitszustand und die Arbeitsfähigkeit des Beschwerdeführers mit jenem im Zeitpunkt des Erlasses der angefochtenen Verfügung vom 15. August 2012 verglichen.
4.
Die Vorinstanz hat zur Invaliditätsbemessung auf das psychiatrische Gutachten des Dr. G._ vom 18. Mai 2012 abgestellt. Der Beschwerdeführer übt daran weitgehend appellatorische Kritik, ohne aufzuzeigen, dass eine Bundesrechtsverletzung im Sinne von <ref-law> vorliege. Ebensowenig ist eine offensichtlich unrichtige Feststellung des Sachverhaltes gemäss <ref-law> erkennbar:
4.1. Es obliegt dem psychiatrischen Gutachter zu entscheiden, ob er zur Befunderhebung testpsychologische Befunde beiziehen will; diesen käme ohnehin nur ergänzende Beweisfunktion zu (Urteil 9C_953/2012 vom 5. April 2013 E. 3.2.1). Es kann nicht davon ausgegangen werden, dass die Ergebnisse eines psychiatrischen Gutachtens nicht aussagekräftig sind, wenn keine testpsychologischen Untersuchungen durchgeführt werden. Dabei ist auch darauf hinzuweisen, dass bei der Rentenzusprache am 27. September 2010 keine testpsychologischen Befunde vorlagen; diese Verfügung beruhte im Wesentlichen auf den Angaben des behandelnden Arztes Dr. C._, Oberarzt des Instituts X._, vom 26. Mai 2010. Im Hinblick auf die Beurteilung, ob die Voraussetzungen einer Revision gemäss <ref-law> vorliegen, wäre daher die Durchführung von testpsychologischen Erhebungen nicht weiterführend gewesen, um eine Veränderung des Gesundheitszustandes aufzuzeigen, da ja eine taugliche Vergleichsbasis im Zeitpunkt der ursprünglichen Rentenzusprache fehlt.
4.2. Der Gutachter Dr. G._ konnte aufgrund der Angaben des Beschwerdeführers eine schädliche Medikamenteneinnahme annehmen, nachdem der Beschwerdeführer von Grosspackungen von 500 Tabletten Aspirin berichtete, die ihm seine Schwiegermutter aus den Vereinigten Staaten mitbringe. Der Beschwerdeführer teilte dem Gutachter auch mit, dass er bis zu 10 Tabletten Aspirin täglich nebst mehreren Tabletten Dafalgan einnehme. Der Beschwerdeführer macht nicht geltend, dass seine eigenen Angaben unzutreffend gewesen seien, so dass nicht ersichtlich ist, warum dies noch durch zusätzliche Untersuchungen hätte verifiziert werden müssen.
4.3. Aufgrund der Schilderungen des Beschwerdeführers konnte der Gutachter Dr. G._ auf eine Verbesserung der gesundheitlichen Situation schliessen. Gerade auch mit der vom Beschwerdeführer geschilderten Unterstützung seines deutschen Freundes und dessen Ehefrau vom 15. März bis 12. April 2012 und der damit verbundenen langen Zugfahrt dokumentierte der Beschwerdeführer, dass bei ihm sicher nicht mehr eine derart grosse Beeinträchtigung im psychischen Bereich gegeben sein konnte wie im Zeitpunkt der ursprünglichen Rentengewährung.
4.4. Der Beschwerdeführer meint, dass die Berichte seiner Hausärztin Dr. B._ und von Dr. F._ aussagekräftiger seien als jene des Gutachters Dr. G._. Dem ist jedoch entgegenzuhalten, dass wegen der unterschiedlichen Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-) Arztes und Begutachtungsauftrag des amtlich bestellten medizinischen Experten (<ref-ruling> E. 4 S. 175) es nicht geboten ist, ein Administrativ- oder Gerichtsgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen (Urteil 8C_260/2011 vom 25. Juli 2011 E. 5.2). Überdies ist zu vermerken, dass sich Dr. B._ ohnehin mit ihren psychiatrischen Diagnosen ausserhalb ihres Fachgebietes äussert. Auch hielt es der Beschwerdeführer offensichtlich nicht mehr für nötig, ab August 2010 psychiatrische Behandlung in Anspruch zu nehmen; vielmehr musste er wegen der Anfrage der Beschwerdegegnerin zu einem Untersuch aufgeboten werden.
Die Beschwerdegegnerin konnte somit zu Recht von einer Verbesserung des Gesundheitszustandes des Beschwerdeführers ausgehen.
4.5. Der Beschwerdeführer beanstandet, dass noch eine zusätzliche neurologische Abklärung hätte stattfinden müssen. Er wurde jedoch im Rahmen des von ihm bei der SUVA geltend gemachten Rückfalles umfassend neurologisch abgeklärt. Dazu gehörte auch eine MR-Untersuchung am 29. November 2010 durch Prof. Dr. H._, Spezialarzt für Neuroradiologie, bei welcher keine posttraumatischen Läsionen sichtbar wurden. Aufgrund der vorhandenen Befunde schloss Dr. E._, Abteilung Versicherungsmedizin der SUVA, eine organisch begründete Verschlechterung im Zusammenhang mit dem Trauma sei nicht nachvollziehbar. Eine zusätzliche neurologische Begutachtung war vor dem Hintergrund dieser Erkenntnisse nicht erforderlich.
4.6. Der Beschwerdeführer macht unter Verweis auf den von ihm geklagten Tinnitus geltend, dies hätte Anlass zu weiteren Abklärungen geboten. Jedoch wurde ein Tinnitus im Rahmen des Revisionsverfahrens lediglich vom Beschwerdeführer gegenüber dem psychiatrischen Gutachter genannt. Weder erwähnte er dies in dem von ihm am 25. Juni 2011 ausgefüllten Fragebogen noch stellte Dr. F._ diese Diagnose. Der Beschwerdeführer sah sich offensichtlich auch nicht veranlasst, den von ihm geklagten Tinnitus, der nicht als körperliches Leiden respektive als Leiden, das (zwingend) auf eine körperliche Ursache zurückzuführen ist, betrachtet werden kann (<ref-ruling> E. 5.8.3 S. 256), ärztlich durch einen ORL-Facharzt behandeln zu lassen. Ebensowenig befand es seine Hausärztin Dr. B._ für nötig, eine Behandlung zu veranlassen oder eine Überweisung an einen Spezialarzt vorzunehmen, obwohl sie in ihren Arztberichten die Diagnose Tinnitus stellte. Überdies hat die Vorinstanz für das Bundesgericht verbindlich festgestellt, der Tinnitus habe bereits vor der relevanten Arbeitsunfähigkeit bestanden. Der Beschwerdeführer bringt nichts vor, das diese Feststellung als offensichtlich unzutreffend qualifizieren würde. Der geklagte Tinnitus kann daher nicht als Leiden qualifiziert werden, das eine Arbeitsunfähigkeit verursachen würde, die über das vom Gutachter Dr. G._ attestierte Ausmass hinausgeht.
4.7. Eine posttraumatische Belastungsstörung, welche die gemäss Rechtsprechung erforderlichen Ursachen hätte (traumatisierendes Ereignis von aussergewöhnlicher Schwere; vgl. Urteil 9C_842/2009 vom 17. November 2009 E. 2.2 mit weiteren Hinweisen), liegt beim Beschwerdeführer nicht vor.
Die Vorinstanz durfte daher ohne Bundesrechtsverletzung auf das Gutachten des Dr. G._ und die dort vorgenommene Beurteilung der Arbeitsfähigkeit des Beschwerdeführers in der angestammten und in adaptierten Tätigkeiten abstellen.
5.
Der Beschwerdeführer macht geltend, es hätten zuerst Eingliederungsmassnahmen an die Hand genommen werden müssen, bevor eine Rentenherabsetzung hätte stattfinden dürfen. Dem ist jedoch entgegenzuhalten, dass der Beschwerdeführer aufgrund seines Alters (50-jährig im Zeitpunkt der Herabsetzung der Rente per Oktober 2012) und aufgrund der Dauer der Rentenzahlung erst seit 1. Juni 2010 auf den Weg der Selbsteingliederung verwiesen werden durfte (vgl. das Urteil 9C_228/2010 vom 26. April 2011 E. 3.4 = SVR 2011 IV Nr. 73 S. 220).
6.
Aufgrund des Ausgangs des Verfahrens hat der Beschwerdeführer die Kosten desselben zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Dezember 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Traub