Sachverhalt:
A.
A.a. A._, geboren 1969, war gelernter Mechaniker und arbeitete in verschiedenen Metallverarbeitungsbetrieben. Am 12. Dezember 2005 meldete er sich unter Hinweis auf Atemnot und Asthma bei der Invalidenversicherung zum Leistungsbezug an. Die Schweizerische Unfallversicherungsanstalt (Suva) klärte eine Allergie auf Metallstaub ab. Sie lehnte ihre Leistungspflicht für eine Berufskrankheit am 19. August 2005 ab, erliess aber am 8. März 2006 eine Nichteignungsverfügung für Arbeiten mit Exposition zu Glasfasern, mineralölhaltigen oder synthetischen Kühlschmieremulsionen und Lösungsmitteln. Nach einer interdisziplinären Untersuchung bescheinigte der Regionale Ärztliche Dienst (RAD) am 29. August 2007 eine 50-prozentige Arbeitsunfähigkeit vorab aus psychischen Gründen. Mit Verfügung vom 3. September 2008 sprach ihm die IV-Stelle des Kantons St. Gallen ab dem 1. Mai 2006 eine halbe Invalidenrente zu. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 2. Juli 2010 teilweise gut. Es hob die angefochtene Verfügung auf und wies die Sache zur Weiterführung des Verwaltungsverfahrens im Sinne der Erwägungen an die IV-Stelle zurück. Die Eingliederungsmassnahmen seien bereits nach wenigen Gesprächen zu früh wieder eingestellt worden.
A.b. Am 3. Januar 2012 erteilte die IV-Stelle Kostengutsprache für ein Belastbarkeitstraining, welches jedoch nach krankheitsbedingten Absenzen vorzeitig abgebrochen wurde. Sie holte ein Gutachten der Swiss Medical Assessment- and Business-Center SMAB AG, Bern, vom 12. Dezember 2012 ein. Die Ärzte bescheinigten mit Rücksicht auf das Asthma sowie psychische Gründe eine 50-prozentige Arbeitsunfähigkeit in einer Verweistätigkeit. In der Folge nahm die IV-Stelle ihre Eingliederungsbemühungen wieder auf. Da jedoch eine psychiatrische Betreuung in einer Tagesklinik geplant war, wartete sie mit Massnahmen zu. Nachdem der Versicherte dort nicht mehr erschienen war und sich auch bei der Eingliederungsberaterin nicht meldete, lehnte die IV-Stelle den Anspruch auf berufliche Massnahmen mit Verfügung vom 28. Oktober 2013 ab.
Einer Publikation des Departements des Innern des Kantons St. Gallen vom September 2013 mit Hinweis auf das St. Galler Tagblatt (Online-Ausgabe vom 17. Januar 2013) entnahm sie, dass der Versicherte als Mitarbeiter der offenen Sprechstunde des Pilotprojekts B._ zur Information und Begrüssung zugewanderter Personen in den Gemeinden tätig war. Die IV-Stelle lud ihn zu einem Standortgespräch am 6. März 2014 ein. Des Weiteren ersuchte sie bei der Kantonspolizei C._ sowie bei der Staatsanwaltschaft des Kantons D._ um Einsicht in die Strafakten. Der Versicherte reichte einen Arbeitsvertrag mit dem Verein F._ vom 12. Dezember 2013 ein. Am 17. Juni 2014 teilte die IV-Stelle dem Versicherten mit, dass die Rentenleistungen gestützt auf den Entscheid des kantonalen Versicherungsgerichts vom 2. Juli 2010 per sofort eingestellt würden. Nach weiteren Abklärungen werde eine neuer Vorbescheid zugestellt. Dagegen beschwerte sich sein behandelnder Arzt Dr. med. G._, Facharzt Psychiatrie und Psychotherapie.
Die IV-Stelle holte ein weiteres polydisziplinäres Gutachten (mit internmedizinischer, rheumatologischer, psychiatrischer, dermatologischer und pneumologischer Untersuchung) des Begutachtungszentrums BEGAZ, Binningen, vom 4. Juni 2015 ein. Die Ärzte bescheinigten eine 50-prozentige Arbeitsunfähigkeit. Am 30. September 2015 liess ihr der berufliche Vorsorgeversicherer eine Stellungnahme seines beratenden Arztes Dr. med. H._, Psychiatrie und Psychotherapie FMH, zukommen, welcher die im psychiatrischen Teilgutachten gestellten Diagnosen als nicht hinreichend belegt und die Arbeitsfähigkeit als nicht eingeschränkt erachtete. Die ärztliche Mitarbeiterin der IV-Stelle gab zu bedenken, dass seine Einwände berechtigt seien und auch bei einer erneuten Begutachtung auf die subjektiven Angaben des Versicherten abgestellt würde, weshalb sie zunächst eine Observation empfahl. Die IV-Stelle erteilte einen Überwachungsauftrag. Gemäss Ermittlungsbericht vom 6. Februar 2016 wurde der Versicherte im Zeitraum vom 2. November 2015 bis zum 15. Januar 2016 beobachtet. Die IV-Stelle lud ihn am 23. März 2016 und am 4. Mai 2016 (in Anwesenheit seines Rechtsvertreters) zu Standortgesprächen ein. Mit Verfügung vom 14. Juni 2016 ordnete sie eine monodisziplinäre psychiatrische Begutachtung an. Das Gesuch um unentgeltliche Verbeiständung lehnte sie mit Verfügung vom 27. Mai 2016 ab.
B.
A._ erhob gegen die Verfügungen vom 27. Mai 2016 und vom 14. Juni 2016 Beschwerde beim Versicherungsgericht des Kantons St. Gallen. Dieses vereinigte die Verfahren. Mit Entscheid vom 24. März 2017 hob es die Verfügung vom 27. Mai 2016 in Gutheissung der dagegen erhobenen Beschwerde auf und bewilligte die unentgeltliche Verbeiständung für das Verwaltungsverfahren (Dispositiv-Ziffer 4). Die Beschwerde gegen die Verfügung vom 14. Juni 2017, mit welcher die Entfernung des Ermittlungs- und Überwachungsberichts und des Berichts des Dr. med. H._ sowie die Fortführung der Rente beantragt wurde, hiess es teilweise gut. Es hob die Verfügung vom 14. Juni 2016 auf und wies die Sache zur Fortführung des Verwaltungsverfahrens im Sinne der Erwägungen an die IV-Stelle zurück (Dispositiv-Ziffer 2). Es verpflichtete sie, den Ermittlungsbericht vom 6. Februar 2016 samt separater DVD, die dazu ergangene Stellungnahme der IV-Ärztin, einen Auszug aus dem Protokoll des Standortgesprächs sowie eine Aktennotiz des IV-Sachbearbeiters vom 9. Mai 2016 aus den Akten zu entfernen (Dispositiv-Ziffer 3 und E. 3.4).
C.
Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, ihre Verfügung vom 14. Juni 2016 sei unter Aufhebung des angefochtenen Entscheides zu bestätigen.
A._ lässt auf Nichteintreten, eventualiter auf Abweisung der Beschwerde schliessen und ersucht um Gewährung der unentgeltlichen Rechtspflege. Das Bundesamt für Sozialversicherungen BSV verzichtet auf eine Vernehmlassung.
Erwägungen:
1.
Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient (SVR 2008 IV Nr. 39 S. 131, 9C_684/2007 E. 1.1), um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG (BGE 133 V 477 E. 4.2 S. 481 f. mit Hinweisen). Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
Mit der vorinstanzlichen Ausschliessung der Verwertung des Observationsmaterials (Dispositiv-Ziffer 3) ist die Eintretensvoraussetzung von Art. 93 Abs. 1 lit. a BGG erfüllt, denn die IV-Stelle wäre damit gezwungen, das von ihr als entscheidwesentlich angesehene Beweismaterial ausser Acht zu lassen und eine ihres Erachtens rechtswidrige Verfügung zu erlassen. Darin liegt ein nicht wieder gutzumachender Nachteil (Urteil 8C_272/2011 vom 11. November 2011 E. 1, nicht publ. in: BGE 137 I 327, aber in: SVR 2012 IV Nr. 26 S. 107; Urteil 8C_192/2017 vom 25. August 2017 E. 1.2).
2.
Die Vorinstanz hat die Observation und die Verwertung der Überwachungsergebnisse als unzulässig erachtet. Streitig ist, ob diese Beurteilung vor Bundesrecht standhält. Des Weiteren ist umstritten, ob nach der Observation eine weitere Begutachtung angezeigt war.
3.
Das kantonale Gericht stellte fest, dass für die Observation keine gesetzliche Grundlage bestehe. Das beschaffte Datenmaterial sei aus den Akten zu entfernen. Zur Beweiskraft der von der IV-Stelle eingeholten SMAB- und BEGAZ-Gutachten sowie des Berichts des Dr. med. H._ äusserte es sich nicht näher. Es hielt indessen fest, dass es dem Versicherungsträger nicht zustehe, eine "second opinion" zum bereits in einem Gutachten festgestellten Sachverhalt einzuholen.
Die beschwerdeführende IV-Stelle macht geltend, dass die Überwachung rechtmässig gewesen und das dabei erhobene Beweismaterial verwertbar sei. Das Observationsmaterial stelle die gutachtlichen Einschätzungen in Frage, weshalb eine erneute Exploration erforderlich sei.
4.
4.1. Der Europäische Gerichtshof für Menschenrechte (EGMR) hat in seinem Urteil vom 18. Oktober 2016 in Sachen Vukota-Bojic gegen die Schweiz (61838/10) über die EMRK-Konformität einer Observation, die im Auftrag eines (sozialen) Unfallversicherers durch einen Privatdetektiv erfolgt war, befunden. Er erkannte, dass eine ausreichende gesetzliche Grundlage für eine Observation nicht besteht, weshalb er auf eine Verletzung von Art. 8 EMRK (Recht auf Achtung des Privatlebens) schloss. Hingegen verneinte er eine Verletzung von Art. 6 Ziff. 1 EMRK (Gebot eines fairen Verfahrens) durch die erfolgte Verwendung der Observationsergebnisse.
Das Bundesgericht hat unter Berücksichtigung der betreffenden Erwägungen des EGMR entschieden, dass es trotz Art. 59 Abs. 5 IVG ("Zur Bekämpfung des ungerechtfertigten Leistungsbezugs können die IV-Stellen Spezialisten beiziehen") auch im Bereich der Invalidenversicherung an einer ausreichenden gesetzlichen Grundlage fehlt, die die Observation umfassend klar und detailliert regelt. Folglich verletzen solche Handlungen, seien sie durch den Unfallversicherer oder durch eine IV-Stelle veranlasst, Art. 8 EMRK beziehungsweise den einen im Wesentlichen gleichen Gehalt aufweisenden Art. 13 BV (Urteil 9C_806/2016 vom 14. Juli 2017, zur Publikation vorgesehen).
4.2. Was die Verwendung des im Rahmen der widerrechtlichen Observation gewonnenen Materials anbelangt, richtet sich diese allein nach schweizerischem Recht. Das Bundesgericht hat in seinem Urteil 9C_806/2016 im Wesentlichen erkannt, dass die Verwertbarkeit der Observationsergebnisse (und damit auch der gestützt darauf ergangenen weiteren Beweise) grundsätzlich zulässig ist, es sei denn, bei einer Abwägung der tangierten öffentlichen und privaten Interessen würden diese überwiegen (E. 5.1.1). Mit Blick auf die gebotene Verfahrensfairness hat es sodann in derselben Erwägung (mit Hinweisen) eine weitere Präzisierung angebracht: Eine gegen Art. 8 EMRK verstossende Videoaufnahme ist verwertbar, solange Handlungen des "Beschuldigten" aufgezeichnet werden, die er aus eigenem Antrieb und ohne äussere Beeinflussung machte, und ihm keine Falle gestellt worden war. Ferner hat es erwogen, dass von einem absoluten Verwertungsverbot wohl immerhin insoweit auszugehen ist, als es um Beweismaterial geht, das im nicht öffentlich frei einsehbaren Raum zusammengetragen wurde (E. 5.1.3; Urteile 8C_735/2016 vom 27. Juli 2017 E. 5.3.6; 8C_45/2017 vom 26. Juli 2017 E. 4; vgl. zum öffentlich einsehbaren Raum: BGE 137 I 327).
5.
Mit Rücksicht auf diese jüngste Rechtsprechung steht mit dem kantonalen Gericht fest, dass die Observation unzulässig war, weshalb eine Verletzung von Art. 8 EMRK und Art. 13 BV festzustellen ist. Hingegen erweist sich der angefochtene Entscheid insoweit als bundesrechtswidrig, als er die Verwertbarkeit der Observationsergebnisse betrifft und ohne Weiteres deren Entfernung aus den Akten angeordnet wurde. Es bleibt zu prüfen, ob die Voraussetzungen für eine Verwertung erfüllt sind.
5.1. Nach einer Aktennotiz der IV-Sachbearbeiterin vom 6. Januar 2014 sei ein interner Hinweis eingegangen, der den Gesundheitsschaden in Frage stelle. In den Akten finden sich Artikel des Departements des Innern des Kantons D._ vom September 2013 sowie der Online-Ausgabe des St. Galler Tagblatts vom 17. Januar 2013, in welcher der Versicherte als Mitarbeiter der Fachstelle Integration porträtiert wird. Er bestreitet nicht, dass er diese Tätigkeit beziehungsweise den damit erzielten Verdienst - nach eigenen Angaben 2'346 Franken im Jahr 2015 - der IV-Stelle nicht gemeldet hat. Nach Art. 31 Abs. 1 IVG wird die Rente revidiert, wenn eine rentenberechtigte Person neu ein Erwerbseinkommen erzielen oder ein bestehendes Erwerbseinkommen erhöhen kann, sofern die Einkommensverbesserung jährlich mehr als 1'500 Franken beträgt. Da die IV-Stelle darüber vom Versicherten nicht informiert worden war und daher insbesondere auch keine Kenntnis vom Umfang seiner Beratertätigkeit beim Kanton oder allenfalls auch einer weitergehenden Erwerbstätigkeit hatte, war ein hinreichender Anfangsverdacht gegeben, der eine Observation rechtfertigte. Damals liess sie den Versicherten jedoch zunächst erneut begutachten. Die BEGAZ-Ärzte bestätigten die bereits im SMAB-Gutachten bescheinigte 50-prozentige Arbeitsunfähigkeit. Der Vertrauensarzt des Vorsorgeversicherers, Dr. med. H._, bezweifelte, dass der Versicherte aus psychiatrischer Sicht derart stark eingeschränkt sei, insbesondere weil gestützt auf seine eigenen Angaben auf ein verhältnismässig gutes Funktionsniveau zu schliessen sei. Die zu Rate gezogene IV-Ärztin gab unter Hinweis auf das zu erwartende Verhalten bei den gutachtlich gestellten Diagnosen zu bedenken, dass sich eine erneute Begutachtung aufdränge, die Ärzte sich aber wiederum auf die subjektiven Beschwerdeangaben stützen würden. Nur eine vorausgehende Observation könne weitere Hinweise auf das tatsächliche Funktionsniveau liefern. Mit Blick drauf war die Observation angezeigt.
5.2. Dass es sich bei der von der Detektei überwachten Person nicht um den Versicherten handeln könnte, wurde nicht geltend gemacht. Es bestehen dafür auch keine Hinweise angesichts der Angaben im Observationsbericht zur Identifikation und zur Wohnsituation.
5.3. Die Observation erfolgte an sechs Tagen. An drei Tagen konnte der Versicherte nicht beobachtet werden. Am 3. und 4. Dezember 2015 sowie am 12. Januar 2016 erfolgte eine eigentliche Überwachung über mehrere Stunden. Der Versicherte war jeweils mit seinem Auto unterwegs und wurde im Wesentlichen bei Gesprächen mit anderen Personen beobachtet.
5.4. Es wurden ausschliesslich alltägliche Verrichtungen im öffentlich einsehbaren Raum aufgezeichnet. Sie erfolgten aus eigenem Antrieb. Der zeitliche Umfang beschränkte sich auf drei Tage. Die Privatsphäre des Versicherten war dadurch nur geringfügig betroffen. Es kann daher nicht von einer schweren Verletzung der Persönlichkeit ausgegangen werden. Dem gegenüberzustellen gilt es das Interesse des Versicherungsträgers und der Versichertengemeinschaft, unrechtmässige Leistungsbezüge abzuwenden. Dieses ist unter den hier gegebenen Umständen höher zu gewichten als das Interesse des Versicherten an einer unbehelligten Privatsphäre.
Damit können im vorliegenden Fall die ohne ausreichende gesetzliche Grundlage erhobenen Observationsergebnisse in Form des entsprechenden Berichts sowie der Foto- und Videoaufnahmen verwertet werden, zumal der Kerngehalt von Art. 13 BV bei der hier gegebenen Überwachung und der damit verbundenen geringen Eingriffsschwere ebenfalls unangetastet blieb (Urteile 9C_806/2016 vom 14. Juli 2017 E. 5.1.2; 8C_735/2016 vom 27. Juli 2017 E. 5.3.5 und E. 5.3.6.3). Gleiches gilt auch für die danach ergangenen weiteren Beweise (Stellungnahme der IV-Ärztin vom 26. Februar 2016; Befragung zu den Observationsergebnissen im Standortgespräch vom 4. Mai 2016; Aktennotiz des IV-Mitarbeiters vom 9. Mai 2016; Beschwerde an das kantonale Gericht gegen die Verfügung vom 14. Juni 2016 betreffend Anordnung einer Begutachtung samt Beilagen).
6.
Ein Observationsbericht bildet für sich allein keine sichere Basis für Sachverhaltsfeststellungen betreffend den Gesundheitszustand und die Arbeitsfähigkeit der versicherten Person. Er kann diesbezüglich höchstens Anhaltspunkte liefern oder Anlass zu Vermutungen geben. Sichere Kenntnis des Sachverhalts kann in dieser Hinsicht erst die ärztliche Beurteilung des Observationsmaterials liefern (BGE 137 I 327 E. 7.1 S. 337; SVR 2012 UV Nr. 17 S. 63, 8C_434/2011 E. 4.2). Im vorliegenden Fall wurden sämtliche Arztberichte und Gutachten vor der Observation verfasst. Es war daher nach der dargelegten Rechtsprechung unumgänglich, deren Ergebnisse ärztlich beurteilen zu lassen.
Die SMAB- und die BEGAZ-Gutachter hatten übereinstimmend festgestellt, dass in der angestammten Tätigkeit Arbeiten mit Glasfasermaterial, Kühlschmierstoffen und Lösungsmitteln das diagnostizierte Asthma bronchiale verstärkten. Sie bescheinigten für eine dem pneumologischen Leiden angepasste Tätigkeit (ohne atemwegsreizende Stoffe wie Staub, Rauch, Gas, Dämpfe, ohne Kälte, Nässe, starke Temperaturschwankungen sowie ohne schwere körperliche Arbeiten) eine Arbeitsunfähigkeit von 50 Prozent wegen einer rezidivierenden depressiven Störung, leichte bis mittelgradige depressive Episode beziehungsweise mittelgradige Episode (ICD-10 F33.1) sowie einer (möglichen) Agoraphobie mit Panikstörung (ICD-10 F40.01). Der Vertrauensarzt des Vorsorgeversicherers, Dr. med. H._, erachtete insbesondere die BEGAZ-Begutachtung als mangelhaft und die psychisch bedingte Einschränkung der Arbeitsunfähigkeit um 50 Prozent aus von ihm näher dargelegten Gründen, insbesondere wegen des verhältnismässig guten Funktionsniveaus des Versicherten, als nicht überzeugend. Dies war denn auch der Anlass für die Anordnung einer Observation. Ob diese Zweifel an der Schlüssigkeit insbesondere des späteren BEGAZ-Gutachtens zu erwecken vermochte, blieb ärztlich unbeurteilt.
Die vorinstanzliche Aufhebung der Verfügung vom 14. Juni 2016, mit welcher die IV-Stelle eine erneute psychiatrische Begutachtung unter Berücksichtigung des Berichts des Dr. med. H._ sowie der Observationsergebnisse angeordnet hat, hält daher vor Bundesrecht nicht stand.
7.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdegegner auferlegt (Art. 66 Abs. 1 Satz 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung, Art. 64 Abs. 1 und Abs. 2 BGG) kann gewährt werden. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Die Dispositiv-Ziffern 2 und 3 des Entscheides des Versicherungsgerichts des Kantons St. Gallen vom 24. März 2017 werden aufgehoben und die Verfügung der IV-Stelle des Kantons St. Gallen vom 14. Juni 2016 wird bestätigt.
2.
Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dr. Ronald E. Pedergnana wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdegegners wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
6.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Oktober 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo