Citation: 9C_258/2014 E. A

A.a. Der 1961 geborene A.________ arbeitete bei der B.________ AG als Baufacharbeiter. Am 21. April 1997 wurde er am Hinterkopf von einer schwenkenden Baggerschaufel getroffen. Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte Leistungen, stellte diese indessen mit Wirkung auf 31. März 1999 ein (Verfügung vom 22. März 1999, bestätigt mit Einspracheentscheid vom 15. Dezember 1999). Die vom Versicherten dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 27. Juni 2001 ab, soweit es darauf eintrat. Im Oktober 1998 meldete sich A.________ zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle des Kantons St. Gallen holte bei der MEDAS ein polydisziplinäres (internistisches/neurologisches/psychiatrisches) Gutachten ein (erstattet am 30. Dezember 2002). Mit Verfügung vom 9. Mai 2003 sprach sie A.________ mit Wirkung ab 1. April 1998 eine ganze Invalidenrente zu. Am 18. Juli 2006 teilte sie ihm mit, dass er unverändert Anspruch auf eine ganze Invalidenrente habe. Auf einen anonymen Hinweis vom Oktober 2010 hin veranlasste die IV-Selle eine Observation des Versicherten. Nachdem sie deren Ergebnisse (Bericht vom 27. Januar 2011) dem IV-Arzt Dr. med. C.________ zur Stellungnahme (erstattet am 7. Februar 2011) unterbreitet hatte, holte sie bei Dr. med. D.________, Facharzt für Psychiatrie und Psychotherapie, ein psychiatrisches Gutachten (vom 3. Juli 2011) ein. Am 23. März 2011 befragte ein Mitarbeiter der IV-Stelle den Versicherten. Dieser unterzeichnete das Befragungsprotokoll gleichentags, wobei er am 29. März 2011 durch seine Tochter mitteilen liess, dass er die Unterschrift zurückziehen möchte. Mit Vorbescheid vom 8. September 2011 stellte die IV-Stelle A.________ die Aufhebung der Verfügung vom 9. Mai 2003 mit der Feststellung, dass er keinen Anspruch auf eine Invalidenrente habe, in Aussicht. Dagegen erhob A.________ am 10. Oktober und 3. November 2011 Einwände. In weiteren Eingaben gab er Stellungnahmen des Dr. med. E.________ vom 11. November 2011 und 10. März 2012 zu den Akten. Am 23. März 2012 hob die IV-Stelle die Verfügung vom 9. Mai 2003 auf und stellte fest, dass A.________ keinen Anspruch auf eine Invalidenrente hat. Einer Beschwerde entzog sie die aufschiebende Wirkung. Mit Verfügung vom 17. April 2012 forderte sie die in der Zeit vom 1. Mai 2007 bis 31. Oktober 2011 erbrachten Rentenleistungen im Betrag von Fr. 110'572.- zurück. A.b. Das von A.________ am 28. September 2011 gestellte Gesuch um unentgeltliche Verbeiständung im Vorbescheidverfahren wies die IV-Stelle am 18. Juni 2012 ab.