Sachverhalt:
A.
A.a. W._, geboren 1959, war Bezüger einer Ergänzungsleistung (EL) zur Invalidenrente. Nach einem vorübergehenden Wegfall des Anspruchs ab 1999 meldete er sich am 17. Dezember 2002 beim Amt für AHV und IV des Kantons Thurgau erneut zum Bezug von Leistungen an. Dabei war er vertreten durch den hierzu bevollmächtigten I._. Bei der Beantwortung der im Gesuchsformular gestellten Frage nach "Renten und Pensionen öffentlichen oder privaten Rechts (...) z.B. Renten privater Versicherungen" fügte dieser im entsprechenden Feld einen diagonal verlaufenden Strich ein. Mit Verfügung vom 17. April 2003 und Wirkung ab 1. Januar 2003 sprach das kantonale Amt W._ wiederum eine EL zu. Es bestätigte den Anspruch in darauffolgenden Verfügungen. In den Formularen zur Überprüfung der wirtschaftlichen Verhältnisse (jeweils per 1. Januar) beantwortete W._ die genannte Frage nicht (29. Januar 2007) oder verneinte sie (5. März 2009 [vertreten durch die Mutter] und 26. Januar 2011).
A.b. Aus den von der AHV-Zweigstelle dem kantonalen Amt übermittelten Rentenbescheinigungen der Swiss Life (vom 10. Januar 2009 und 9. Januar 2010) sowie einem Schreiben des Versicherers (vom 30. Juni 2011) ging hervor, dass W._ in den Jahren 2008 bis 2010 eine Erwerbsunfähigkeitsrente von jeweils Fr. 1'556.40 ausgerichtet worden war. Am 30. Juni 2011 teilte die Swiss Life der AHV-Zweigstelle neben anderem mit, sie zahle W._ seit dem 11. November 1986 Leistungen aus. Diese betrügen seit 1993 quartalsweise Fr. 320.80 (nach Abzug der Prämie).
A.c. Mit Verfügung vom 31. August 2011 forderte das Amt für AHV und IV von W._ für die Zeit vom 1. September 2006 bis 31. August 2011 bezahlte Ergänzungsleistungen im Gesamtbetrag von Fr. 11'750.- zurück. Sie stützte sich auf die Berechnungsblätter für die Ergänzungsleistungen der genannten Periode, in welchen sie neu Rentenleistungen der Swiss Life in Höhe von jährlich Fr. 1'283.- berücksichtigte.
A.d. Mit einem (nach unbestrittener Aussage des Beschwerdeführers im kantonalen Beschwerdeverfahren) von der AHV-Zweigstelle aus Anlass einer Vorsprache der Mutter O._ schriftlich ausformulierten und mit "Erlassgesuch" betitelten Schreiben vom 2. September 2011 gelangte O._ an das kantonale Amt für AHV und IV. Sie zeigte sich darin "sehr erschrocken über die Höhe des Betrages". Mit dem Einkommen und der Rente sei es nicht möglich, den offenen Betrag von Fr. 11'750.- abzubezahlen. Die Einnahmen reichten kaum, die Auslagen zu decken. Sie bitte darum, den Erlass oder einen Teilerlass der Rückforderung zu prüfen. Mit Verfügung vom 9. Januar 2012 wies das Amt das Gesuch ab. Es bestätigte dies mit Einspracheentscheid vom 20. April 2012. In der Begründung führte es aus, die Eingabe der O._ vom 2. September 2011 könne nicht als Einsprache gegen die Rückforderungsverfügung vom 31. August 2011 interpretiert werden.
B.
Die von W._ hiegegen erhobene Beschwerde mit dem Antrag, der Einspracheentscheid sei aufzuheben und es sei auf eine Rückforderung angeblich zu viel bezogener Ergänzungsleistungen zu verzichten, wies das Versicherungsgericht des Kantons Thurgau ab (Entscheid vom 8. August 2012).
C.
W._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des Entscheides vom 8. August 2012 beantragen. Er erneuert den Antrag auf den Verzicht auf die Rückforderung. Eventualiter sei die Sache zu weiteren Abklärungen bzw. neuem Entscheid an die Vorinstanz zurückzuweisen.
Das kantonale Gericht und das kantonale Amt für AHV und IV schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.

Erwägungen:
1.
Es ist vorab zu prüfen, ob die mit "Erlassgesuch" betitelte Eingabe der Mutter O._ vom 2. September 2011 korrekterweise nicht auch als Einsprache gegen die Rückerstattungsverfügung vom 31. August 2011 hätte bearbeitet werden müssen. Verwaltung und Vorinstanz haben dies verneint, wobei die Vorinstanz richtig angeführt hat, dass der später beigezogene Rechtsvertreter nach dem verweigerten Rückforderungserlass (Verfügung vom 9. Januar 2012) mit (vorsorglicher) Einsprache vom 2. Februar 2012 den Beschwerdegegner in Kenntnis gesetzt hat, dass die Eingabe sich insbesondere auch gegen die Rückerstattungsverfügung vom 31. August 2011 richte. Am 30. März 2012 beantragte er, der EL-Anspruch sei rückwirkend ab 1. September 2006 neu zu berechnen, da die Berufsauslagen nicht berücksichtigt worden seien.
2.
Die Annahme einer Einsprache setzt u.a. voraus, dass der Wille zum Ausdruck gebracht wird, die erlassene Verfügung nicht zu akzeptieren (vgl. Urteil I 664/03 vom 19. November 2004 E. 2.3 mit Hinweis auf <ref-ruling> E. 1b S. 350; KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 23 zu Art. 52). Bei der Eingabe vom 2. September 2011 konnte aufgrund ihrer Bezeichnung als "Erlassgesuch" und des Wortlautes der Begründung wohl primär darauf geschlossen werden, dass die Mutter des Beschwerdegegners ein solches Gesuch stellen wollte. Sie zeigte sich schockiert über die Höhe des Betrages, machte jedoch keine begründete Ausführungen dazu, warum die Rückforderung nicht korrekt sein sollte. Vielmehr führte sie die Rechtfertigung an, sie habe die Rente aufgrund der Auskunft ihres Versicherungsvertreters nicht deklariert und die finanziellen Verhältnisse würden nicht ausreichen, um den geforderten Betrag zurückzuerstatten. Dabei handelte es sich offensichtlich um Ausführungen zum guten Glauben und der grossen Härte als Erlassvoraussetzungen. Indes ist bei der Interpretation des Inhaltes des Schreibens nicht ausser Acht zu lassen, dass die Mutter des Beschwerdeführers sich (vom Beschwerdegegner unbestritten) unmittelbar nach dem Erhalt der Rückforderungsverfügung an die AHV-Zweigstelle wandte und dort um Hilfestellung bat. Die Zweigstelle hat für die Mutter das Schreiben an den zentralen Rechts- und Einsprachedienst des Amtes für AHV und IV verfasst.
3.
Nach <ref-law> kann die Einsprache wahlweise schriftlich oder bei persönlicher Vorsprache mündlich erhoben werden. Bei einer mündlich erhobenen Einsprache hält nach <ref-law> der Versicherer die Einsprache in einem Protokoll fest; die Person, welche die Einsprache führt, muss das Protokoll unterzeichnen. Diese Formerfordernis ist mit dem Schreiben vom 2. September 2011 grundsätzlich eingehalten, hat doch die Mutter das Schreiben unterzeichnet. Allerdings ist nirgends festgehalten, wer die Vorbringen protokolliert hat. Dies ist nicht unbedeutend, denn gemäss <ref-law> besteht ein individuelles Recht auf Beratung durch den zuständigen Versicherungsträger. Jede versicherte Person kann vom Versicherungsträger im konkreten Einzelfall eine unentgeltliche Beratung über ihre Rechte und Pflichten verlangen (<ref-ruling> E. 4.1 S. 476). Sinn und Zweck der Beratungspflicht ist, die betreffende Person in die Lage zu versetzen, sich so zu verhalten, dass eine den gesetzgeberischen Zielen des jeweiligen Erlasses entsprechende Rechtsfolge eintritt. Dabei ist nach der Lehre die zu beratende Person über die für die Wahrnehmung der Rechte und Pflichten massgebenden Umstände rechtlicher oder tatsächlicher Art zu informieren, wobei gegebenenfalls ein Rat bzw. eine Empfehlung für das weitere Vorgehen abzugeben ist (<ref-ruling> E. 4.3 S. 478 mit Hinweisen; Urteil I 714/06 vom 20. April 2007 E. 4.1, in: SVR 2008 IV Nr. 10 S. 30; ULRICH MEYER, Grundlagen, Begriff und Grenzen der Beratungspflicht der Sozialversicherungsträger nach <ref-law>, in: René Schaffhauser/ Franz Schlauri [Hrsg.], Sozialversicherungsrechtstagung 2006, S. 9 ff., insbes. S. 14 und 25). Diese Beratungspflicht wird primär ausgelöst durch eine konkrete Anfrage einer versicherten Person zu einem bestimmten, sie aktuell beschäftigenden sozialversicherungsrechtlichen Problem. Wendet sie sich mit einem Anliegen an die Versicherung, ist diese umfassend zur Aufklärung verpflichtet. Sie muss bei konkretem Anlass den Versicherten auf Gestaltungsmöglichkeiten hinweisen, die klar zutage liegen und deren Wahrnehmung offenbar so zweckmässig ist, dass jeder verständige Versicherte sie mutmasslich nutzen würde. Ausreichend ist die Auslösung der Beratungspflicht, wenn für den zuständigen Versicherungsträger erkennbar ist, dass der Betroffene durch ein bestimmtes Handeln oder Unterlassen Nachteile in Ansehung seiner Sozialleistungsansprüche erleiden kann ( HERMANN PLAGEMANN (Hrsg.), Münchner Anwaltshandbuch Sozialrecht, 2. Aufl., München 2005, S. 1333 N 21). Richtschnur, wann die Behörde zu beraten hat, bildet Treu und Glauben, d.h. eine an der konkret eingetretenen Sachlage ansetzende Prüfung, was ein Erklärungsadressat bei gebotener sorgfältiger Prüfung der Sach- und Rechtslage antworten würde ( ULRICH MEYER, a.a.O., S. 25).
Der Inhalt der anlässlich der Vorsprache auf der Zweigstelle gemachten Aussagen der Mutter sowie der Beratung durch die Amtsstelle ist in den Akten nirgends festgehalten. Darum ist nicht ersichtlich, ob die (allenfalls) erfolgte Beratung den oben genannten Anforderungen gerecht wurde, denn im damals bestehenden Kontext hätte das primäre Ziel zunächst darin bestehen müssen, die Rückforderung durch eine Beseitigung der eben ergangenen Verfügung abzuwehren oder zu reduzieren. Für ein vorzeitiges, direktes Stellen eines Erlassgesuches bestand unmittelbar noch gar kein Anlass. Mit der Vorsprache auf der AHV-Zweigstelle reagierte die Mutter ganz offensichtlich auf die drei Tage zuvor erlassene Rückforderungsverfügung, was die Vermutung nahelegt, dass damit eine Einsprache gegen jene Verfügung bezweckt war. Das im Stil eines Standardschreibens abgefasste "Erlassgesuch" kann durchaus durch eine Person ohne verfahrensrechtliche Fachkenntnisse ausgefertigt worden sein. Es ist somit nicht auszuschliessen, dass eine gegen die drei Tage zuvor versandte Rückforderungsverfügung gerichtete mündliche Einsprache zu einem Erlassgesuch "mutierte", obwohl es nicht dem wirklichen (im damaligen Kontext nachvollziehbaren) Willen entsprach, die Rückforderung anzufechten. In diesem Punkte besteht eine nicht zu beseitigende Unsicherheit.
4.
Für die Vorinstanz war die Frage ebenfalls strittig, ob die Rechtmässigkeit der Rückerstattungsforderung als solche Verfahrensgegenstand bildete. Sie erwog dazu, die keinesfalls unbeholfen abgefasste, sondern in präzisen Sätzen ausformulierte Eingabe der Mutter könne nach Treu und Glauben nicht als gegen die Rückforderung gerichtete Einsprache gewertet werden. Damit überging die Vorinstanz den nie bestrittenen Umstand, dass das Schreiben nicht von der Mutter, sondern durch eine Aussenstelle des Beschwerdegegners verfasst worden war. Die vorinstanzliche Feststellung, es fänden sich im besagten Schreiben keinerlei Hinweise darauf, dass die Mutter die Höhe der Rückforderung in Frage stellen wollte, überzeugt zudem nicht: Die Aussage, sie sei über die Höhe des Betrages erschrocken, kann durchaus als Bestreiten zumindest eines Teilbetrages der Forderung interpretiert werden. Wie vom Beschwerdeführer nach dem Beizug des Rechtsvertreters geltend gemacht worden ist, wurden bei der Festsetzung der EL möglicherweise gewisse Auslagen nicht berücksichtigt. Solches wäre zunächst in einem Einspracheverfahren gegen die Rückforderungsverfügung vom 31. August 2011 zu klären gewesen, da sich ein Bemessungsfehler unmittelbar auf die Korrektheit des Rückforderungsbetrages auswirken konnte. Dabei wäre zu begründen gewesen, warum die EL-Rückforderung beinahe den doppelten Betrag der von der Versicherung ausbezahlten Rente ausmachte. Gerade diese Diskrepanz könnte ja die Mutter dazu bewogen haben, gegen die Rückforderung einzusprechen, wenn sie ausführte, sie sei über die Höhe des Betrages schockiert. Erst aus der Begründung des Einspracheentscheides vom 20. April 2012 über das "Erlassgesuch" ging hervor, dass dieses "Auseinanderklaffen" der Beträge offenbar auf die Ausrichtung einer EL-Minimalgarantie zurückzuführen war.
5.
Nach dem Gesagten sind nicht zu beseitigende Zweifel daran angebracht, dass das von der AHV-Zweigstelle abgefasste Erlassgesuch den Willen der Vorsprechenden korrekt wiedergab. Nach den Akten sind hier zusätzliche Abklärungen im Rahmen der Untersuchungspflicht von Verwaltung und Vorinstanz (Art. 43 Abs. 1 und 61 lit. c ATSG) trotz frühzeitiger Vorbringen nicht getroffen worden. Weil die formellen Anforderungen an eine Einsprache äusserst gering sind (E. 2), darf hier unmittelbar nach Beginn der Einsprachfrist gegen die Rückforderungsverfügung nicht leichthin von einem bewussten Einspracheverzicht gegen die Rückforderung und einem vorzeitigen Erlassgesuch ausgegangen werden. Deshalb wäre im Rahmen der Instruktion des "Erlassgesuches" vom 2. September 2011 mit den Betroffenen abzuklären gewesen, welche Qualität dem Schreiben genau zuzumessen war (Einsprache oder Erlassgesuch oder beides kombiniert). Entsprechend wäre dann über die Rückforderung im Einspracheentscheid zu befinden gewesen bzw. über die Verweigerung eines Erlasses zu verfügen. Die Sache wird unter Aufhebung des Einspracheentscheides vom 20. April 2012 und des vorinstanzlichen Entscheides vom 8. August 2012 an den Beschwerdegegner zurückgewiesen, damit er die Eingabe vom 2. September 2011 als Einsprache gegen die Rückforderungsverfügung vom 31. August 2011 behandelt. Er wird dabei auch die seither dargelegten Aspekte zur Berechnungsweise der (allfälligen) Rückforderung mitberücksichtigen.
6.
Abschliessend bleibt festzustellen, dass das Bestehen der Versicherung bei der Rentenanstalt/Swiss Life in den Akten der AHV/IV bereits seit 1991 dokumentiert war (vgl. am 30. Januar 1991 eingegangenes Formular zur generellen Überprüfung der wirtschaftlichen Verhältnisse per 1. Januar 1991; Aktennotizen der AHV-Gemeindestelle vom 16. April 1991 und 24. Mai 1991; Bestätigung der Swiss Life vom 27. März 1991 mit beigelegter Police 8911.1990). Aus der genannten Police geht auch hervor, dass eine Zusatzversicherung bei Erwerbsunfähigkeit abgeschlossen war.
7.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdegegner aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 8. August 2012 und der Einspracheentscheid des Amts für AHV und IV des Kantons Thurgau vom 20. April 2012 werden aufgehoben.
2.
Die Sache wird zur Behandlung der Eingabe vom 2. September 2011 im Sinne der Erwägungen an den Beschwerdegegner zurückgewiesen.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
4.
Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
5.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Thurgau zurückgewiesen.
6.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Juni 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Schmutz