Sachverhalt:
A.
Der 1942 geborene A._ bezog seit Juni 2009 Ergänzungsleistungen (EL) zu seiner AHV-Rente (Verfügung vom 9. Juli 2009). Im Rahmen einer periodischen Überprüfung verneinte die Sozialversicherungsanstalt des Kantons St. Gallen, Ausgleichskasse (nachfolgend: EL-Durchführungsstelle) den Anspruch auf Ergänzungsleistungen ab November 2012 (Verfügung vom 12. Oktober 2012). Zur Begründung führte die Verwaltung an, die an A._ ausgerichtete Altersrente aus Österreich sei höher und die Hypothekarzinsen für sein Einfamilienhaus seien tiefer als den bisherigen Berechnungen zugrunde gelegt. Mit Verfügung vom 5. März 2013 verneinte die EL-Durchführungsstelle einen Leistungsanspruch auch rückwirkend für den Zeitraum vom 1. Oktober 2009 bis zum 31. Oktober 2012 und forderte insgesamt Fr. 23'610.- zurück. Zudem forderte sie mit Verfügung vom 14. März 2013 Fr. 5'515.40 zu Unrecht erstattete Krankheitskosten zurück. An diesen Verfügungen hielt sie mit Einspracheentscheid vom 17. Mai 2013 fest.
B.
In teilweiser Gutheissung der dagegen erhobenen Beschwerde verpflichtete das Versicherungsgericht des Kantons St. Gallen A._ zur Rückerstattung unrechtmässig bezogener Leistungen von insgesamt Fr. 28'379.25 (Fr. 23'610.- Ergänzungsleistungen sowie Fr. 4'769.25 Vergütungen für Krankheitskosten; Entscheid vom 20. August 2015).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, es sei unter Aufhebung des kantonalen Entscheids festzustellen, dass die Rückforderungsverfügungen vom 5. März 2013 betreffend die Ergänzungsleistungen und vom 14. März 2013 betreffend die Krankheitskosten ohne genügende Rechtsgrundlage erfolgt seien. Eventualiter sei die Angelegenheit zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Die EL-Durchführungsstelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2. Der Beschwerdeführer stellt im Hauptantrag unter anderem ein Feststellungsbegehren, das indes im Lichte der Beschwerdebegründung (vgl. in <ref-ruling> nicht publizierte E. 3.2.1 des Urteils I 138/02 vom 27. Oktober 2003) so zu verstehen ist, dass nicht nur - wie explizit beantragt - der kantonale Entscheid, sondern auch die beiden Verfügungen vom 5. März 2013 und vom 14. März 2013 aufzuheben sind.
2.
2.1. Unrechtmässig bezogene Ergänzungsleistungen sind zurückzuerstatten (Art. 25 Abs. 1 erster Satz ATSG in Verbindung mit Art. 1 Abs. 1 ELG). Dazu bedarf es nach der Rechtsprechung, dass die Bedingungen für eine prozessuale Revision (<ref-law>) oder einer Wiedererwägung (<ref-law>) der ursprünglichen Verfügung erfüllt sind (<ref-ruling> E. 2.3.1 S. 384; Urteil 8C_792/2015 vom 31. Mai 2016 E. 3.2, zur Publikation vorgesehen).
2.2. Es ist unbestritten, dass der Beschwerdeführer ab Juni 2009 zu Unrecht Ergänzungsleistungen und Vergütungen von Krankheitskosten bezogen hat. Einigkeit besteht auch in Bezug auf das Vorliegen eines Rückkommenstitels (Wiedererwägung) sowie den massgeblichen Rückforderungsbetrag von Fr. 28'379.25. Streitig und zu prüfen ist einzig, ob es der Vertrauensschutz gebietet, auf dessen Rückforderung zu verzichten.
3.
3.1. Der Beschwerdeführer wendet ein, bei Vorliegen bestimmter Sachverhaltselemente sei aus Gründen des Vertrauensschutzes auf eine Rückforderung zu verzichten. So verhalte es sich namentlich dann, wenn - wie in seinem Fall - angenommen werden könne, der Versicherungsträger hätte die Leistung auch ausgerichtet, wenn er um deren Unrechtmässigkeit gewusste hätte. Er habe sämtliche Einkünfte korrekt deklariert. Die EL-Durchführungsstelle habe demnach trotz Kenntnis der Unrechtmässigkeit - bzw. obwohl sie um diese hätte wissen müssen - Leistungen ausgerichtet.
3.2. Der Grundsatz von Treu und Glauben wird im Bereich der Rückerstattung unrechtmässig bezogener Leistungen durch <ref-law> konkretisiert, wonach, wer Leistungen in gutem Glauben empfangen hat, sie nicht zurückerstatten muss, wenn eine grosse Härte vorliegt. Diese Voraussetzungen sind allerdings in einem besonderen Erlassverfahren (<ref-law>), und nicht im vorliegenden Verfahren zu prüfen. Eine solche - letztlich dem Legalitätsprinzip dienende (LOCHER/GÄCHTER, Grundriss des Sozialversicherungsrechts, 4. Aufl. 2014, § 43 Rz. 3) - Ordnung kann im Rahmen der Rechtsanwendung nicht generell aus Gründen des Vertrauensschutzes übergangen werden. Im vorliegenden Verfahren könnten höchstens zusätzliche, besondere Vertrauensschutztatbestände massgebend sein, welche schon das Entstehen der Rückforderungsschuld als solche in Frage stellen könnten (zitiertes Urteil 8C_792/2015 E. 3.2.2; C 264/05 vom 25. Januar 2006 E. 2.1).
3.3. Ein solcher besonderer Vertrauensschutztatbestand - konkret ein Verhalten des Versicherers, welches die Rückforderung trotz Rückkommenstitel als stossend erscheinen liesse (vgl. Urteil 8C_987/2010 vom 24. August 2011 E. 3.3.2) - liegt hier indessen nicht vor. Davon, dass der Beschwerdeführer darauf vertrauen durfte, die EL-Durchführungsstelle hätte die Ergänzungsleistungen auch dann ausgerichtet, wenn sie um deren Unrechtmässigkeit gewusste hätte, kann entgegen den Behauptungen in der Beschwerde nicht ernsthaft ausgegangen werden. Selbst der Beschwerdeführer räumt ein, es sei der Verwaltung ein Fehler im Rahmen einer "simplen Multiplikation" unterlaufen. Am Fehlen eines besonderen Vertrauenstatbestandes vermag auch nichts zu ändern, dass die EL-Durchführungsstelle - wie im Übrigen auch der Beschwerdeführer - den Berechnungsfehler ohne Weiteres hätte erkennen können. Lediglich der Vollständigkeit halber sei darauf hingewiesen, dass die Unrechtmässigkeit der ausgerichteten Ergänzungsleistungen gemäss den unbestritten gebliebenen vorinstanzlichen Feststellungen nicht nur auf einem Berechnungsfehler, sondern auch auf einer Unterlassung des Beschwerdeführers beruht, welcher seine verminderten Ausgaben für die Hypothekarzinsen ab Oktober 2009 nicht gemeldet hatte.
3.4. Andere Gründe, weshalb im Rahmen des Vertrauensschutzes auf die Rückforderung zu verzichten sein sollte, vermag weder der Beschwerdeführer zu nennen noch sind solche ersichtlich. Es erübrigen sich Weiterungen dazu.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. August 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Williner