Sachverhalt: A. Der 1942 geborene A._ bezog seit Juni 2009 Ergänzungsleistungen (EL) zu seiner AHV-Rente (Verfügung vom 9. Juli 2009). Im Rahmen einer periodischen Überprüfung verneinte die Sozialversicherungsanstalt des Kantons St. Gallen, Ausgleichskasse (nachfolgend: EL-Durchführungsstelle) den Anspruch auf Ergänzungsleistungen ab November 2012 (Verfügung vom 12. Oktober 2012). Zur Begründung führte die Verwaltung an, die an A._ ausgerichtete Altersrente aus Österreich sei höher und die Hypothekarzinsen für sein Einfamilienhaus seien tiefer als den bisherigen Berechnungen zugrunde gelegt. Mit Verfügung vom 5. März 2013 verneinte die EL-Durchführungsstelle einen Leistungsanspruch auch rückwirkend für den Zeitraum vom 1. Oktober 2009 bis zum 31. Oktober 2012 und forderte insgesamt Fr. 23'610.- zurück. Zudem forderte sie mit Verfügung vom 14. März 2013 Fr. 5'515.40 zu Unrecht erstattete Krankheitskosten zurück. An diesen Verfügungen hielt sie mit Einspracheentscheid vom 17. Mai 2013 fest. B. In teilweiser Gutheissung der dagegen erhobenen Beschwerde verpflichtete das Versicherungsgericht des Kantons St. Gallen A._ zur Rückerstattung unrechtmässig bezogener Leistungen von insgesamt Fr. 28'379.25 (Fr. 23'610.- Ergänzungsleistungen sowie Fr. 4'769.25 Vergütungen für Krankheitskosten; Entscheid vom 20. August 2015). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, es sei unter Aufhebung des kantonalen Entscheids festzustellen, dass die Rückforderungsverfügungen vom 5. März 2013 betreffend die Ergänzungsleistungen und vom 14. März 2013 betreffend die Krankheitskosten ohne genügende Rechtsgrundlage erfolgt seien. Eventualiter sei die Angelegenheit zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Die EL-Durchführungsstelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.