Sachverhalt:
A.
Der 1971 geborene A._, vom 7. September 2010 bis zum 30. Juni 2014 gemäss aArt. 394 ZGB bzw. Art. 394 i.V.m. Art. 395 ZGB verbeiständet gewesen, bezieht seit Oktober 2004 Ergänzungsleistungen zu seiner Invalidenrente. Nachdem die Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) festgestellt hatte, seine Ehefrau habe im Juni 2013 eine nicht gemeldete Erwerbstätigkeit aufgenommen, forderte sie mit drei Verfügungen vom 15. Dezember 2016 für den Zeitraum vom 1. Juli 2013 bis zum 31. Dezember 2016 zu viel ausgerichtete Ergänzungsleistungen von insgesamt Fr. 35'634.- zurück. Diese Verfügungen erwuchsen allesamt unangefochten in Rechtskraft. Das von A._ gestellte Erlassgesuch wies die Ausgleichskasse mit Verfügung vom 30. Juli 2018 mit der Begründung ab, die Voraussetzungen des guten Glaubens seien nicht erfüllt. Daran hielt sie mit Einspracheentscheid vom 12. Februar 2019 fest.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 24. Juli 2019).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei der angefochtene Entscheid aufzuheben und die Ausgleichskasse zu verpflichten, auf die Rückforderung von zu viel ausgerichteten Ergänzungsleistungen in einem Betrag von insgesamt Fr. 35'634.- zu verzichten.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern die angerufenen Rechte verletzt worden sein sollen (<ref-ruling> E. 1.3 S. 41 mit Hinweisen).
2.
Streitig ist, ob die vorinstanzlich bestätigte Ablehnung des Erlasses der rechtskräftig verfügten Rückerstattung vor Bundesrecht standhält.
3.
3.1. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Art. 25 Abs. 1 zweiter Satz ATSG; vgl. auch Art. 4 Abs. 1 ATSV). Der gute Glaube als Erlassvoraussetzung ist nicht schon mit der Unkenntnis des Rechtsmangels gegeben. Der Leistungsempfänger darf sich vielmehr nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube entfällt somit einerseits von vornherein, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war. Wie in anderen Bereichen beurteilt sich das Mass der erforderlichen Sorgfalt nach einem objektiven Massstab, wobei aber das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare (Urteilsfähigkeit, Gesundheitszustand, Bildungsgrad usw.) nicht ausgeblendet werden darf (<ref-ruling> E. 4 S. 220f.; <ref-ruling> E. 2c S. 103; SVR 2019 IV Nr. 6 S. 18, 8C_353/2018 E. 3.1).
3.2. Der Beistand ist in bestimmten, ihm übertragenen Aufgabenbereichen gesetzlicher Vertreter der verbeiständeten Person und handelt diesbezüglich mit Wirkung für diese (vgl. BIDERBOST/HENKEL, in: Basler Kommentar, Zivilgesetzbuch I, 6. Aufl. 2018, N. 18 zu Art. 394 ZGB). Namentlich muss sich die rückerstattungspflichtige Person das Verhalten und die Kenntnisse ihres mit der Einkommens- und Vermögensverwaltung betrauten Beistands grundsätzlich anrechnen lassen. Dies gilt auch für die Belange der Meldepflichterfüllung (Urteile 9C_644/2017 vom 19. Januar 2018 E. 5.1 und 9C_463/2016 vom 12. Juli 2017 E. 2.1; BGE <ref-ruling> E. 3b S. 104).
3.3. In Bezug auf die Überprüfungsbefugnis des Bundesgerichts unterscheidet die Rechtsprechung zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage von der Vorinstanz nach Art. 105 Abs. 1 BGG für das Bundesgericht verbindlich beantwortet. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223; SVR 2019 IV Nr. 6 S. 18, 8C_353/2018 E. 3.1; 2018 IV Nr. 70 S. 225, 9C_847/2017 E. 2.2).
4.
4.1. Das kantonale Gericht prüfte die Gutgläubigkeit des Beschwerdeführers je gesondert für den Zeitraum, in welchem dieser (unter anderem für die Einkommens- und Vermögensverwaltung) verbeiständet war, und für die Zeit danach. In Bezug auf die erste Periode hielt es fest, der Beistand habe durch die unterbliebene Meldung der Arbeitsaufnahme der Ehefrau des Beschwerdeführers nicht das den Umständen entsprechende Mindestmass an Aufmerksamkeit aufgewendet, das von einem Berufsbeistand zu erwarten sei. Diese Meldepflichtverletzung könne nicht als bloss leicht fahrlässig qualifiziert werden, womit der gute Glaube des Beistands entfalle; dies sei dem Beschwerdeführer anzurechnen. Die Vorinstanz verneinte dessen Gutgläubigkeit auch bezüglich des zweiten Zeitraums. Das Vorliegen einer grossen Härte liess sie offen, weil die Erlassvoraussetzungen kumulativ erfüllt sein müssen.
4.2. Der Beschwerdeführer rügt eine Verletzung des Diskriminierungsverbots von Art. 8 Abs. 2 BV i.V.m. Art. 14 EMRK. Eine solche erblickt er im Umstand, dass er für die Phase seiner Verbeiständung nach dem besonderen Fachwissen und Sorgfaltsmassstab eines professionellen Beistands und nicht nach seinen eigenen, beschränkten Möglichkeiten beurteilt werde. Weiter habe die Vorinstanz Art. 43 Abs. 1 ATSG verletzt, weil sie es bezüglich der zweiten Beurteilungsphase unterlassen habe, seine subjektiven Möglichkeiten und die daraus begründete Zumutbarkeit im konkreten Einzelfall näher zu prüfen. Mit im wesentlichen derselben Begründung macht der Beschwerdeführer schliesslich eine Verletzung von Art. 24 Abs. 1 ATSG geltend. Es ist indessen weder ersichtlich noch ansatzweise dargetan, inwiefern diese Norm betreffend das Erlöschen von Ansprüchen auf ausstehende Leistungen verletzt sein könnte. Darauf ist nicht näher einzugehen.
5.
5.1. Der Beschwerdeführer bestreitet nicht, dass sein Vertretungsbeistand die Meldepflicht verletzte und diesem die Gutgläubigkeit abzusprechen ist. Weiterungen dazu erübrigen sich (vgl. E. 1.1 hievor). Wie die Vorinstanz richtig erwogen hat, muss sich der Beschwerdeführer als Verbeiständeter sowohl das Verhalten wie auch die Kenntnisse seines Beistands anrechnen lassen, was auch für die Belange der Meldepflichterfüllung gilt (vgl. E. 3.2 hievor). Auf den in diesem Zusammenhang bereits von der Vorinstanz zitierten einschlägigen BGE <ref-ruling> weist im Übrigen auch der Beschwerdeführer selber hin. Insofern er sich das Verhalten und die Kenntnisse seines Beistands dennoch nicht anrechnen lassen will, kann ihm nicht gefolgt werden. Unverfänglich ist in diesem Zusammenhang der Hinweis auf seine psychischen Erkrankungen und seine mangelhaften Deutschkenntnisse, welche ihn davon abgehalten hätten, seine Geschäfte selber zu regeln und zu überblicken sowie allfällige Unterlassungen seines Beistands zu erkennen. So ist es gerade Sinn und Zweck der Vertretungsbeistandschaft, jenen Personen einen Beistand zur Seite zu stellen, welche bestimmte Angelegenheiten wegen derlei Defiziten nicht selber regeln können. Am Grundsatz der Zurechenbarkeit der Handlungen und Kenntnisse seines Beistands ändert dies freilich nichts. Es ist auch nicht ersichtlich oder substanziiert dargelegt (vgl. E. 1.2 hievor), inwiefern diese Regelung das Diskriminierungsverbot verletzen, insbesondere die unterschiedliche Behandlung an ein verpöntes Kriterium (<ref-ruling> E. 5 S. 108 f.) anknüpfen sollte. Eine gänzlich andere Frage ist jene nach den Folgen eines allfälligen Fehlverhaltens des Beistands im Verhältnis zum Beschwerdeführer. Diese Frage wäre indessen nicht im vorliegenden Sozialversicherungsverfahren, sondern in einem allfälligen Verantwortlichkeitsverfahren nach Art. 454 ZGB zu klären.
5.2. Hat sich nach dem Dargelegten der Beschwerdeführer die (nicht leicht fahrlässig begangene) Meldepflichtverletzung seines Beistands anrechnen zu lassen und schliesst eine solche einen guten Glauben von vornherein aus (vgl. E. 3.1 hievor), ist die Gutgläubigkeit entgegen dem angefochtenen Entscheid nach Wegfall der Vertretungsbeistandschaft nicht erneut zu prüfen, ist die fortgesetzte Leistungsausrichtung ja die direkte Folge grobfahrlässigen Verhaltens seitens des Beistandes, wofür der Beschwerdeführer selber auch insoweit gegenüber der Invalidenversicherung einzustehen hat. Anders wäre zu verfahren, wenn bei einer gemeldeten, von der Verwaltung aber unberücksichtigt gebliebenen Veränderung die Kontrollpflicht einer versicherten Person auf dem Prüfstand stünde (so im Urteil 9C_463/2016 vom 12. Juli 2017) oder wenn seit Wegfall der Beistandschaft eine neuerlich meldepflichtige Veränderung eingetreten wäre. Beides stand indessen hier nie zur Debatte. Mit Blick darauf erübrigen sich Weiterungen zum Vorwurf des Beschwerdeführers, die Vorinstanz habe Art. 43 Abs. 1 ATSG verletzt, weil sie seine konkreten subjektiven Möglichkeiten und die daraus begründete Zumutbarkeit im konkreten Einzelfall ungenügend geprüft habe. Wie die Vorinstanz richtig erwogen hat, braucht wegen des fehlenden guten Glaubens nicht auf das gemäss Art. 25 Abs. 1 Satz 2 ATSG kumulativ zu erfüllende Kriterium der grossen Härte eingegangen zu werden.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Februar 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Meyer
Der Gerichtsschreiber: Williner