Sachverhalt:
A.
A.a. A._, geboren 1982, erlitt am 13. Februar 2003 einen Autounfall (Frontalkollision auf der Gegenfahrbahn wegen überhöhter Geschwindigkeit). Die Schweizerische Unfallversicherungsanstalt (Suva) erbrachte die gesetzlichen Leistungen, insbesondere auch nach Geltendmachung einer erneuten vollständigen Arbeitsunfähigkeit ab Juli 2011. Mit Verfügung vom 28. Januar 2013 und Einspracheentscheid vom 20. September 2013 sprach sie A._ ab dem 1. März 2013 eine Invalidenrente bei einer Erwerbsunfähigkeit von 100 %, eine Integritätsentschädigung bei einer Integritätseinbusse von 50 % sowie eine Hilflosenentschädigung basierend auf einer Hilflosigkeit leichten Grades ab dem 1. Oktober 2011 zu. Sie kürzte alle Leistungen um 30 % gestützt auf <ref-law> wegen nicht vorsätzlicher Ausübung eines Verbrechens oder Vergehens. Auf Beschwerde hin erhöhte das Verwaltungsgericht des Kantons Schwyz diese Leistungen unter Annahme einer Hilflosigkeit mittelschweren Grades und einer Integritätseinbusse von 70 % (Entscheid vom 6. März 2014).
A.b. Nachdem der Suva zur Kenntnis gelangt war, dass die Invalidenversicherung zwischenzeitlich eine Observation des Versicherten veranlasst hatte, erhob sie gegen den erwähnten Entscheid vom 6. März 2014 Beschwerde ans Bundesgericht sowie ein Revisionsbegehren an das Verwaltungsgericht des Kanton Schwyz. Das letztere wurde mit Entscheid vom 17. Dezember 2014 gutgeheissen und die Sache wurde zu neuer Verfügung an die Suva zurückgewiesen. Das Verfahren vor Bundesgericht (8C_361/2014) wurde nach Rückzug der Beschwerde am 23. Februar 2015 abgeschrieben.
Mit Verfügung vom 6. Oktober 2016 und Einspracheentscheid vom 7. März 2017 lehnte die Suva die Ansprüche auf eine Invalidenrente, auf eine Integritätsentschädigung und auf eine Hilflosenentschädigung ab. Sie forderte zudem die bereits erbrachten Leistungen in der Höhe von 132'826.25 Franken zurück. A._ erhob dagegen Beschwerde, zog diese jedoch nach Kenntnisnahme des bundesgerichtlichen Urteils 8C_616/2017 vom 14. Dezember 2017 im invalidenversicherungsrechtlichen Verfahren wieder zurück. Das Verfahren vor dem Verwaltungsgericht des Kantons Schwyz wurde mit Entscheid vom 23. Januar 2018 abgeschrieben.
A.c. Am 26. Oktober 2016 ersuchte A._ die Suva um Erlass der Rückerstattung und ergänzte seine Eingabe am 25. Januar 2018. Mit Verfügung vom 5. Februar 2018 und Einspracheentscheid vom 23. Januar 2019 lehnte die Suva das Gesuch ab mit der Begründung, dass der Leistungsempfänger nicht gutgläubig gewesen sei.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 8. August 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm der Erlass der Rückerstattung zu gewähren.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Im Verfahren um den Erlass der Rückerstattung zu Unrecht bezogener Leistungen geht es nicht um die Zusprechung oder Verweigerung von Geldleistungen (<ref-ruling> E. 2 S. 223; MARKUS SCHOTT, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N 32 zu <ref-law>). Die Ausnahmeregelung des Art. 105 Abs. 3 (in Verbindung mit Art. 97 Abs. 2) BGG kommt demnach nicht zur Anwendung. Soweit die Beurteilung von Sachverhaltsfeststellungen abhängt, gilt daher die eingeschränkte Kognition (Art. 97 Abs. 1 in Verbindung mit Art. 105 Abs. 1 und 2 BGG; <ref-ruling> E. 2.1 S. 132, 135 V 412; Urteil 8C_448/2017 vom 3. Januar 2018 E. 1.2).
2.
Streitig ist, ob die vorinstanzlich bestätigte Ablehnung des Erlasses der rechtskräftig verfügten Rückerstattung an die Suva vor Bundesrecht standhält. Zur Frage stehen dabei die vorinstanzlichen Sachverhaltsfeststellungen zur Gutgläubigkeit des Beschwerdeführers beim unrechtmässigen Bezug der nach einem Rückfall im Juli 2011 gewährten Leistungen aus Unfallversicherung.
3.
3.1. Das kantonale Gericht hat die Bestimmung über den Erlass der Rückerstattung unrechtmässig bezogener Leistungen (<ref-law>) zutreffend dargelegt. Dies gilt insbesondere auch hinsichtlich der dafür erforderlichen Voraussetzung des guten Glaubens im Sinne einer höchstens leicht fahrlässigen Unkenntnis des Rechtsmangels (<ref-ruling> E. 4 S. 220 f. mit Hinweisen; SVR 2019 IV Nr. 6 S. 18, 8C_353/2018 E. 3.1; AHI 2003 S. 159 ff., I 553/02 vom 28. Juni 2002 E. 3a).
3.2. Mit Bezug auf die Überprüfungsbefugnis des Bundesgerichts ist zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage nach Massgabe von <ref-law> von der Vorinstanz für das Bundesgericht verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage (<ref-ruling> E. 3 S. 223; SVR 2017 AHV Nr. 3 S. 5, 9C_413/2016 E. 3.1; Urteil 8C_448/2017 vom 3. Januar 2018 E. 2.2).
4.
4.1. Das kantonale Gericht stellte fest, dass unzutreffende Angaben des Beschwerdeführers gegenüber den Ärzten zur Zusprache der zwischenzeitlich rechtskräftig zurückgeforderten Versicherungsleistungen aus dem Rückfall im Jahr 2011 geführt hätten. Es sei aus diesem Grund zu einer ebenso unzutreffenden Anamnese und in der Folge auch zur falschen Einschätzung seiner Arbeitsfähigkeit gekommen. Die ärztlichen Fehlbeurteilungen hätten erst nach der von der Invalidenversicherung veranlassten Observation durch das - gemäss Bundesgericht verwertbare - Gutachten der PMEDA polydisziplinäre medizinische Abklärungen, Zürich, vom 17. Dezember 2015 korrigiert werden können.
4.2. Der Beschwerdeführer macht geltend, dass zunächst die behandelnden, aber auch die Suva-Ärzte und die Vorinstanz unter fachrichterlicher Mitwirkung in ihrem ersten Entscheid vom 6. März 2014 von einer unfallbedingten Arbeitsunfähigkeit ausgegangen seien. Dass er die Ärzte absichtlich getäuscht hätte, könne ihm nicht unterstellt werden. Mehrfach sei er auch gegen seinen Willen in psychiatrische Kliniken eingewiesen worden, habe aufgrund seiner hoffnungslosen Situation Suizid begehen wollen und sei von einem Arzt zum andern geschickt worden. Immer wieder habe er die gleiche Diagnose einer schweren psychischen Störung erhalten. Er habe den Ärzten und auch seiner Ehefrau geglaubt, dass er krank sei. Aufgrund seiner psychischen Krankheit habe er gar nicht mitbekommen, was mit ihm geschehen sei. Seine Ehefrau habe ihn immer zu den Ärzten geführt und sich auch um die Korrespondenz und das Finanzielle gekümmert. Weder aus dem Observationsbericht und dem PMEDA-Gutachten, welche später erstattet worden seien, noch aus dem vorinstanzlichen Revisionsentscheid vom 17. Dezember 2014 liessen sich rückwirkend Schlüsse ziehen hinsichtlich der Frage seiner Gutgläubigkeit beim Leistungsbezug.
5.
Die vorinstanzliche Feststellung der Gutgläubigkeit ist für das Bundesgericht verbindlich (oben E. 3.2). Daran kann der Einwand des Beschwerdeführers, sein guter Glaube sei zu vermuten und es sei ihm eine absichtliche Täuschung der Ärzte nicht nachzuweisen, nichts ändern. Diesbezüglich offensichtlich unrichtige Feststellungen der Vorinstanz sind nicht zu erkennen. Dies gilt insbesondere insoweit, als sie davon ausging, dass der Beschwerdeführer den Ärzten gegenüber unzutreffende Angaben gemacht habe. Allein aus dem Umstand, dass ihm gestützt darauf zunächst Leistungen aus Unfallversicherung zugesprochen wurden, vermag er hinsichtlich der Frage seines Unrechtsbewusstseins nichts zu seinen Gunsten abzuleiten. Gleiches gilt auch insoweit, als er sich darauf beruft, aufgrund seiner schweren psychischen Krankheit zu einer solchen Täuschung gar nicht in der Lage gewesen zu sein. Entgegen den Vorbringen des Beschwerdeführers kann diesbezüglich jedenfalls insoweit auf den rechtskräftigen Einspracheentscheid der Suva vom 7. März 2017 mit Rückforderung der erbrachten Leistungen abgestellt werden, als sie damit die im Juli 2011 geltend gemachte schwere psychische Erkrankung als nicht ausgewiesen erachtete. Sie stützte sich diesbezüglich auf das PMEDA-Gutachten vom 17. Dezember 2015, das vom Bundesgericht in seinem Urteil 8C_616/2017 vom 14. Dezember 2017 als verwertbar qualifiziert wurde (E. 5.2.4). Es lässt sich daher nicht mit seinem schlechten gesundheitlichen Zustand erklären, dass der Beschwerdeführer die Ärzte ohne zu wollen getäuscht hätte beziehungsweise dass ihm das Unrechtsbewusstsein beim Leistungsbezug gefehlt hätte. Es hat diesbezüglich daher mit den vorinstanzlichen Feststellungen sein Bewenden.
6.
Ist ein fehlendes Unrechtsbewusstsein nicht ausgewiesen, besteht kein Anlass für die in einem weiteren Schritt vorzunehmende Prüfung, ob dem Gesuchsteller die mangelnde Aufmerksamkeit zur Erkenntnis des Rechtsmangels nachgesehen werden könne (vgl. oben E. 3.2). Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
7.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer I, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 5. Dezember 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo