Sachverhalt:
A.
Der 1954 geboren A._ arbeitete seit dem 1. März 1989 für das Spital B._ als Chauffeur bei Wäsche- und Mahlzeitentransporten. Am 21. Januar 1991 wurde er am linken Fuss von einem herabfallenden Container getroffen. Nach primär konservativer Behandlung einer Lisfranc-Luxations-Fraktur war eine Dystrophie aufgetreten. Zudem bestand eine lokale Arthrose in einzelnen Gelenkabschnitten. Die Elvia Schweizerische Versicherungs-Gesellschaft (nachstehend: Elvia) gewährte Taggelder und kam für Heilbehandlungskosten auf. Mit Verfügung vom 6. Januar 1998 bestätigte die Elvia einen Vergleich und sprach dem Versicherten für die Zeit ab 1. Oktober 1997 eine Invalidenrente aufgrund eines Invaliditätsgrades von 45 % zu. Als Ergebnis eines Rentenrevisionsverfahrens hob die Allianz Suisse Versicherungs-Gesellschaft AG (nachstehend Allianz) als Rechtsnachfolgerin der Elvia die bisher gewährte Invalidenrente mit Verfügung vom 15. Januar 2015 rückwirkend auf den 31. Mai 2009 hin auf, wobei sie auf eine Rückforderung zu Unrecht bereits ausgerichteter Zahlungen ausdrücklich verzichtete. Daran hielt sie mit Einspracheentscheid vom 2. Oktober 2015 fest.
B.
Die dagegen gerichtete Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen nach Androhung einer Reformatio in peius mit Entscheid vom 2. August 2017 in dem Sinne teilweise gut, dass es den Einspracheentscheid vom 2. Oktober 2015 aufhob und die Allianz verpflichtete, A._ ab 1. Juni 2009 eine Invalidenrente auf der Basis eines Invaliditätsgrades von 14 % auszurichten. Zudem wurde der Versicherte verpflichtet, zu Unrecht bereits bezogene Rentenleistungen im Sinne der Erwägungen zurückzuerstatten. Zur Festsetzung des Rückforderungsbetrages wurde die Sache an die Allianz zurückgewiesen.
C.
Mit Beschwerde beantragt A._, es sei ihm die auf einem Invaliditätsgrad von 45 % basierende Rente unter Aufhebung des angefochtenen Entscheides weiterhin zu gewähren. Eventuell sei die Angelegenheit zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Die Allianz beantragt die Abweisung der Beschwerde, "eventualiter" sei unter Aufhebung des kantonalen Gerichtsentscheides die Einstellung der Versicherungsleistungen per 31. Mai 2009 zu bestätigen. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.
2.1. Im angefochtenen Entscheid bestätigte die Vorinstanz zwar nicht die Rentenaufhebung der Beschwerdegegnerin per 31. Mai 2009, hielt jedoch fest, ab 1. Juni 2009 bestehe lediglich noch Anspruch auf eine Rente bei einem Invaliditätsgrad von 14 %. Der Beschwerdeführer beantragt letztinstanzlich die Weiterausrichtung einer Rente bei einem Invaliditätsgrad von 45 %. Dieser Antrag ist zulässig, liegt doch betreffend der Rente ein anfechtbarer Endentscheid vor.
2.2. Zu Recht nicht angefochten hat der Beschwerdeführer den vorinstanzlichen Entscheid, soweit er im Grundsatz die Rückerstattungspflicht zu Unrecht bezogener Rentenleistungen bejaht und die Sache zur Festsetzung des Rückforderungsbetrags an die Beschwerdegegnerin zurückweist, liegt doch insoweit lediglich ein Zwischenentscheid im Sinne von <ref-law> vor und sind die Voraussetzungen zum Eintreten auf eine Beschwerde gegen einen solchen Entscheid offensichtlich nicht erfüllt.
2.3. Da die Allianz gegen den vorinstanzlichen Entscheid keine eigene Beschwerde erhoben hat, das BGG grundsätzlich keine Anschlussbeschwerde kennt und die Voraussetzungen, unter denen ausnahmsweise von diesem Grundsatz abgewichen werden könnte (vgl. <ref-ruling> E. 2 S. 110 f.), vorliegend nicht erfüllt sind, ist auf den "Eventualantrag" der Allianz, es sei die Rentenaufhebung per 31. Mai 2009 zu bestätigten, nicht einzutreten.
3.
Streitig und zu prüfen ist demnach, ob der Beschwerdeführer in der Zeit ab 1. Juni 2009 Anspruch auf eine höhere als die vorinstanzlich zugesprochene Invalidenrente hat.
4.
4.1. Ist eine versicherte Person infolge des Unfalles mindestens zu 10 % invalid, so hat sie gemäss <ref-law> Anspruch auf eine Invalidenrente. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird gemäss <ref-law> die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben.
4.2. Eine Rentenherabsetzung oder Aufhebung im Sinne von <ref-law> setzt eine anspruchserhebliche Änderung der tatsächlichen Verhältnisse voraus, welche entweder in einer objektiven Verbesserung des Gesundheitszustandes mit entsprechend gesteigerter Arbeitsfähigkeit oder in geänderten erwerblichen Auswirkungen einer im Wesentlichen gleich gebliebenen Gesundheitsbeeinträchtigung liegen kann. Demgegenüber stellt eine bloss abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes keine revisionsrechtlich relevante Änderung dar (<ref-ruling>E. 2b S. 372 unten; in <ref-ruling> nicht publizierte E. 3.2 des Urteils 8C_972/2009, publiziert in: SVR 2011 IV Nr. 1 S. 1 mit Hinweis).
5.
Die ursprüngliche Rentenzusprache erfolgte in Bestätigung eines zwischen dem Versicherten und der Unfallversicherung abgeschlossenen Vergleiches. Praxisgemäss sind auch rentenzusprechende Verfügungen, welche auf einem Vergleich beruhen, ohne Weiteres in Anwendung von <ref-law> revidierbar (Urteil 8C_739/2011 vom 20. August 2012 E. 4.1 mit weiterem Hinweis, vgl. auch Urteil 8C_457/2014 vom 5. September 2014 E. 2.4). Entgegen den Ausführungen des Beschwerdeführers besteht kein hinreichender Anlass, auf diese Rechtsprechung zurückzukommen. Insbesondere kann die Praxis, wonach Verfügungen, welche einen Vergleich bestätigen, nur zurückhaltend und unter Berücksichtigung des Vergleichscharakters in Wiedererwägung (<ref-law>) gezogen werden dürfen (vgl. <ref-ruling> mit weiteren Hinweisen), nicht auf die Revision nach <ref-law> übertragen werden. Anders als die Wiedererwägung knüpft die Revision nicht an eine Fehlerhaftigkeit der ursprünglichen Rentenzusprache an, sondern dient der Anpassung einer ursprünglich fehlerfreien Verfügung an einen in der Zeit seit der Rentenzusprache veränderten Sachverhalt (vgl. <ref-ruling> E. 3.2 S. 516). Es besteht somit kein Grund, bezüglich der Revision nach <ref-law> Rentenzusprachen, welche auf einem Vergleich beruhen, anders zu behandeln als andere Rentenzusprachen.
6.
6.1. Während die Beschwerdegegnerin ihre Revisionsverfügung noch damit begründete, der Gesundheitzustand des Versicherten habe sich seit der Rentenzusprache (6. Januar 1998) erheblich verbessert, hat das kantonale Gericht erwogen, eine Revision sei bereits aufgrund der geänderten erwerblichen Rahmenbedingungen zulässig. Bei der Rentenzusprache habe man sich vergleichsweise darauf geeinigt gehabt, den Versicherten, der in diesem Zeitpunkt zu 50 % bei seinem bisherigen Arbeitgeber mit angepasstem Tätigkeitsprofil tätig war, als in erwerblicher Hinsicht optimal eingegliedert zu betrachten. Entsprechend sei der Invaliditätsgrad unter Berücksichtigung dieser konkreten Tätigkeit als Invalidentätigkeit festgelegt worden. Der Beschwerdeführer habe diese Anstellung jedoch per 31. Juli 2008 verloren, so dass in erwerblicher Hinsicht eine wesentliche Sachverhaltsänderung stattgefunden habe. Was der Versicherte gegen diese vorinstanzlichen Erwägungen vorbringt, vermag nicht zu überzeugen. Zwar mag es zutreffen, dass das Arbeitsverhältnis nicht direkt Gegenstand des Vergleiches war und sein Interesse am Vergleichsabschluss in erster Linie auf eine möglichst zeitnahe Festlegung der Ansprüche gerichtet war. Wird jedoch, wie vorliegend, eine Rente unter Bezugnahme auf eine bestimmte Tätigkeit als Invalidentätigkeit zugesprochen und fällt diese Tätigkeit in der Folge dahin, so kann dies eine erhebliche Änderung der erwerblichen Folgen eines Gesundheitsschadens darstellen. Somit ist nicht zu beanstanden, dass die Vorinstanz einen Revisionsgrund bejaht hat.
6.2. Liegt ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") zu prüfen, wobei keine Bindung an frühere Beurteilungen besteht (<ref-ruling> E. 2.3 S. 10 f. mit weiteren Hinweisen). Das kantonale Gericht hat in umfassender Prüfung der Sach- und Rechtslage und unter Durchführung eines Einkommensvergleiches geschlossen, dem Versicherten stehe ab 1. Juni 2009 noch eine Rente bei einem Invaliditätsgrad von 14 % zu. Diese Erwägungen sind vom Versicherten unbestritten geblieben; was die Beschwerdegegnerin gegen sie vorbringt, ist im vorliegenden Fall nicht zu hören (vgl. E. 2.3). Entsprechend ist die Beschwerde des Versicherten ohne Weiterungen abzuweisen.
7.
Da durch die Anschlussbeschwerde der Allianz kein erheblicher Mehraufwand für das Bundesgericht entstanden ist, rechtfertigt es sich, die Gerichtskosten vollumfänglich dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Auf die Anschlussbeschwerde der Allianz Suisse Versicherungs-Gesellschaft AG wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 25. April 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Nabold