Sachverhalt:
A.
A.a. Der 1967 geborene A._ arbeitete seit seiner Einreise in die Schweiz im März 1989 als Schaustellergehilfe. Im November 1990 meldete er sich unter Hinweis auf eine am 17. August 1989 erlittene Handgelenksfraktur bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung der IV-Stelle des Kantons St. Gallen vom 4. Februar 1993 wurde dem Versicherten mit Wirkung ab 1. August 1990 eine halbe Rente zugesprochen. Nach Durchführung von Eingliederungsmassnahmen bestätigte die IV-Stelle am 7. November 1997 die Weiterausrichtung der halben Rente. Letztinstanzlich hiess das damalige Eidgenössische Versicherungsgericht eine dagegen geführte Beschwerde mit Urteil vom 30. Oktober 2001 insofern gut, als es die Sache zur weiteren Abklärung an die IV-Stelle zurückwies.
Die daraufhin mit der Begutachtung beauftragte medizinische Abklärungsstelle (MEDAS) erstattete mit Datum vom 28. Februar 2003 eine polydisziplinäre Expertise. Gestützt auf die darin attestierte vollständige Arbeitsunfähigkeit aufgrund eines mittelschweren bis schweren depressiven Zustandsbildes sprach die IV-Stelle A._ mit Verfügung vom 14. August 2003 rückwirkend ab dem 1. März 1996 eine ganze Invalidenrente zu.
A.b. Ein im Jahre 2004 durchgeführtes erstes Rentenrevisionsverfahren führte zu keiner Änderung des Leistungsanspruchs. Im Rahmen eines weiteren im August 2009 eingeleiteten Revisionsverfahrens holte die IV-Stelle bei der MEDAS ein Verlaufsgutachten vom 12. Mai 2010 ein. Aufgrund der darin angeführten Verbesserung des Gesundheitszustandes und der nunmehr attestierten Arbeitsfähigkeit von 50 % teilte die IV-Stelle dem Versicherten mit, sie wolle berufliche Eingliederungsmassnahmen durchführen, bevor die Rente herabgesetzt werde. Nachdem diese - trotz mehrmaligen Hinweisen auf die Mitwirkungs- und Schadenminderungspflicht - scheiterten, eröffnete die IV-Stelle A._, er habe ab dem 1. März 2014 noch Anspruch auf eine halbe Rente (Verfügung vom 23. Januar 2014). Begründet wurde dies einerseits damit, der Versicherte habe trotz einer Abmahnung nicht ausreichend an der beruflichen Eingliederung mitgewirkt, und andererseits damit, es stehe fest, dass sich sein Gesundheitszustand seit der Rentenerhöhung im Jahre 2003 wesentlich verbessert habe.
B.
Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 13. Oktober 2016 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, in Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin die bisherige Invalidenrente zu gewähren. Eventualiter sei die Sache zu neuen Abklärungen an die Verwaltung zurückzuweisen. In prozessualer Hinsicht ersucht er um die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 lit. a BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Gleiches gilt für die konkrete Beweiswürdigung (Urteil 9C_204/2009 vom 6. Juli 2009 E. 4.1, nicht publ. in <ref-ruling>, aber in: SVR 2009 IV Nr. 53 S. 164).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Reduktion der bisherigen ganzen Rente auf eine halbe per 1. März 2014 bestätigte.
2.2.
2.2.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss Art. 8 Abs. 1 ATSG die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2.2. Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird gemäss Art. 17 ATSG die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben. Die Frage der wesentlichen Änderung in den tatsächlichen Verhältnissen beurteilt sich durch Vergleich des Sachverhalts, wie er im Zeitpunkt der ursprünglichen Rentenverfügung bestanden hat, mit demjenigen zur Zeit der streitigen Revisionsverfügung. Eine rechtskräftige Revisionsverfügung gilt - im Hinblick auf eine weitere Revision - ihrerseits als (neue) Vergleichsbasis, wenn sie auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (<ref-ruling>).
2.2.3. Die Beurteilung sozialversicherungsrechtlicher Leistungsan-sprüche bedarf verlässlicher medizinischer Entscheidungsgrundlagen. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind (<ref-ruling> E. 5.1 S. 232 mit Hinweis). Im Verwaltungs- und im kantonalen Beschwerdeverfahren gilt der Untersuchungsgrundsatz (Art. 43 Abs. 1, Art. 61 lit. c ATSG). Die Verwaltung als verfügende Instanz und - im Beschwerdefall - das Gericht dürfen eine Tatsache nur dann als bewiesen annehmen, wenn sie von ihrem Bestehen überzeugt sind. Im Sozialversicherungsrecht hat das Gericht seinen Entscheid, sofern das Gesetz nicht etwas Abweichendes vorsieht, nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit zu fällen. Die blosse Möglichkeit eines bestimmten Sachverhalts genügt den Beweisanforderungen nicht. Der Richter folgt vielmehr jener Sachverhaltsdarstellung, die er von allen möglichen Geschehensabläufen als die wahrscheinlichste würdigt (<ref-ruling> E. 5b S. 360 mit Hinweisen; vgl. <ref-ruling> E. 3.2 und 3.3 S. 324 f.).
3.
Das kantonale Gericht stellte zunächst fest, die Rentenerhöhungsverfügung vom 14. August 2003 sei im Wesentlichen gestützt auf das MEDAS-Gutachten vom 28. Februar 2003 erfolgt. Demgegenüber beruhe die im Streite liegende Verfügung vom 23. Januar 2014 auf dem Verlaufsgutachten derselben Abklärungsstelle vom 12. Mai 2010. Obwohl dieses bei Verfügungserlass bereits knapp vier Jahre alt gewesen sei, stehe fest, dass der Gesundheitszustand des Beschwerdeführers in den Jahren 2010 bis 2014 keine relevante dauernde Veränderung erfahren hatte. Das Gutachten vom 12. Mai 2010 sei vollständig überzeugend. Damit stehe mit dem erforderlichen Beweisgrad fest, dass sich der psychische Gesundheitszustand des Beschwerdeführers in den Jahren 2003 bis 2010 massgebend gebessert hatte. Dieser sei spätestens im Jahre 2010 bis zum Tag des Erlasses der angefochtenen Verfügung wieder zu 50 % arbeitsfähig gewesen. Das Gericht ermittelte - unter Berücksichtigung eines Abzuges von 15 % vom statistisch zu erwartenden zumutbaren Erwerbseinkommen - einen Invaliditätsgrad von 57,5 %.
4.
4.1. Der Beschwerdeführer macht zuerst geltend, die IV-Stelle habe sich weder im Verwaltungsverfahren, noch im erstinstanzlichen Beschwerdeverfahren festgelegt, ob die Herabsetzung des Rentenanspruchs auf einer Verbesserung des Gesundheitszustandes und damit einer Revision gemäss Art. 17 ATSG beruhe, oder ob es sich um eine sanktionsweise Leistungskürzung gestützt auf Art. 21 Abs. 4 ATSG handle. Seine Verfahrensrechte seien verletzt worden, da das kantonale Gericht im angefochtenen Entscheid von einer Revisionsverfügung ausgegangen und ihm vor der Entscheidung dieser Frage das rechtliche Gehör nicht gewährt worden sei.
Diese Ausführungen sind aktenwidrig. In der erstinstanzlichen Beschwerdeantwort der IV-Stelle vom 22. April 2014 wird wörtlich angeführt: "Gegenstand der angefochtenen Verfügung ist die revisionsweise Herabsetzung des Rentenanspruchs". Die weitere Argumentation der Beschwerdegegnerin bezieht sich auf den Vergleich der massgebenden ärztlichen Einschätzungen und die Verbesserung des Gesundheitszustandes und somit auf Gesichtspunkte der Revision aufgrund veränderter Verhältnisse. In einem zweiten Schriftenwechsel wurde dem Versicherten daraufhin Gelegenheit eingeräumt, sich zur Beschwerdeantwort der IV-Stelle zu äussern. Davon hat er mit Replik vom 16. Juni 2014 denn auch Gebrauch gemacht. Damit wurde sein Gehörsanspruch vollumfänglich gewahrt.
4.2. Weiter rügt der Beschwerdeführer eine rechtswidrige Sachverhaltsfeststellung. Zum einen habe das kantonale Gericht auf ein nicht aktuelles medizinisches Gutachten abgestellt. Zum anderen habe der psychiatrische Experte der MEDAS lediglich eine unzulässige Neubeurteilung desselben Gesundheitszustandes vorgenommen. Indem die Vorinstanz auf das Gutachten vom 12. Mai 2010 abgestellt habe, habe sie den Untersuchungsgrundsatz und damit Recht verletzt.
4.2.1. Die durch das kantonale Gericht getroffenen Tatsachenfeststellungen, namentlich die aus den medizinischen Unterlagen gewonnenen Erkenntnisse, sind im letztinstanzlichen Prozess grundsätzlich verbindlich (vgl. E. 1 hiervor). Im Rahmen der eingeschränkten Sachverhaltskontrolle (Art. 97 Abs. 1 BGG) ist es nicht Aufgabe des Bundesgerichts, die schon im vorangehenden Verfahren vorliegenden ärztlichen Berichte neu zu beurteilen und die rechtsfehlerfreie Sachverhaltsfeststellung der Vorinstanz hinsichtlich der medizinisch begründeten Verminderung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Beeinträchtigungen verbleibenden Arbeitsfähigkeit zu korrigieren.
4.2.2. Die Vorbringen des Beschwerdeführers vermögen an den vorinstanzlichen Schlussfolgerung nichts zu ändern. Im angefochtenen Entscheid wird ausführlich begründet, dass sich der Gesundheitszustand des Versicherten in den Jahren 2010 bis zum Erlass der Revisionsverfügung vom 23. Januar 2014 mit überwiegender Wahrscheinlichkeit nicht relevant verändert hatte. Zudem kam das kantonale Gericht nach Würdigung der medizinischen Akten, insbesondere des Verlaufsgutachtens vom 12. Mai 2010, zur Erkenntnis, es sei auf dieses abzustellen. Demnach stehe fest, dass sich der psychische Gesundheitszustand des Beschwerdeführers in den Jahren 2003 bis 2010 massgebend gebessert hatte. Spätestens im Jahre 2010 und bis zum Erlass der angefochtenen Verfügung sei er wieder zu 50 % arbeitsfähig gewesen. Es handle sich dabei nicht um eine anderslautende Beurteilung eines im Wesentlichen unverändert gebliebenen Sachverhaltes, sondern um eine tatsächliche Verbesserung des psychischen Gesundheitszustandes. Aufgrund dieser Feststellungen konnte von weiteren Sachverhaltsabklärungen abgesehen werden. Die vorinstanzliche Beweiswürdigung hält in allen Teilen vor Bundesrecht stand.
5.
Schliesslich rügt der Beschwerdeführer bezüglich der Invaliditätsbemessung, es sei zu Unrecht von einem sogenannten leidensbedingten Abzug von 15 % ausgegangen worden. Seines Erachtens hätte mindestens ein solcher von 25 % gewährt werden sollen. Er begründet dies damit, dass er als Migrant bereits als Gesunder einen knapp 15 % tieferen Lohn verdient habe.
5.1. Mit dem Abzug vom Tabellenlohn nach <ref-ruling> soll der Tatsache Rechnung getragen werden, dass persönliche und berufliche Merkmale, wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad Auswirkungen auf die Lohnhöhe haben können und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5.2 S. 301). Der Abzug ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen. Er darf 25 % nicht übersteigen (<ref-ruling> E. 5b/bb-cc S. 80). Die Frage nach der Höhe des Abzugs ist eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das Gericht das Ermessen rechtsfehler-haft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 5.1 S. 72 f. mit Hinweis auf <ref-ruling> E. 3.3 S. 399; SVR 2015 IV Nr. 22 S. 65, 8C_693/2014 E. 2.2).
5.2. Eine Rechtsfehlerhaftigkeit der Ermessensausübung ist mit der Gewährung eines Abzugs von 15 % nicht ersichtlich. Gegenstand des Abzugs bildet die Frage, ob mit Bezug auf eine konkret in Betracht fallende Tätigkeit bei ausgeglichener Arbeitsmarktlage verglichen mit einem gesunden Mitarbeiter nur bei Inkaufnahme einer Lohneinbusse reale Chancen für eine Anstellung bestehen. Da die Verwaltung - bestätigt durch die Vorinstanz - bei der Invaliditätsbemessung einen sogenannten Prozentvergleich vornahm, ist es irrelevant, ob der Beschwerdeführer als Gesunder einen Durchschnittslohn verdient hätte.
Damit hat es bei der vorinstanzlich bestätigten Rentenreduktion sein Bewenden. Die Beschwerde ist daher abzuweisen.
6.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (Art. 66 Abs. 1). Die unentgeltliche Rechtspflege kann ihm wegen Aussichtslosigkeit der Beschwerde nicht gewährt werden (Art. 64 BGG; <ref-ruling> E. 2.2.4 S. 218).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auf-erlegt.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Februar 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer