Sachverhalt:
A.
A.a. Der 1971 geborene A._ meldete sich am 19. Mai 2003 unter Hinweis auf eine Nervenkrankheit zum Leistungsbezug bei der Invalidenversicherung an. Die neurologische Abklärung ergab einen diskreten, aus morphologischer Sicht unspezifischen Befund (Bericht der Frau Dr. med. B._, Spezialärztin für Neurologie FMH, vom 26. Mai 2003 und Bericht des Spitals C._, Neurologische Klinik und Poliklinik, vom 10. April 2003). Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie FMH, gelangte in seinem von der IV-Stelle des Kantons St. Gallen veranlassten Gutachten vom 30. Oktober 2003 zum Schluss, er sehe die heftigen Aggressionsausbrüche des Versicherten als Ausdruck akzentuierter Persönlichkeitszüge einer reizbaren Persönlichkeit mit eingeschränkter Fähigkeit zur Steuerung aggressiver Impulse (ICD-10 Z73.1). Die vorhandene Leistungsfähigkeit könne nicht umgesetzt werden, weshalb er arbeitsunfähig sei. Er empfahl ein Arbeitstraining mit begleiteter psychiatrischer/psychotherapeutischer Therapie und eine erneute Begutachtung nach einem halben Jahr. In einem weiteren Gutachten (vom 29. Juni 2005) hielt die Psychiaterin Frau Dr. med. E._, Oberärztin am Psychiatrischen Zentrum F._, fest, wegen seiner möglichen Affektdurchbrüche sei der Versicherte einem Arbeitgeber nicht zumutbar. Es bestehe ein offensichtlicher Zusammenhang zwischen Benzodiazepineinnahme und Affektkontrollstörung, weshalb eine stationäre Entzugsbehandlung vorzunehmen sei. Der Versicherte begab sich stattdessen in eine ambulante psychiatrische Behandlung und unterzog sich einem hausärztlichen Drogenscreening. In einer Verlaufsbeurteilung stellte Dr. med. G._, Facharzt für Psychiatrie und Psychotherapie FMH, fest, es sei am ehesten von einer organischen affektiven Störung (ICD-10 F06.3) auszugehen. Er erachte den Versicherten in einer leidensadaptierten Tätigkeit unter Berücksichtigung der leichten neuropsychologisch nachgewiesenen Beeinträchtigung mit einer Leistungsminderung von 20 % als voll arbeitsfähig (Gutachten vom 5. Juni 2007). Mit Verfügung vom 11. Januar 2008 verneinte die IV-Stelle einen Rentenanspruch bei einem ermittelten Invaliditätsgrad von 20 %. Die hiegegen geführte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen teilweise gut und wies die Sache in Aufhebung der Verfügung vom 11. Januar 2008 zur Durchführung einer stationären psychiatrischen Begutachtung mit eingehender Fremdanamneseerhebung an die IV-Stelle zurück (Entscheid vom 2. März 2009). Nach den erfolgten Abklärungen verneinte die IV-Stelle abermals einen Rentenanspruch (Verfügung vom 25. Oktober 2011). Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 18. Oktober 2012 ab, was das Bundesgericht mit Urteil 8C_979/2012 vom 15. März 2013 bestätigte. Ein gegen dieses Urteil gerichtetes Revisionsgesuch wies das Bundesgericht mit Urteil 8F_13/2013 vom 11. Dezember 2013 ab.
A.b. Am 28. Mai 2013 meldete sich A._ erneut bei der Invalidenversicherung zum Leistungsbezug an, indem er geltend machte, seit Oktober 2011 habe sich die organische psychische Störung deutlich verschlechtert, es sei mehrmals zu schweren Impulsdurchbrüchen gekommen. Die IV-Stelle trat auf das erneute Leistungsbegehren mit Verfügung vom 1. Juli 2013 nicht ein, da eine relevante Verschlechterung der seit Jahren bestehenden Beeinträchtigungen nicht glaubhaft gemacht worden sei. Das Versicherungsgericht wies die dagegen eingereichte Beschwerde mit Entscheid vom 12. März 2015 ab, soweit es darauf eintrat. Mit Urteil 8C_316/2015 vom 13. Juli 2015 wies das Bundesgericht die dagegen geführte Beschwerde in öffentlich-rechtlichen Angelegenheiten ebenfalls ab, soweit es darauf eintrat.
A.c. Mit Gesuch vom 21. Juni 2016 beantragte A._ im Hauptstandpunkt die revisionsweise Aufhebung des Urteils 8C_979/2012 vom 15. März 2013 und die Zusprache einer Rente basierend auf einem Invaliditätsgrad von 100 % ab 1. Oktober 2009. Das Bundesgericht wies das Revisionsgesuch mit Urteil 8F_9/2016 vom 16. August 2016 ab.
A.d. Am 18. September 2016 reichte der behandelnde Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie FMH, der IV-Stelle unaufgefordert einen Verlaufsbericht ein. Der Versicherte meldete sich darauf erneut am 24. Oktober 2016 zum Leistungsbezug an. Am 9. Dezember 2016 trat die IV-Stelle verfügungsweise auf die Neuanmeldung nicht ein.
B.
Die dagegen erhobene Beschwerde, womit die Zusprechung einer ganzen Rente beantragt wurde, wies das Versicherungsgericht mit Entscheid vom 29. Juni 2017 ab, soweit es darauf eintrat.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben und die IV-Stelle sei zu verpflichten, auf das neue Leistungsbegehren vom 24. Oktober 2016 einzutreten. Ferner wird um unentgeltliche Rechtspflege ersucht.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236 mit Hinweisen).
2.
2.1. Wurde ein Rentenanspruch wegen eines zu geringen Invaliditätsgrades verneint, so wird eine neue Anmeldung nur geprüft, wenn damit glaubhaft gemacht wird, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat (Art. 87 Abs. 3 in Verbindung mit Abs. 3 IVV; BGE 130 V 71 E. 2.2 S. 72 mit Hinweisen). Nur unter dieser einschränkenden Voraussetzung ist die Neuanmeldung von der Verwaltung an die Hand zu nehmen.
2.2. Mit dem Beweismass des Glaubhaftmachens sind herabgesetzte Anforderungen an den Beweis verbunden; die Tatsachenänderung muss nicht nach dem im Sozialversicherungsrecht sonst üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 126 V 353 E. 5b S. 360) erstellt sein. Es genügt, dass für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstands wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Änderung nicht erstellen lassen (Urteil 9C_226/2016 vom 31. August 2016 E. 3.2 mit Hinweis).
2.3. Ob eine anspruchserhebliche Änderung nach Art. 87 Abs. 3 IVV glaubhaft gemacht ist, stellt eine vom Bundesgericht nur unter dem Blickwinkel von Art. 105 Abs. 2 BGG überprüfbare Tatfrage dar. Um eine Frage rechtlicher Natur handelt es sich hingegen, wenn zu beurteilen ist, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von Art. 87 Abs. 3 IVV zu stellen sind (Urteil 8C_341/2011 vom 27. Juni 2011 E. 2.3 mit Hinweisen).
3.
3.1. Zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie das Nichteintreten der IV-Stelle auf die Neuanmeldung des Beschwerdeführers bestätigte. Zu vergleichen ist unbestrittenermassen der Zeitraum zwischen 25. Oktober 2011 (letzte rentenabweisende Verfügung) und 9. Dezember 2016 (Nichteintreten auf die Neuanmeldung).
3.2. Die Vorinstanz stellte fest, soweit der Beschwerdeführer gestützt auf das Schreiben des Dr. med. I._, Facharzt FMH für Allgemeine und Innere Medizin, vom 26. November 2012 und dasjenige des Gemeinderates J._ vom 20. Dezember 2012 sowie gestützt auf den Austrittsbericht des Spitals K._ vom 8. Mai 2013 eine Verschlechterung des Gesundheitszustands gelten machen wolle, gelte das bereits im Entscheid des Versicherungsgerichts vom 12. März 2015 Erwogene: Die vorhandene Impulsstörung und die Gefahr aggressiven Verhaltens sei schon vor der letzten Leistungsablehnung hinlänglich bekannt gewesen. Das unberechenbare Verhalten des Beschwerdeführers möge für sein Umfeld schwierig und die Gefahr verwirklichter Impulsdurchbrüche real sein. Die Tatsache, dass sich die bereits berücksichtigte Gefahr von Impulsdurchbrüchen zwischenzeitlich gemäss diesen Dokumenten in drei Einzelfällen mehr oder weniger gravierend manifestiert habe, vermöge keine Veränderung der tatsächlichen Verhältnisse glaubhaft zu machen. Weder aus den Akten noch aus den Darlegungen des Versicherten würden sich Zweifel hieran ergeben. Im Urteil 8F_9/2016 vom 16. August 2016 sei das Bundesgericht ferner zum Schluss gelangt, der Gutachter Dr. med. H._ habe in seiner Expertise vom 26. März 2016 im Vergleich zur Aktenlage, wie sie dem Urteil 8C_979/2012 vom 15. März 2013 zugrunde gelegen habe, keine anderen als die damals berücksichtigten Beeinträchtigungen und deren Auswirkungen auf die Arbeitsfähigkeit festgestellt. Er erachte seine Beurteilung des Gesundheitsschadens und die daraus abgeleitete Einschätzung der Arbeitsfähigkeit vielmehr rückwirkend ab Oktober 2009 für gültig. Damit sei der Sachverhalt im Wesentlichen seit Oktober 2009 unverändert geblieben. Daran ändere die von ihm gestellte Diagnose einer Panikstörung mit Agoraphobie (ICD-10 F40.1) nichts. Zum einen begründe er diese hauptsächlich mit den subjektiven Schilderungen des Versicherten. Klinische Hinweise oder objektive Gesichtspunkte für die Störung nenne er nicht. Zum andern habe das Versicherungsgericht im Entscheid vom 18. Oktober 2012 bereits gestützt auf entsprechende Angaben des Dr. med. L._, Facharzt für Psychiatrie und Psychotherapie, im Bericht vom 25. März 2006 auf die Bedeutung der Angstproblematik hingewiesen. Auch aus dem psychiatrischen Gutachten der Klinik M._ vom 16. August 2010 würden sich Hinweise auf Scheu und Ängste im sozialen Umgang ergeben. Im Verlaufsbericht vom 18. September 2016 habe Dr. med. H._ überdies angegeben, der Gesundheitsschaden, darunter auch die Panikstörung mit Agoraphobie, bestehe, mit der von ihm postulierten Auswirkung auf die Arbeitsfähigkeit, bereits seit Mai 2003. Im Gutachten vom 26. März 2016 habe er vage ausgeführt, das psychische Leiden habe sich in den letzten Jahren noch etwas verschlechtert. Im Rahmen einer Gesamtbetrachtung sei damit eine erst nach dem 25. Oktober 2011 eingetretene relevante Verschlechterung des Gesundheitszustands nicht glaubhaft gemacht worden.
3.3. Was der Beschwerdeführer dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen. Wenn die Vorinstanz gestützt auf diese Aktenlage den Schluss zog, es bestünden keine hinreichenden Anhaltspunkte dafür, dass sich seit der letzten rentenablehnenden Verfügung vom 25. Oktober 2011 eine erhebliche gesundheitliche Verschlechterung eingestellt hat, ist dies bundesrechtskonform. Da sich den anlässlich der Neuanmeldung aufgelegten Berichten keine klaren Anhaltspunkte für eine richtungweisende Verschlechterung des Gesundheitszustandes im Sinne einer Minderung der Leistungsfähigkeit entnehmen lassen, hat die Vorinstanz namentlich mit Blick auf das verlangte Beweismass keinen zu hohen Massstab an die Glaubhaftmachung im Sinne von Art. 87 Abs. 3 IVV gestellt. Die zu dieser Erkenntnis führende vorinstanzliche Sachverhaltswürdigung ist weder offensichtlich unrichtig noch sonstwie rechtsfehlerhaft (E. 1 und 2 hiervor) und daher für das Bundesgericht verbindlich. Dies gilt auch mit Blick auf die geltend gemachte neu hinzugetretene Diagnose der Panikstörung mit Agoraphobie. Den vorinstanzlichen Darlegungen, weshalb mit dieser Diagnose keine wesentliche Veränderung der Verhältnisse glaubhaft gemacht sei, kann vollständig gefolgt werden, weshalb darauf verwiesen wird. Soweit der Beschwerdeführer in der von Dr. med. H._ im Verlaufsbericht vom 18. September 2016 aufgeführten rezidivierenden depressiven Störung eine anspruchserhebliche Veränderung in tatsächlicher Hinsicht sieht, dringt er nicht durch. Der Psychiater erachtete die Arbeitsfähigkeit durch das depressive Leiden nicht eingeschränkt, es verstärke die Gesamtproblematik aber negativ. Abschliessend erachtete der Psychiater eine 75 %-ige Arbeitsunfähigkeit mit Gültigkeit ab Oktober 2010 als gegeben, da seinerzeit bei der Begutachtung durch die Klinik M._ eine ähnliche Beurteilung erfolgt sei. Damit kann mit der Vorinstanz gestützt auf diese ärztlichen Darlegungen weder aufgrund der diagnostizierten Panikstörung mit Agoraphobie noch mit der rezidivierenden depressiven Störung eine seit Oktober 2011 eingetretene anhaltende Verschlechterung des Gesundheitszustands mit Auswirkung auf die erwerbliche Leistungsfähigkeit glaubhaft gemacht werden.
3.4. Der Beschwerdeführer rügt, das kantonale Gericht sei zu Unrecht auf den Antrag betreffend berufliche Massnahmen nicht eingetreten. Über berufliche Massnahmen hat die Beschwerdegegnerin indessen nicht verfügt, weshalb es insoweit an einem Anfechtungsgegenstand fehlt. Vor dem kantonalen Gericht wurde vom damaligen Rechtsvertreter überdies nur die Zusprechung einer Rente beantragt, worauf das Gericht im Rahmen der neuanmeldungsrechtlich einzig bedeutsamen Problematik der glaubhaft gemachten Veränderung der tatsächlichen Verhältnisse, zu Recht nicht eintrat. Ist eine anspruchserhebliche Änderung des Sachverhalts nicht glaubhaft gemacht, durfte die Vorinstanz das Nichteintreten auf die Neuanmeldung willkürfrei und ohne Verletzung des Untersuchungsgrundsatzes bestätigen.
3.5. Nicht stichhaltig ist schliesslich der Einwand in der Beschwerde, der Grundsatz der Rechts- und Waffengleichheit sei verletzt, indem im Zusammenhang mit materiellen Revisionen nach Art. 17 ATSG die Hürde für den Eintritt in das Abklärungsverfahren für die IV-Stelle sehr niedrig sei und hier im Rahmen der Neuanmeldung zu hohe Anforderungen an das Glaubhaftmachen für die Anhandnahme der materiellen Beurteilung des Leistungsanspruchs gestellt würden. Eine Rentenrevision nach Art. 17 ATSG wird von Amtes wegen durchgeführt, u.a. wenn Tatsachen bekannt oder Massnahmen angeordnet werden, die eine erhebliche Änderung des Grades der Invalidität als möglich erscheinen lassen (Art. 87 Abs. 1 lit. b IVV). Nach Art. 87 Abs. 2 IVV hat, wer ein Gesuch um Revision der Rente einreicht, darin glaubhaft zu machen, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat. Wird vom formellen Erfordernis der Einreichung eines Gesuchs abgesehen, können Art. 87 Abs. 2 IVV und Art. 87 Abs. 1 lit. b IVV spiegelbildlich zueinander gesehen werden: Tatsachen, mit welchen glaubhaft gemacht ist, dass der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat, sind gleichzeitig solche, die eine erhebliche Änderung des Grades der Invalidität als möglich erscheinen lassen. Diese Betrachtungsweise relativiert zum einen die Bedeutung eines formellen Revisionsgesuchs; zum anderen spricht nichts dagegen, die Grundsätze zum Umfang der Abklärungspflicht der IV-Stelle nach Art. 87 Abs. 2 IVV (vgl. statt vieler SVR 2014 IV Nr. 33 S. 121, 8C_746/2013 E. 2) auch im Rahmen von Art. 87 Abs. 1 lit. b IVV sinngemäss anzuwenden (SVR 2017 IV Nr. 71 S. 219, 9C_675/2016 E. 2.1.2). Daraus erhellt, dass Hürden für die Abklärungspflicht der IV-Stelle bei einer Rentenrevision auf Gesuch hin oder von Amtes wegen und bei einer Neuanmeldung gleich hoch sind. Damit hat es beim vorinstanzlichen Entscheid sein Bewenden.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege kann ihm gewährt werden (Art. 64 BGG). Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt David Husmann wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Januar 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla