Sachverhalt:
A.
A.a. Dem 1985 geborenen A._ wurden aufgrund einer congenitalen Zwerchfellhernie, die am Folgetag der Geburt operativ behoben wurde, verschiedene Eingliederungsmassnahmen der Invalidenversicherung gewährt. Seit 1988 litt er unter einer rezidivierenden infantilen Hemiplegie rechts mit Aphasie und Verdacht auf hemiplegische Migräne. Am 11. März 1993 stürzte er auf den Kopf. Im späteren Verlauf entwickelte er namentlich eine komplex-partielle Epilepsie und Hirnentwicklungsstörung.
A.b. Am 16. Oktober 2003 meldete er sich bei der IV-Stelle des Kantons St. Gallen zum Leistungsbezug für Erwachsene an. Im Nachgang an die vom Versicherten im Rahmen einer Massnahme beruflicher Art erfolgreich abgeschlossene Anlehre zum Holzbearbeiter sprach ihm die IV-Stelle ausgehend von einem Invaliditätsgrad von 80 % eine ganz Invalidenrente ab 1. August 2004 zu (Verfügung vom 10. November 2005). Mit Mitteilungen vom 13. Dezember 2006 und 31. Juli 2012 bestätigte sie den Rentenanspruch. Sodann leitete sie im Februar 2014 ein weiteres Revisionsverfahren ein. Nach Abklärungen der wirtschaftlichen Verhältnisse setzte sie mit Verfügung vom 4. August 2015 die zugesprochene Rente bei einem Invaliditätsgrad von 58 % auf eine halbe Rente herab. Diese Verfügung erwuchs unangefochten in Rechtskraft.
A.c. Mit Schreiben vom 14. März 2016 meldete sich der Versicherte unter Hinweis auf einen verschlechterten Gesundheitszustand erneut bei der Invalidenversicherung an. Nach medizinischen Abklärungen und Rücksprache mit ihrem Regionalen Ärztlichen Dienst (RAD) trat die IV-Stelle, nach durchgeführtem Vorbescheidverfahren, auf das Gesuch mit Verfügung vom 21. November 2016 nicht ein.
B.
Die dagegen gerichtete Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 20. September 2019 ab, soweit es darauf eintrat.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle anzuweisen, auf das Rentenrevisionsgesuch einzutreten und ein -revisionsverfahren durchzuführen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. Mit Schreiben vom 13. Januar 2020 äussert sich der Beschwerdeführer ein weiteres Mal.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2. BGG; <ref-ruling> E. 4.2 S. 61 mit Hinweis). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, <ref-law>).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es die Nichteintretensverfügung der IV-Stelle vom 21. November 2016 auf ein am 14. März 2016 gestelltes Rentenerhöhungsgesuch des Beschwerdeführers bestätigte.
3.
3.1. Zur Diskussion steht vorab die Frage, ob der massgebliche Vergleichszeitraum korrekt festgelegt wurde.
3.2. Zeitlicher Referenzpunkt für die Prüfung einer anspruchserheblichen Änderung bildet die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (<ref-ruling> E. 3 S. 132; <ref-ruling> E. 5.4 S. 114).
3.3. Die Vorinstanz - wie auch zuvor die IV-Stelle in ihrer Nichteintretensverfügung vom 21. November 2016 - knüpfte für den zeitlichen Referenzzeitpunkt im Hinblick auf die Prüfung einer anspruchserheblichen Änderung an die Verfügung vom 4. August 2015 an. Diese Beurteilung ist bundesrechtskonform, zumal sie sich auf die letzte rechtskräftige Verfügung stützt, mit welcher eine materielle Prüfung des Rentenanspruchs durchgeführt und die Invalidenrente infolge der erwerblichen Verhältnisse auf eine halbe Rente herabgesetzt wurde (vgl. E. 3.2 hiervor). Soweit der Beschwerdeführer davon ausgeht, das kantonale Gericht habe den Referenzzeitpunkt "vorverlegt", ist dies aufgrund der missverständlichen vorinstanzlichen Erwägungen zwar nachvollziehbar, jedoch im Ergebnis falsch interpretiert. Die Frage, ob der Versicherte rentenrelevante veränderte Verhältnisse glaubhaft machen konnte, bezieht sich demnach auf den Zeitraum zwischen der rentenherabsetzenden Verfügung vom 4. August 2015 und der Nichteintretensverfügung vom 21. November 2016.
4.
4.1. Wird gemäss <ref-law> ein Gesuch um Revision eingereicht, so ist darin glaubhaft zu machen, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat.
4.2. Mit dem Beweismass des Glaubhaftmachens sind herabgesetzte Anforderungen an den Beweis verbunden; die Tatsachenänderung muss nicht nach dem im Sozialversicherungsrecht sonst üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) erstellt sein. Es genügt, dass für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstands wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Änderung nicht erstellen lassen (Urteil 8C_647/2019 vom 31. Januar 2020 E. 2.1 mit Hinweis).
4.3. Ob eine anspruchserhebliche Änderung im Sinne von <ref-law> glaubhaft gemacht ist, ist eine vom Bundesgericht unter dem Blickwinkel von <ref-law> überprüfbare Tatfrage. Frei zu beurteilende Rechtsfrage ist hingegen, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von <ref-law> zu stellen sind (vgl. Urteil 8C_596/2019 vom 15. Januar 2020 E. 3.3 mit Hinweis).
4.4. Zu dieser umstrittenen Frage erwog das kantonale Gericht, dass gestützt auf den Bericht des Dr. med. B._, FMH Facharzt für Psychiatrie und Psychotherapie, vom 19. Juni 2016 eine an sich relevante Sachverhaltsänderung glaubhaft gemacht sei. Diese hätte allerdings keinen relevanten Einfluss auf die erwerblichen Verhältnisse des Beschwerdeführers, da er auf dem freien Arbeitsmarkt durchschnittlich ein Invalideneinkommen von Fr. 35'000.- zu erzielen vermöge.
4.5. Der Beschwerdeführer wendet dagegen unter Hinweis auf die medizinischen Berichte im Wesentlichen ein, die Vorinstanz habe <ref-law> verletzt. Diese Rüge ist begründet. Wie die Vorinstanz nicht offensichtlich unrichtig feststellte, ergibt sich aus dem Bericht des Dr. med. B._ vom 19. Juni 2016 insofern eine Sachverhaltsänderung, als aus psychiatrischer Sicht die Diagnose einer Organischen Persönlichkeitsstörung (ICD 10 F070) gestellt wird. Im Vergleich mit den medizinischen Berichten, die der Verfügung vom 4. August 2015 zu Grunde lagen und einzig eine leichte cerebrale Bewegungsstörung auswiesen, ist mit der neu gestellten Diagnose einer Organischen Persönlichkeitsstörung ein medizinisch veränderter Sachverhalt dargetan, was im Übrigen auch der RAD-Arzt in seiner Stellungnahme vom 22. August 2016 explizit bestätigte. Indem die Vorinstanz zum Schluss kam, dass der veränderte Sachverhalt keinen relevanten Einfluss auf das Invalideneinkommen habe, traf sie vorschnell eine Annahme hinsichtlich der Arbeits- und Erwerbsfähigkeit, wofür es es näherer Abklärungen im Rahmen einer materiellen Prüfung des Revisionsgesuchs bedürfte. Damit stellte sie im Ergebnis in Verletzung von Bundesrecht zu hohe Anforderungen an das Beweismass des Glaubhaftmachens im Sinne von <ref-law> (vgl. Urteil 8C_110/2019 vom 6. Juni 2019 E. 6.1).
4.6. In Gutheissung der Beschwerde ist die Sache daher an die IV-Stelle zu weiteren medizinischen Abklärungen und zur Neuverfügung zurückzuweisen. Einer näheren Befassung mit den ausdrücklich als "obiter dictum" bezeichneten weiteren vorinstanzlichen Ausführungen bedarf es nicht (Fritz GYGI, Bundesverwaltungsrechtspflege, 2. Aufl. 1983 S. 68).
5.
Das Verfahren ist kostenpflichtig. Die Gerichtskosten sind der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 20. September 2019 und die Verfügung der IV-Stelle des Kantons St. Gallen vom 21. November 2016 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle des Kantons St. Gallen zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Februar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Heine
Die Gerichtsschreiberin: Elmiger-Necipoglu