Sachverhalt: A. A.a. Dem 1985 geborenen A._ wurden aufgrund einer congenitalen Zwerchfellhernie, die am Folgetag der Geburt operativ behoben wurde, verschiedene Eingliederungsmassnahmen der Invalidenversicherung gewährt. Seit 1988 litt er unter einer rezidivierenden infantilen Hemiplegie rechts mit Aphasie und Verdacht auf hemiplegische Migräne. Am 11. März 1993 stürzte er auf den Kopf. Im späteren Verlauf entwickelte er namentlich eine komplex-partielle Epilepsie und Hirnentwicklungsstörung. A.b. Am 16. Oktober 2003 meldete er sich bei der IV-Stelle des Kantons St. Gallen zum Leistungsbezug für Erwachsene an. Im Nachgang an die vom Versicherten im Rahmen einer Massnahme beruflicher Art erfolgreich abgeschlossene Anlehre zum Holzbearbeiter sprach ihm die IV-Stelle ausgehend von einem Invaliditätsgrad von 80 % eine ganz Invalidenrente ab 1. August 2004 zu (Verfügung vom 10. November 2005). Mit Mitteilungen vom 13. Dezember 2006 und 31. Juli 2012 bestätigte sie den Rentenanspruch. Sodann leitete sie im Februar 2014 ein weiteres Revisionsverfahren ein. Nach Abklärungen der wirtschaftlichen Verhältnisse setzte sie mit Verfügung vom 4. August 2015 die zugesprochene Rente bei einem Invaliditätsgrad von 58 % auf eine halbe Rente herab. Diese Verfügung erwuchs unangefochten in Rechtskraft. A.c. Mit Schreiben vom 14. März 2016 meldete sich der Versicherte unter Hinweis auf einen verschlechterten Gesundheitszustand erneut bei der Invalidenversicherung an. Nach medizinischen Abklärungen und Rücksprache mit ihrem Regionalen Ärztlichen Dienst (RAD) trat die IV-Stelle, nach durchgeführtem Vorbescheidverfahren, auf das Gesuch mit Verfügung vom 21. November 2016 nicht ein. B. Die dagegen gerichtete Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 20. September 2019 ab, soweit es darauf eintrat. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle anzuweisen, auf das Rentenrevisionsgesuch einzutreten und ein -revisionsverfahren durchzuführen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. Mit Schreiben vom 13. Januar 2020 äussert sich der Beschwerdeführer ein weiteres Mal.