Sachverhalt:
A.
A.a. Der 1983 geborene A._ stürzte am 23. Februar 2006 aus drei Metern Höhe von einem Baugerüst. Dabei erlitt er eine traumatische Hirnverletzung mit Subarachnoidalblutung sowie eine ausgedehnte Frontobasis- und Mittelgesichtsfraktur. In den kreisärztlichen Berichten vom 1. Juli 2008 stellten die Dres. med. B._, Fachärztin für Neurologie, und C._, Fachärztin für Psychiatrie und Psychotherapie, fest, es bestehe ein posttraumatischer Kopfschmerz, eine Anpassungsstörung mit gemischter Störung von Gefühlen und Sozialverhalten sowie aufgrund der Frontalhirnläsionen eine organische Persönlichkeitsstörung (vgl. weitere Kreisarztberichte vom 3. Juni 2009 und 30. September 2009). Die den Versicherten behandelnden Personen des Medizinischen Zentrums D._ berichteten über eine schwere depressive Episode (Berichte vom 12. Januar 2009, 30. April 2009, 10. Februar 2010). Die IV-Stelle des Kantons Zürich sprach daraufhin A._ mit Verfügung vom 24. Januar 2011 rückwirkend ab 1. Februar 2007 eine ganze Rente zu. Diesen Anspruch bestätigte die IV-Stelle mit der Mitteilung vom 22. Juli 2011.
A.b. Im Oktober 2016 leitete die IV-Stelle eine Rentenüberprüfung in die Wege. In diesem Rahmen liess sie den Versicherten durch die Gutachterstelle PMEDA Polydisziplinäre Medizinische Abklärungen, Zürich, untersuchen (Expertise vom 22. Juni 2017). Gestützt darauf stellte die Verwaltung A._ vorbescheidsweise die Rentenaufhebung in Aussicht. Auf dessen Einwand nahm die IV-Stelle Rücksprache mit den Gutachtern (Stellungnahme vom 21. November 2017) und dem Regionalen Ärztlichen Dienst (RAD; Stellungnahme vom 4. Dezember 2017), anschliessend verfügte sie am 29. Dezember 2017, dass die Rente aufgehoben werde.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. August 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sowie die diesem zugrunde liegende Verfügung vom 29. Dezember 2017 seien aufzuheben und ihm sei weiterhin eine ganze Rente zu gewähren.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2. Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person sind grundsätzlich Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (Art. 105 Abs. 1 BGG). Die Frage, ob sich eine Arbeits (un) fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne verändert hat, ist ebenso Tatfrage (z.B. Urteil 9C_989/2012 vom 5. September 2013 E. 2 mit Hinweis) wie auch die konkrete Beweiswürdigung. Dagegen sind die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfragen (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.), die das Bundesgericht frei überprüfen kann (Art. 106 Abs. 1 BGG).
2.
2.1. Streitgegenstand bildet die Frage, ob das kantonale Gericht Bundesrecht verletzte, indem es die rentenaufhebende Verfügung der Beschwerdegegnerin vom 29. Dezember 2017 bestätigt hat.
2.2. Der angefochtene Entscheid legt die massgeblichen Rechtsgrundlagen zutreffend dar. Es betrifft dies namentlich die Bestimmungen und Grundsätze zur Invalidität (Art. 7 Abs. 1 ATSG) und zur Erwerbsunfähigkeit (Art. 8 Abs. 1 ATSG) sowie zur Rentenrevision (Art. 17 Abs. 1 ATSG; BGE 141 V 9 E. 2.3 S. 10 f.; 133 V 108 E. 5.4 S. 114). Ebenfalls korrekt sind die Ausführungen zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232). Darauf wird verwiesen.
3.
3.1. Die Vorinstanz stellte zunächst fest, die Rentenzusprache mit Verfügung vom 24. Januar 2011 sei wegen einer 100%igen Arbeitsunfähigkeit aufgrund der Folgen des Unfalls im Februar 2006 mit Schädelfraktur erfolgt, welcher zu einer noch unklaren depressiven Symptomatik geführt habe. In einem nächsten Schritt prüfte das kantonale Gericht den Beweiswert des Gutachtens der PMEDA vom 22. Juni 2017 und bejahte diesen. Es stellte weiter fest, von den Gutachtern sei keine psychische Störung mehr diagnostiziert und es sei auch eine Verbesserung des Allgemeinzustands festgehalten worden. Gemäss Vorinstanz sei damit ein Revisionsgrund gegeben.
3.2. Der Beschwerdeführer bringt dagegen vor, der medizinischen Expertise der PMEDA komme kein Beweiswert zu und gestützt darauf sei ein Revisionsgrund nicht ausgewiesen. Er wirft der Vorinstanz eine einseitige Beweiswürdigung vor, insbesondere da auch im massgebenden Vergleichszeitpunkt eine gewisse Aggravation erwähnt worden sei.
4.
4.1. Aufgrund der Vorbringen des Beschwerdeführers ist somit zunächst zu prüfen, ob die Vorinstanz Bundesrecht verletzte, indem sie dem PMEDA-Gutachten vom 22. Juni 2017 Beweiswert zuerkannte.
4.1.1. Das kantonale Gericht erwog in diesem Zusammenhang insbesondere, der neurologische Gutachter habe seine Schlussfolgerungen gestützt auf die aktuellen bildgebenden Befunde gezogen und sich mit den früheren Facharztberichten auseinandergesetzt. Der Beschwerdeführer vertritt hingegen die Ansicht, der neurologische Gutachter habe das aktuelle sowie ein früheres MRI nicht hinreichend berücksichtigt und sich nicht ausdrücklich mit den früheren neurologischen Berichten befasst. Diese Kritik an der vorinstanzlichen Beweiswürdigung ist unbegründet. Der Gutachter ging in der neurologischen Beurteilung auf das aktuelle MRI ein und legte auch dar, weshalb er der Einschätzung in den Vorberichten nicht folgte. Eine weitergehende Auseinandersetzung mit den Vorakten fand zudem im Rahmen der interdisziplinären Konsensbeurteilung statt. Der Umstand, dass das Gutachten auf das frühere MRI nicht Bezug nimmt, schmälert dessen Beweiswert nicht.
4.1.2. Die Vorinstanz stellte fest, die Gutachter hätten sich mit den geklagten Beschwerden und dessen Verhalten auseinandergesetzt. Der Versicherte macht dagegen geltend, eine psychiatrische Befunderhebung nach AMDP-System sei nicht erfolgt, dafür wären auch seine subjektiv geklagten Beschwerden zu berücksichtigen und einzuordnen gewesen. Der Gutachter habe es zudem unterlassen, anhand der Verhaltensbeobachtungen den Widerspruch zwischen der Befunderhebung und den angegebenen Einschränkungen darzulegen. Es gebe weiter auch Diskrepanzen zwischen dem psychiatrischen und neuropsychologischen Befund. Ferner fehle eine Auseinandersetzung mit früheren Arztberichten.
Das psychiatrische Teilgutachten erhob sowohl die geltend gemachten Beschwerden wie auch die objektiven psychiatrischen Befunde. Der psychiatrische Gutachter wies zudem darauf hin, dass der Beschwerdevortrag und die Befunde diskrepant seien. Es vermag den Beweiswert nicht einzuschränken, dass der Gutachter diese Diskrepanzen anhand des Verhaltens des Beschwerdeführers nicht näher konkretisierte, ist doch das inkonsistente Verhalten durch das Gutachten insgesamt hinreichend dokumentiert, so insbesondere auch im Abschnitt über die interdisziplinäre Konsensfindung, welche die von den Gutachtern festgestellte bewusstseinsnahe Präsentation von Einschränkungen und Beschwerden eingehend diskutiert. Dass die Befunde im psychiatrischen und neuropsychologischen Teilgutachten nicht deckungsgleich sind, ändert nichts daran, dass sowohl der psychiatrische wie auch der neuropsychologische Gutachter übereinstimmend zum Schluss gelangten, es liege überwiegend wahrscheinlich keine invalidisierende Gesundheitsstörung vor. Eine eingehende Würdigung mit den Vorakten wurde zudem im Rahmen der Konsensbeurteilung vorgenommen, weshalb nicht erforderlich war, dass sich der psychiatrische Experte damit noch separat befasste.
4.1.3. Der angefochtene Entscheid verletzt folglich kein Bundesrecht, soweit er das Gutachten als beweiskräftig qualifiziert.
4.2. Das kantonale Gericht schloss aufgrund des Gutachtens der PMEDA auf eine Verbesserung des Gesundheitszustands. Dies ist entgegen der Ansicht des Beschwerdeführers mit Blick auf den Umstand, dass die Gutachter keine Depression und diesbezüglich eine Verbesserung feststellten, jedenfalls nicht willkürlich, was allein entscheidend ist. Nachdem beim Beschwerdeführer befundmässig keine Depression mehr erhoben werden konnte, liegt durch das Gutachten der PMEDA nicht lediglich eine unter revisionsrechtlichem Gesichtswinkel unerhebliche andere Beurteilung eines im Wesentlichen unverändert gebliebenen Sachverhaltes vor (vgl. BGE 112 V 371 E. 2b S. 372; Urteil 8C_289/2019 vom 18. September 2019 E. 3.1). Die Annahme einer revisionsrechtlich bedeutsamen Änderung verletzt daher kein Bundesrecht.
4.3. Bezüglich der Aggravation ist die Argumentation des Beschwerdeführers unbehelflich. Denn er übersieht, dass die Gutachter keinen von der Aggravation abgrenzbaren die Arbeitsfähigkeit einschränkenden Gesundheitsschaden feststellen konnten. Die Vorinstanz durfte demnach die gutachterliche Einschätzung übernehmen, ohne Bundesrecht zu verletzen.
5.
Die Beschwerde ist unbegründet und nach dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Januar 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli