Sachverhalt:
A.
A.a. Der 1975 geborene gelernte Dachdecker A._ arbeitete zuletzt bei der B._ GmbH. Am 24. Juli 2004 stürzte er von einer rund drei Meter hohen Leiter auf den Betonboden, nachdem er mit einer unter Strom stehenden Dachrinne in Berührung gekommen war. Dabei erlitt er multiple Verletzungen. Die Schweizerische Unfallversicherungsanstalt (SUVA), bei welcher der Verunfallte obligatorisch gegen die Folgen von Unfällen versichert war, erbrachte die gesetzlichen Leistungen für dieses Ereignis. Nachdem das Bundesgericht den natürlichen und adäquaten Kausalzusammenhang zwischen dem Unfallereignis und den psychischen Beschwerden mit Urteil 8C_584/2010 vom 11. März 2011 bejaht hatte, gab die SUVA bei Dr. med. C._, Facharzt FMH für Psychiatrie und Psychotherapie das Gutachten vom 4. Juli 2013 in Auftrag. Mit Verfügung vom 30. September 2013, bestätigt durch Einspracheentscheid vom 5. März 2014, sprach sie dem Versicherten eine Rente basierend auf einer Erwerbsunfähigkeit von 100 Prozent und eine Integritätsentschädigung zu.
A.b. Im April 2005 meldete sich A._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Thurgau zog die Akten der SUVA bei, welchen unter anderem das psychiatrische Gutachten des Dr. med. D._ von der Klinik E._ vom 21. Februar 2008 beilag. Sie gewährte Berufsberatung, veranlasste berufliche Abklärungen und bewilligte Arbeitsvermittlung. Mit Verfügung vom 22. Oktober 2010 sprach die IV-Stelle A._ eine für die Dauer vom 1. Juli 2005 bis 28. Februar 2009 und vom 1. Juli bis 31. Dezember 2009 befristete halbe Invalidenrente zu. Für die Zeit vom 5. Februar bis 16. Juli 2009 gewährte sie Taggelder. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 5. Februar 2014 gut, hob die Renten- und Taggeldverfügung auf und wies die Sache zur Einholung eines psychiatrischen Gutachtens an die IV-Stelle zurück. Zur Begründung führte es aus, das von der SUVA eingeholte psychiatrische Gutachten des Dr. med. C._ vom 4. Juli 2013 vermöge in seinen Schlussfolgerungen nicht zu überzeugen. Auf die von A._ dagegen erhobene Beschwerde trat das Bundesgericht mit Urteil 8C_206/2014 vom 18. März 2014 nicht ein.
A.c. In der Folge holte die IV-Stelle das psychiatrische Gutachten des Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie sowie Neurologie, vom 16. Januar 2015 ein. Mit Verfügung vom 21. Dezember 2015 sprach sie A._ erneut eine vom 1. Juli 2005 bis 28. Februar 2009 und vom 1. Juli bis 31. Dezember 2009 befristete halbe Invalidenrente zu. Zudem forderte sie Taggelder in Höhe von Fr. 578.15 zurück.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 20. Juli 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Entscheids seien ihm die gesetzlichen Leistungen zuzusprechen. Eventualiter sei die Angelegenheit an die Vorinstanz zurückzuweisen, damit diese ein gerichtliches Obergutachten einhole. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
IV-Stelle und Vorinstanz verzichten auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.
Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren beanstandeten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG in Verbindung mit Art. 105 Abs. 2 BGG).
2.
2.1. Im Sozialversicherungsverfahren gelten der Untersuchungsgrundsatz sowie der Grundsatz der freien Beweiswürdigung (Art. 43 Abs. 1 und Art. 61 lit. c ATSG). Der rechtserhebliche Sachverhalt ist von Amtes wegen unter Mitwirkung der Versicherten resp. der Parteien zu ermitteln. In diesem Sinne rechtserheblich sind alle Tatsachen, von deren Vorliegen es abhängt, ob über den streitigen Anspruch so oder anders zu entscheiden ist (FRITZ GYGI, Bundesverwaltungsrechtspflege, 2. Aufl. 1983, S. 43 und 273; Urteil 8C_441/2012 vom 25. Juli 2013 E. 6.1.1, in: SVR 2013 IV Nr. 44 S. 134). Der Verzicht auf weitere Abklärungen oder im Beschwerdefall auf Rückweisung der Sache zu diesem Zweck (antizipierte Beweiswürdigung) verletzt etwa dann Bundesrecht (Art. 95 lit. a BGG), wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (Urteile 9C_578/2015 vom 13. Januar 2016 E. 1.3; 8C_760/2015 vom 18. März 2016 E. 3.1).
2.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit handelt es sich grundsätzlich um eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (BGE 134 V 231 E. 5.1 S. 232; Urteil 8C_449/2014 vom 11. Dezember 2014 E. 3).
3.
Streitig und zu prüfen ist, ob die Vorinstanz mit der Bestätigung der Verfügung der IV-Stelle vom 21. Dezember 2015 Bundesrecht verletzt hat.
3.1. Die hiefür massgebenden Rechtsgrundlagen sind im angefochtenen Entscheid zutreffend dargelegt worden. Dies betrifft namentlich die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (Art. 4 Abs. 1 IVG in Verbindung mit Art. 8 Abs. 1 ATSG) und Erwerbsunfähigkeit (Art. 7 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG) und zu dem bei einer abgestuften Rente analog anwendbaren Art. 17 Abs. 1 ATSG. Richtig sind auch die Ausführungen zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (BGE 137 V 210 E. 6.2.2 S. 269; 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
3.2. Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Situation und der medizinischen Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (BGE 134 V 231 E. 5.1 S. 232).
4.
4.1. Die Vorinstanz hat die psychiatrischen Gutachten des Dr. med. D._ vom 21. Februar 2008, des Dr. med. C._ vom 4. Juli 2013 und des Dr. med. F._ vom 16. Januar 2015 gewürdigt.
4.2. Nach der vom kantonalen Gericht bereits im Rückweisungsentscheid vom 5. Februar 2014 vertretenen Ansicht vermag die Expertise des Dr. med. C._ in seinen Schlussfolgerungen nicht zu überzeugen. Während der Exploration sei der Versicherte offensichtlich unter dem Einfluss von opiathaltigen Medikamenten gestanden. Im Rahmen der Untersuchung habe der Experte keine Hinweise auf Schmerzmanifestationen erkennen können. Trotzdem habe er eine somatoforme Schmerzstörung diagnostiziert. Zwangsgedanken und wahnhafte Denkinhalte oder Anhaltspunkte für Störungen der Wahrnehmung und des Ichs hätten laut Gutachten nicht festgestellt werden können. Die emotionale Schwingungsfähigkeit sei nicht eingeschränkt und die Stimmung nicht deprimiert gewesen. Dennoch habe Dr. med. C._ eine - im Zeitpunkt der Untersuchung remittierte - depressive Störung diagnostiziert. Weiter habe er darauf hingewiesen, dass der Beschwerdeführer einen ausgeprägten Hang zeige, sein Leben und seine Taten stark überhöht zu schildern. Die Darstellung als kranker Mann habe teilweise inszeniert gewirkt. Dessen ungeachtet habe der Gutachter das Vorliegen von Hinweisen auf eine bewusste Simulation verneint. Er habe sich überdies nicht damit auseinandergesetzt, dass Dr. med. D._ das Vorgehen und die Motivation des Versicherten in Frage gestellt habe und sich die Berichte über einen mehrjährigen Einsatz als Berufsfallschirmjäger im Krieg in G._ als falsch erwiesen hätten.
4.3. Da das Verwaltungsgericht im Entscheid vom 5. Februar 2014 das Gutachten des Dr. med. C._ in mehreren Punkten und insbesondere im Gesamtergebnis als nicht schlüssig beurteilt und die Sache zur Durchführung einer neuen Begutachtung an die IV-Stelle zurückgewiesen hatte, gab die Beschwerdegegnerin das Gutachten des Dr. med. F._ vom 16. Januar 2015 in Auftrag. Diesem hat die Vorinstanz Beweiswert zuerkannt. Auf dessen Schlussfolgerungen hat sie im angefochtenen Entscheid vollumfänglich abgestellt. Der Gutachter hat beim Beschwerdeführer keine spezifische psychische Gesundheitsstörung nachweisen können. Die Arbeitsfähigkeit des Versicherten ist seiner Ansicht nach aus psychiatrischer Sicht nicht beeinträchtigt. Laut kantonalem Gericht hat die Untersuchung zahlreiche Inkonsistenzen und Widersprüche aufgezeigt. Der Verlauf der geltend gemachten psychischen Beschwerden lasse auch für die der Begutachtung vorangehenden Jahre nicht auf eine psychische Erkrankung schliessen. Die geschilderten Alltagsaktivitäten und die objektiv sichtbaren Leistungen im Rahmen der Untersuchung würden auf Ressourcen hinweisen, die der Versicherte bei einer Arbeitstätigkeit nutzen könne. Im Rahmen der neuropsychologischen Abklärungen hätten sich zudem deutliche Hinweise auf eine bewusstseinsferne Verdeutlichungstendenz und möglicherweise auf eine bewusstseinsnahe Aggravation oder Simulation ergeben. Anhaltspunkte für massive Inkonsistenzen habe es überdies bereits früher gegeben. Da aufgrund des Gutachtens keine Invalidität mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit ausgewiesen werden konnte, ging das kantonale Gericht von der Vermutung aus, dass sich der Gesundheitszustand des Versicherten nicht invalidisierend auswirke. Die übrigen medizinischen Unterlagen, insbesondere die Berichte des med. prakt. H._ vom Externen Psychiatrischen Dienst I._ vermögen es laut Vorinstanz nicht, das Gutachten des Dr. med. F._ zu entkräften.
4.4. Aus somatischer Sicht bestehen beim Beschwerdeführer unbestrittenermassen keine relevanten Diagnosen mit Einschränkung der Arbeitsfähigkeit.
5.
5.1. Der Beschwerdeführer rügt eine unrichtige und unvollständige Feststellung des Sachverhalts durch die Vorinstanz und eine willkürliche und teilweise aktenwidrige Beweiswürdigung. Entgegen der Auffassung des kantonalen Gerichts seien keine Gründe ersichtlich, welche es rechtfertigen würden, von dem beweiskräftigen Gutachten des Dr. med. C._ abzuweichen. Das Gutachten des Dr. med. F._ stehe demgegenüber mit den übrigen medizinischen und fachspezifischen Beurteilungen im Widerspruch, so dass nicht darauf abgestellt werden könne. Für den Fall, dass dieses Gutachten trotzdem Bestand haben sollte, was bestritten werde, sei beweismässig zumindest von mehreren gleichwertigen Gutachten auszugehen, welche bei der Beurteilung der Arbeitsfähigkeit zu völlig unterschiedlichen Ergebnissen gekommen seien, so dass nicht willkürfrei und ohne Verletzung des Untersuchungsgrundsatzes nur auf eines davon abgestellt werden könne. Im Zweifelsfall sei ein gerichtliches Obergutachten über den Leistungsanspruch erforderlich.
5.2. Dr. med. D._ diagnostizierte eine Konversionsstörung gemischt (ICD-10:F44.7) mit gelegentlichen Momenten von dissoziativer Amnesie, im Rahmen der Konversionsstörung auch starke Regressionsneigung und Symptomausweitung sowie Neigung zu Pseudologie auf der Grundlage einer auffälligen Persönlichkeit mit vorwiegend histrionischen Charakterzügen; leichte spezifische Angststörung (ICD-10:F41.8); depressive Phase (depressive Episode) ab Dezember 2005 mindestens mittelgradig (ICD-10:F32.1), spätestens ab März 2007 remittiert; residuelle mögliche Folgen einer initial ausgeprägten psychotraumatologischen Störung infolge Unfall (zu keiner Zeit im Ausmass einer eigentlichen posttraumatischen Belastungsstörung). Der Gutachter ging davon aus, dass es dem Versicherten aus psychiatrischer Sicht nicht ohne weiteres zumutbar sei, vollschichtig zu funktionieren. Die Einschränkung der Fähigkeit einer Willensanstrengung zur Überwindung der geklagten Defizite sei Ausdruck bzw. Folge dissoziativer Mechanismen. Der Umfang der Einschränkung sei schwierig zu beziffern. Aktuell sei mindestens eine halbschichtige, körperlich leichte sitzende Tätigkteit zumutbar. Unter Therapie könne das Pensum längerfristig wahrscheinlich gesteigert werden.
5.3. Dr. med. C._ stellte die Diagnosen: Somatoforme Schmerzstörung (ICD-10:F45.8); gemischte dissoziative Störung (Konversionsstörung) mit Sensibilitäts-, Empfindungs- und Bewegungsstörungen (ICD-10:F44.7); histrionische Persönlichkeitsstörung mit zusätzlich selbstunsicheren, ängstlich-vermeidenden, abhängigen und anankastischen Zügen (ICD-10:F60.4); rezidivierende depressive Störung (ICD-10:F33). In Abweichung zur Beurteilung des Dr. med. D._ geht Dr. med. C._ davon aus, dass der Versicherte bleibend nicht über psychische Möglichkeiten verfügt, die es ihm erlauben würden, eine verwertbare Leistung zu erbringen. Insgesamt liege auf der Grundlage einer ausgeprägten dissoziativen Neigung ein chronifiziertes hysterisches Zustandsbild vor, das vom Patienten nicht bewusst kontrollierbar sei. Entsprechend bestehe keine willentliche Einflussmöglichkeit. Der Versicherte könne innerpsychische Abläufe nur wenig selbst gestalten und sei den inneren Impulsen und Spannungen weitgehend machtlos ausgesetzt. Für eine bewusste Simulation zur Erwirkung von Vorteilen fand der Gutachter keine Hinweise. Laut Dr. med. C._ ist der Beschwerdeführer nicht in der Lage, eine verwertbare konstante Leistung zu erbringen. Es fehle ihm die Grundarbeitsfähigkeit.
5.4. Dr. med. F._ konnte keine spezifisch psychiatrische Diagnosen nachweisen. Insbesondere liege keine Persönlichkeitsstörung vor. Ebenso wenig könne mit dem geforderten Grad der Gewissheit auf eine dissoziative Störung geschlossen werden. Auch eine anhaltende somatoforme Schmerzstörung oder eine andere somatoforme Störung lässt sich laut Gutachter nicht mit hinreichender Sicherheit diagnostizieren. Obwohl viele Unklarheiten bestünden, gleiche das Bild viel eher einer artifiziellen Störung als einer Konversionsstörung/dissoziativen Störung oder einer Somatisierung. Nicht authentische und unwahre Darstellungen des Exploranden hätten in der Vergangenheit zu falschen Einschätzungen geführt.
5.5. Diese Zusammenfassung widerspiegelt bezüglich Diagnosestellung und Frage einer allfälligen Einschränkung der Arbeitsfähigkeit aus psychischen Gründen seitens der Gutachter unterschiedliche Angaben und erheblich voneinander abweichende Einschätzungen. Die Expertisen basieren auf eigenen Untersuchungen, sind in Kenntnis der Vorakten abgefasst und umfassend begründet worden und setzen sich zum Teil auch eingehend mit abweichenden medizinischen Beurteilungen auseinander. Sie erfüllen damit an sich die rechtsprechungsgemässen Voraussetzungen an ein medizinisches Gutachten (E. 3.2 hievor). Aufgrund von im Rahmen der Beweiswürdigung nicht ohne weiteres auszuräumenden Diskrepanzen lässt sich die Arbeitsfähigkeit gestützt darauf jedoch nicht zuverlässig beurteilen. Entgegen der Auffassung der Vorinstanz kann nicht willkürfrei und ohne Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG) auf nur eine der Expertisen abgestellt werden. Die Frage der Arbeitsfähigkeit wurde somit auf unvollständiger Beweisgrundlage beantwortet, was Bundesrecht verletzt. Die Sache ist daher zwecks Einholung eines psychiatrischen Obergutachtens an die Vorinstanz zurückzuweisen. Je nach Diagnosestellung wird allenfalls die Rechtsprechung des Bundesgerichts zu anhaltenden somatoformen Schmerzstörungen und vergleichbaren psychosomatischen Leiden gemäss BGE 141 V 281 zu berücksichtigen sein. Hernach wird das kantonale Gericht über die vorinstanzliche Beschwerde neu zu entscheiden haben.
6.
Praxisgemäss entspricht die Rückweisung einem vollen Obsiegen (BGE 137 V 210 E. 7.1 S. 271 mit Hinweisen). Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG; BGE 137 V 210 E. 7.1 S. 271). Damit wird das Gesuch um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren gegenstandslos.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 20. Juli 2016 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. November 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Hofer