Sachverhalt:
A.
Die IV-Stelle Luzern sprach dem 1966 geborenen A._ bei einem Invaliditätsgrad von 100 % rückwirkend ab 1. April 2002 eine ganze Rente der Invalidenversicherung zu (Verfügung vom 19. Januar 2006). Grundlage dieses Entscheids bildete eine psychiatrische Expertise von Dr. B._, vom 20. März 2005. Gestützt auf ein Gutachten des Psychiaters Dr. C._, vom 11. September 2012 hob die IV-Stelle die Rente mit Verfügung vom 20. März 2013 auf Ende April 2013 hin auf. Das Kantonsgericht Luzern hiess die hiegegen eingereichte Beschwerde mit Entscheid vom 28. August 2014 gut und hob die angefochtene Verfügung auf. Da kein Revisionsgrund vorliege, bestehe weiterhin Anspruch auf die ganze Invalidenrente. Im Januar 2015 ging eine Anmeldung zum Bezug einer Hilflosenentschädigung ein. Nach der Ankündigung der Verwaltung, wonach der Anspruch beim Versicherten zu Hause abgeklärt werden müsse, liess dieser das Gesuch um Hilflosenentschädigung zurückziehen. Die IV-Stelle gab daraufhin eine Überwachung des Versicherten in Auftrag, welche an insgesamt fünf Tagen zwischen dem 30. März und dem 18. Mai 2016 durchgeführt wurde. Der Ermittlungsbericht wurde am 2. Juni 2016 erstattet. Am 12. Juli 2017 verfasste Dr. D._, ein psychiatrisches Gutachten (welches auch Bezug nahm auf eine neuropsychologische Zusatzuntersuchung vom 22. März 2017). Gestützt darauf sowie auf den Observationsbericht hob die IV-Stelle die ganze Invalidenrente rückwirkend ab Beginn (1. April 2002) auf und forderte die im Zeitraum von Januar 2011 bis November 2017 bezogenen Rentenbetreffnisse (einschliesslich Kinderrenten) im Gesamtbetrag von Fr. 251'400.- von A._ zurück (Verfügungen vom 4. Dezember 2017 und 31. Januar 2018).
B.
Das Kantonsgericht Luzern hiess die dagegen eingereichten Beschwerden mit Entscheid vom 24. September 2019 in dem Sinne teilweise gut, als es die angefochtenen Verfügungen abänderte bzw. aufhob, die rückwirkende Renteneinstellung auf den 1. April 2016 festlegte und die Rückerstattung der seither ausgerichteten Rentenbetreffnisse anordnete. Die IV-Stelle habe den entsprechenden Rückforderungsbetrag zu ermitteln und alsdann darüber neu zu verfügen. Im Übrigen werde die Beschwerde abgewiesen.
C.
A._ lässt Beschwerde ans Bundesgericht führen mit dem Antrag auf Weiterausrichtung der ganzen Invalidenrente über Ende März 2016 hinaus; eventuell sei die Rente auf Ende Januar 2018 hin aufzuheben. Überdies lässt er um unentgeltliche Rechtspflege (im Sinne unentgeltlicher Prozessführung und Verbeiständung) ersuchen.

Erwägungen:
1.
Entgegen seinem Wortlaut im Dispositiv stellt das angefochtene Urteil vom 24. September 2019 auch hinsichtlich der Rückforderung der unrechtmässig bezogenen Rentenbetreffnisse keinen Rückweisungsentscheid und somit keinen Zwischenentscheid im Sinne von <ref-law> dar. Vielmehr liegt auch diesbezüglich ein das Verfahren abschliessender Endentscheid vor (<ref-law>). Der IV-Stelle, an welche hier zurückgewiesen wird, verbleibt nämlich keinerlei Entscheidungsspielraum. Die Rückweisung dient lediglich der rein rechnerischen Umsetzung der vom kantonalen Gericht angeordneten Rückerstattung der seit 1. April 2016 ausgerichteten Rentenbetreffnisse (<ref-ruling> E. 2.1 S. 45; <ref-ruling> E. 1.1 S. 143; <ref-ruling> E. 1.3 S. 127). Dem vollumfänglichen Eintreten auf die Beschwerde steht demnach nichts entgegen.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.1 S. 156; <ref-ruling> E. 1.1 S. 305; <ref-ruling> E. 1 S. 236 mit Hinweisen). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3.
Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze, namentlich diejenigen über die Revision von Invalidenrenten bei wesentlicher Änderung in den tatsächlichen Verhältnissen (<ref-law> [SR 830.1]; <ref-ruling> E. 2.3 S. 10; <ref-ruling> E. 3 S. 132; <ref-ruling>; <ref-ruling> E. 3.5 S. 349 ff.), die rückwirkende Rentenaufhebung im Falle einer Meldepflichtverletzung (Art. 88bis Abs. 2 lit. a in Verbindung mit <ref-law> [SR 831.201] und <ref-law>; <ref-ruling> E. 4.3.5 S. 70; <ref-ruling> E. 2 S. 432; vgl. <ref-ruling>; <ref-ruling> E. 3.3 S. 68; <ref-ruling> E. 3.3 S. 416) und die Rückerstattung unrechtmässig bezogener Leistungen (Art. 25 Abs. 1 und 2 ATSG; <ref-ruling> E. 3.2.2 S. 24; <ref-ruling> E. 2.1 S. 525) zutreffend dargelegt. Richtig sind auch die vorinstanzlichen Ausführungen zur Unzulässigkeit einer im IV-Verfahren angeordneten Observation (hier massgebende, vor Inkrafttreten der Art. 43a und 43b ATSG am 1. Oktober 2019 [AS 2019 2829] geltende Rechtslage) und zur Verwertbarkeit des diesbezüglichen Beweismaterials (<ref-ruling>; SVR 2017 IV Nr. 89 S. 277, 8C_69/2017 E. 4). Darauf wird verwiesen.
4.
Die Vorinstanz stellte im Hinblick auf die von den drei erwähnten psychiatrischen Gutachtern (Sachverhalt lit. A) im Abstand von mehreren Jahren erhobenen objektiven Befunde fest, dass sich im hier massgebenden Zeitraum (20. März 2013 bis 4. Dezember 2017) der Schweregrad des Leidens mindestens erheblich verringert habe. Folglich prüfte das kantonale Gericht den Rentenanspruch in tatsächlicher und rechtlicher Hinsicht neu und ohne Bindung an die früheren Beurteilungen. Aufgrund des Gutachtens von Dr. D._ vom 12. Juli 2017 gelangte es zum Schluss, dass nunmehr sowohl eine die Arbeitsfähigkeit einschränkende Diagnose als auch eine erwerbliche Leistungsbeeinträchtigung in jedwelcher Tätigkeit zu verneinen sei. Den Zeitpunkt der erheblichen gesundheitlichen Verbesserung legte die Vorinstanz auf den 4. April 2016 fest (den zweiten Tag der Observation). Weil der Beschwerdeführer seinen verbesserten Gesundheitszustand den IV-Behörden zumindest grobfahrlässig nicht gemeldet habe, seien die Invalidenrente rückwirkend ab 1. April 2016 aufzuheben und die seither zu Unrecht bezogenen Rentenbetreffnisse zurückzuerstatten.
5.
Keine der in der Beschwerde erhobenen Einwendungen vermag die vorinstanzliche Sachverhaltsfeststellung, Beweiswürdigung oder Rechtsanwendung in Zweifel zu ziehen.
5.1. Soweit der Beschwerdeführer geltend macht, die Verwendung des Observationsergebnisses sei unzulässig gewesen, weil es an einem Anfangsverdacht gefehlt habe, ist ihm nicht zu folgen. Wie die Vorinstanz anführte, hat Dr. C._ in seinem psychiatrischen Gutachten vom 11. September 2012 auf Inkonsistenzen hingewiesen. Überdies richtete das kantonale Gericht sein Augenmerk zu Recht auf die Anfang 2015 erfolgte Anmeldung zum zusätzlichen Bezug einer Hilflosenentschädigung. Darin gab der Beschwerdeführer an, er sähe sich ausserstande, sich selber zu waschen, sich nach Verrichten der Notdurft selber zu reinigen und die Kleider zu ordnen, die Nahrung, die ans Bett gebracht werden müsse, selber zu verkleinern oder sich alleine im Freien zu bewegen oder gesellschaftliche Kontakte zu pflegen. Davon rückte er indessen implizite postwendend ab, als ihm mitgeteilt wurde, der Anspruch auf Hilflosenentschädigung müsse bei ihm zu Hause abgeklärt werden. Mit Blick auf diese Umstände sowie die einschlägige Rechtsprechung ist der Vorinstanz ohne weiteres darin zuzustimmen, dass konkrete Anhaltspunkte für ernsthafte Zweifel am rechtmässigen Bezug der Invalidenrente gegeben waren (<ref-ruling> E. 5.1.2 S. 386; <ref-ruling> E. 5.4.2.1 S. 332; SVR 2017 IV Nr. 89 S. 277, 8C_69/2017 E. 5.1; Urteil 9C_294/2018 vom 28. November 2018 E. 3.3). Anderweitige Einwendungen gegen die Verwertung des Observationsergebnisses und der entsprechenden Bezugnahme im Gutachten Dr. D._ werden zu Recht nicht erhoben.
5.2. Dem Beschwerdeführer ist insofern beizupflichten, als Dr. D._ keine gesundheitliche Verbesserung bescheinigte. Die Vorinstanz hielt dazu fest, die Ausführungen des letztbegutachtenden Psychiaters liessen den Schluss zu, dass er eine Verbesserung des psychischen Gesundheitszustands für weniger wahrscheinlich hält als eine bereits ursprüngliche Fehlbeurteilung anlässlich der Rentenzusprache im Jahre 2006. Von dieser gutachterlichen Einschätzung wich das kantonale Gericht indessen ab (vgl. hiezu <ref-ruling> E. 6 in fine S. 387 f.). Auf der Ebene der psychopathologischen Befunderhebung der drei Gutachter konstatierte es nämlich eine relevante Veränderung. Während sich den beiden früheren Experten das im Wesentlichen gleiche Bild einer verunsicherten, affektiv dumpfen, nur sehr mässig spürbaren, immer ernst und sachlich bleibenden Person mit dissoziativen Auffälligkeiten präsentiert habe, sei Dr. D._ einem klar, lebhaft, bestimmt und selbstbewusst wirkenden Exploranden mit lebhafter Gestik und Mimik gegenübergesessen, der auch nach dreieinhalbstündiger Begutachtung noch sehr vital gewirkt und rasch, prompt und stringent geantwortet habe. Werde zugunsten des Beschwerdeführers davon ausgegangen, dass der Versuch der Vortäuschung eines schweren psychischen Leidenszustands nicht schon zu einem früheren Zeitpunkt vorgelegen habe, sei eine (nach dem 20. März 2013 eingetretene) gesundheitliche Verbesserung evident und damit ein Revisionsgrund im Sinne von <ref-law> ausgewiesen.
Vorstehende Beweiswürdigung ist für das Bundesgericht verbindlich (vgl. E. 2 hievor), zumal sich der Beschwerdeführer damit inhaltlich in keiner Weise auseinandersetzt. Es reicht jedenfalls nicht, dem kantonalen Gericht eine offensichtlich falsche Würdigung von Beweisen oder unhaltbare Schlussfolgerungen vorzuwerfen und gleichzeitig in der Beschwerde kein Wort über die entscheidwesentlichen vorinstanzlichen Erwägungen zu verlieren. Diese Überlegungen gelten auch für die Frage nach dem Zeitpunkt, auf den die Invalidenrente rückwirkend aufzuheben ist. Soweit der Beschwerdeführer eine Meldepflichtverletzung bestreitet, ist ihm die Rechtsprechung entgegenzuhalten, wonach eine Meldepflicht und deren Verletzung zu bejahen sind, wenn die Observation - wie hier (angefochtener Entscheid S. 27) - ausserhäusliche Aktivitäten zutage fördert, die mit der bisher geltend gemachten Leistungseinschränkung schlichtweg unvereinbar sind (Urteile 9C_561/2018 vom 8. Februar 2019 E. 5.4.3, 9C_582/2015 vom 9. März 2016 E. 3.3 und 9C_338/2015 vom 12. November 2015 E. 4.2). Andere Beanstandungen werden nicht vorgebracht, weshalb es mit der vorinstanzlich auf den 1. April 2016 festgesetzten rückwirkenden Rentenaufhebung und der entsprechenden Rückerstattungspflicht sein Bewenden haben muss.
6.
Die im Sinne von <ref-law> offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
7.
Das Gesuch um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren ist wegen Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG). Die Gerichtskosten sind demnach dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Juli 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Attinger