Sachverhalt: A. Die IV-Stelle Luzern sprach dem 1966 geborenen A._ bei einem Invaliditätsgrad von 100 % rückwirkend ab 1. April 2002 eine ganze Rente der Invalidenversicherung zu (Verfügung vom 19. Januar 2006). Grundlage dieses Entscheids bildete eine psychiatrische Expertise von Dr. B._, vom 20. März 2005. Gestützt auf ein Gutachten des Psychiaters Dr. C._, vom 11. September 2012 hob die IV-Stelle die Rente mit Verfügung vom 20. März 2013 auf Ende April 2013 hin auf. Das Kantonsgericht Luzern hiess die hiegegen eingereichte Beschwerde mit Entscheid vom 28. August 2014 gut und hob die angefochtene Verfügung auf. Da kein Revisionsgrund vorliege, bestehe weiterhin Anspruch auf die ganze Invalidenrente. Im Januar 2015 ging eine Anmeldung zum Bezug einer Hilflosenentschädigung ein. Nach der Ankündigung der Verwaltung, wonach der Anspruch beim Versicherten zu Hause abgeklärt werden müsse, liess dieser das Gesuch um Hilflosenentschädigung zurückziehen. Die IV-Stelle gab daraufhin eine Überwachung des Versicherten in Auftrag, welche an insgesamt fünf Tagen zwischen dem 30. März und dem 18. Mai 2016 durchgeführt wurde. Der Ermittlungsbericht wurde am 2. Juni 2016 erstattet. Am 12. Juli 2017 verfasste Dr. D._, ein psychiatrisches Gutachten (welches auch Bezug nahm auf eine neuropsychologische Zusatzuntersuchung vom 22. März 2017). Gestützt darauf sowie auf den Observationsbericht hob die IV-Stelle die ganze Invalidenrente rückwirkend ab Beginn (1. April 2002) auf und forderte die im Zeitraum von Januar 2011 bis November 2017 bezogenen Rentenbetreffnisse (einschliesslich Kinderrenten) im Gesamtbetrag von Fr. 251'400.- von A._ zurück (Verfügungen vom 4. Dezember 2017 und 31. Januar 2018). B. Das Kantonsgericht Luzern hiess die dagegen eingereichten Beschwerden mit Entscheid vom 24. September 2019 in dem Sinne teilweise gut, als es die angefochtenen Verfügungen abänderte bzw. aufhob, die rückwirkende Renteneinstellung auf den 1. April 2016 festlegte und die Rückerstattung der seither ausgerichteten Rentenbetreffnisse anordnete. Die IV-Stelle habe den entsprechenden Rückforderungsbetrag zu ermitteln und alsdann darüber neu zu verfügen. Im Übrigen werde die Beschwerde abgewiesen. C. A._ lässt Beschwerde ans Bundesgericht führen mit dem Antrag auf Weiterausrichtung der ganzen Invalidenrente über Ende März 2016 hinaus; eventuell sei die Rente auf Ende Januar 2018 hin aufzuheben. Überdies lässt er um unentgeltliche Rechtspflege (im Sinne unentgeltlicher Prozessführung und Verbeiständung) ersuchen.