Sachverhalt:
A.
Die IV-Stelle des Kantons Luzern sprach dem 1969 geborenen A._ mit Verfügung vom 18. April 2008 (mit Berechnungs- und Auszahlverfügungen) rückwirkend ab März 2005 eine Dreiviertelsrente der Invalidenversicherung zu. Das Verwaltungsgericht des Kantons Luzern (seit 1. Juni 2013: Kantonsgericht Luzern) hob die Verfügung vom 18. April 2008 mit Beschwerdeentscheid vom 17. November 2009 auf und wies die Sache zur weiteren Abklärung und neuen Verfügung an die Verwaltung zurück. Nach Einholung eines medizinischen Gutachtens vom 6. September 2010 (mit Ergänzung vom 15. Februar 2011) sprach die IV-Stelle dem Versicherten mit Verfügungen vom 3. Oktober 2012 ab November 2003 eine ganze Invalidenrente und von September 2004 bis November 2011 eine Viertelsrente zu. Zudem verlange sie von ihm die Rückerstattung von demnach für den Zeitraum März 2005 bis November 2011 zu viel entrichteten Rentenbetreffnissen im Gesamtbetrag von Fr. 33'719.-, wovon ein Teil in Verrechnung gebracht werde. Mit Beschwerdeentscheid vom 20. Dezember 2013 hob das Kantonsgericht Luzern diese Verfügungen auf und sprach dem Versicherten von April bis Oktober 2002 eine ganze Rente, von November 2002 bis Oktober 2003 eine Viertelsrente, von November 2003 bis August 2004 eine ganze Rente und ab September 2004 eine halbe Rente zu. In den Entscheidserwägungen erklärte es überdies die verfügte Rückforderung für verwirkt. Die IV-Stelle berechnete hierauf die Rentenbeträge gestützt auf die zugesprochenen Leistungen. Dabei verrechnete sie bereits ausbezahlte mit noch zu erbringenden Rentenbetreffnissen (Verfügungen vom 10. September 2014).
B.
A._ erhob hiegegen Beschwerde. Das Kantonsgericht Luzern vereinigte das Verfahren mit zwei Beschwerdeverfahren betreffend Ergänzungsleistungen und gewährte dem Versicherten die unentgeltliche Rechtspflege. Mit Entscheid vom 20. Juli 2015 hob es die Verfügungen vom 10. September 2014 auf und wies die Sache an die IV-Stelle zurück, damit diese die Rentenbeträge unter Berücksichtigung der im Entscheid vom 20. Dezember 2013 festgestellten Verwirkung des Rückforderungsanspruchs neu berechne.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, in Aufhebung des vorinstanzlichen Entscheides seien die Verfügungen vom 10. September 2014 zu bestätigen; der Beschwerde sei die aufschiebende Wirkung zuzusprechen.
A._ beantragt, auf die Beschwerde sei nicht einzutreten; eventuell sei sie abzuweisen; zudem sei ihm die unentgeltliche Rechtspflege für das letztinstanzliche Verfahren zu gewähren. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Die Ausgleichskasse Luzern schliesst sich der Beschwerde der IV-Stelle an.
D.
Mit Verfügung vom 23. November 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280; vgl. auch BGE 141 V 236 E. 1 S. 236; 140 V 136 E. 1.1 S. 137 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
Streitig ist, ob die Beschwerdeführerin in den Verfügungen vom 10. September 2014 ihre Rückforderung zu viel erbrachter IV-Rentenbetreffnisse mit noch zu erbringenden Rentenleistungen verrechnen durfte.
Das kantonale Gericht hat dies im angefochtenen Entscheid mit der Begründung verneint, es habe im Entscheid vom 20. Dezember 2013 festgehalten, die mit (aufgehobener) Verfügung vom 3. Oktober 2012 angeordnete Rückforderung von übermässig ausbezahlten Rentenleistungen im Zeitraum vom März 2005 bis November 2011 sei nach Art. 25 Abs. 2 ATSG verwirkt. Dieser Entscheid sei in Rechtskraft erwachsen. Die Feststellung der Verwirkung gelte daher weiterhin und stehe einer Verrechnung mit noch zu erbringenden Rentenleistungen entgegen.
Die Beschwerde führende IV-Stelle rügt, diese Beurteilung verstosse gegen die Rechtsprechung zum Eintritt der materiellen Rechtskraft von Entscheiden sowie zur Verwirkung des Rückerstattungsanspruchs und verletze Art. 25 Abs. 2 ATSG. Der Entscheid vom 20. Dezember 2013 habe die Grundlage für die Rentenberechnungen gebildet. Der Begründungsaspekt der Verwirkung habe nicht angefochten werden können, zumal er nicht Bestandteil des Dispositivs gebildet habe. Er sei somit für die IV-Stelle nicht verbindlich. Der Streitgegenstand sei mit dem vorinstanzlichen Entscheid vom 20. Juli 2015 beurteilt worden und könne einer Überprüfung durch das Bundesgericht zugeführt werden. Entgegen der vorinstanzlichen Beurteilung sei der Rückforderungsanspruch nicht verwirkt.
3.
3.1. Das Dispositiv des kantonalen Entscheides vom 20. Dezember 2013 lautet, soweit hier von Belang: "Die Verwaltungsgerichtsbeschwerden werden teilweise gutgeheissen und die Verfügungen vom 3. Oktober 2012 aufgehoben. Dem Beschwerdeführer wird von April 2002 bis und mit Oktober 2002 eine ganze Rente, von November 2002 bis und mit Oktober 2003 eine Viertelsrente, von November 2003 bis und mit August 2004 eine ganze Rente und ab September 2004 eine halbe Rente zugesprochen". In den Entscheidserwägungen wird sodann festgestellt, die ebenfalls von der Verwaltung verfügte Rückforderung sei verwirkt.
3.2. Der Entscheid vom 20. Dezember 2013 ist in formelle Rechtskraft erwachsen. Streitig und zu prüfen ist, ob er hinsichtlich der Verwirkungsfeststellung auch materiell rechtskräftig ist.
3.2.1. Materielle Rechtskraft bedeutet Massgeblichkeit eines formell rechtskräftigen Urteils in jedem späteren Verfahren unter denselben Parteien (BGE 139 III 126 E. 3.1 S. 128 mit Hinweisen; vgl. auch zur Publikation in der Amtlichen Sammlung bestimmtes Urteil 4A_571/ 2015 vom 29. Februar 2016 E. 2). Nach der Rechtsprechung erwächst der Entscheid nur in jener Form in Rechtskraft, wie er im Urteilsdispositiv zum Ausdruck kommt, doch ergibt sich dessen Tragweite vielfach erst aus einem Beizug der Urteilserwägungen, namentlich im Falle einer Klageabweisung. Nicht zur Urteilsformel gehören die tatsächlichen Feststellungen und die rechtlichen Erwägungen des Entscheids. Sie haben in einer anderen Streitsache keine bindende Wirkung. Gleiches gilt für Feststellungen zu präjudiziellen Rechtsverhältnissen oder sonstigen Vorfragen sowie für weitere Rechtsfolgen, die sich aus dem Inhalt des Urteils mit logischer Notwendigkeit ergeben. Sie sind bloss Glieder des Subsumtionsschlusses, die für sich allein nicht in materielle Rechtskraft erwachsen (BGE 121 III 474 E. 4a S. 478; vgl. auch BGE 141 III 257 E. 3.2 S. 259; 139 III 126 E. 3.1 S. 128; 123 III 16 E. 2a S. 18 f).
3.2.2. Die Beschwerdeführerin verweist sodann auf die - noch unter der Herrschaft des Ende 2006 aufgehobenen Bundesgesetzes vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (OG) ergangene - Rechtsprechung gemäss BGE 113 V 159. Danach ist die Anfechtung der Motive eines Rückweisungsentscheides, auf die im Dispositiv verwiesen wird, zulässig (vgl. auch BGE 126 V 5 E. 2c S. 10; 125 V 413 E. 2c S. 416; je mit Hinweisen). An der Verbindlichkeit des auf die Erwägungen verweisenden kantonalen Rückweisungsentscheides für die Verwaltung im Falle der Nichtanfechtung hat sich mit dem Inkrafttreten des BGG am 1. Januar 2007 nichts geändert. Die Verbindlichkeit des auf seine Motive verweisenden Rückweisungsentscheides für die Verwaltung bedeutet umgekehrt auch unter der Herrschaft des BGG, dass die Erwägungen eines Rückweisungsentscheides, dessen Dispositiv nicht auf die Motive verweist, für die Verwaltung nicht verbindlich sind (Urteil 9C_703/2009 vom 30. September 2009 E. 2.2 mit Hinweisen; vgl. auch Urteil 8C_272/2011 vom 11. November 2011 E. 1.3, nicht publ. in: BGE 137 I 327, aber in: SVR 2012 IV Nr. 26 S. 107).
3.2.3. Im vorliegenden Fall lautet das fragliche Dispositiv auf Zusprechung einer abgestuften Invalidenrente. Die Feststellung, die Rückforderung sei verwirkt, ist weder durch Verweis auf die Erwägungen noch durch ausdrückliche Erwähnung (wie etwa in den Urteilen des Eidg. Versicherungsgerichts [heute: sozialrechtliche Abteilungen des Bundesgerichts] I 62/02 vom 2. April 2004, auszugsweise publ. in: SVR 2004 IV Nr. 41 S. 131, und I 678/00 vom 30. Mai 2001, auszugsweise publ. in: SVR 2002 IV Nr. 2 S. 5) Teil des Dispositivs. Es kann überdies nicht gesagt werden, dessen Tragweite ergebe sich nur unter Einbezug der Verwirkungsfeststellung. Letztere ist daher nicht in materielle Rechtskraft erwachsen. Damit steht der bundesgerichtlichen Überprüfung der Verwirkungsfrage nichts entgegen. Auf die Beschwerde ist einzutreten, da auch die übrigen Voraussetzungen hiefür erfüllt sind.
4.
Nach Art. 25 Abs. 2 ATSG, soweit hier von Interesse, erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung.
Bei diesen Fristen handelt es sich zum Verwirkungsfristen (140 V 521 E. 2.1 S. 525 mit Hinweisen). Für ihre Wahrung ist der Erlass der Rückerstattungsverfügung (und deren Zustellung an die rückerstattungspflichtige Person) massgebend (BGE 138 V 74 E. 5.2 in fine S. 80 mit Hinweis; Urteil 8C_642/2014 vom 23. März 2015 E. 3 Ingress in fine).
4.1. Die Vorinstanz hat im Entscheid vom 20. Dezember 2013 erkannt, da frühestens ab 18. April 2008 Leistungen ausgerichtet worden seien, sei die absolute fünfjährige Verwirkungsfrist bei Erlass der Verfügungen vom 3. Oktober 2012 noch nicht abgelaufen gewesen. Das ist gemäss der Rechtsprechung, wonach für den Beginn der absoluten fünfjährigen Verwirkungsfrist der tatsächliche Bezug der einzelnen Leistung massgeblich ist (SVR 2010 ALV Nr. 4 S. 9, 8C_616/2009 E. 3.2; Urteil 8C_387/2008 vom 30. Januar 2009 E. 4.2; vgl. auch, zur Rechtslage vor Inkrafttreten des ATSG am 1. Januar 2003: BGE 127 V 484 E. 3b/cc S. 489 mit Hinweisen), richtig und auch nicht umstritten.
4.2. Das kantonale Gericht hat im Weiteren erwogen, die IV-Stelle habe mit Erhalt des medizinischen Gutachtens vom 6. September 2010 und dessen Ergänzung vom 15. Februar 2011 umfassende Kenntnis des ihren Verfügungen zugrunde liegenden Sachverhalts gehabt. Die Gutachtensergänzung sei am 25. Februar 2011 bei ihr eingetroffen. Die Rückerstattung sei jedoch erst am 3. Oktober 2012, mithin nach Ablauf der relativen einjährigen Frist gemäss Art. 25 Abs. 2 ATSG verfügt worden. Der Rückforderungsanspruch sei daher verwirkt.
Die IV-Stelle macht geltend, sie habe erst mit Rechtskraft des vorinstanzlichen Entscheids vom 20. Dezember 2013 zuverlässige Kenntnis von der Unrechtmässigkeit des Bezugs der Dreiviertelsrente erhalten. Damit sei die einjährige Verwirkungsfrist im Zeitpunkt der Verfügungen vom 10. September 2014 nicht abgelaufen gewesen und der Rückforderungsanspruch nicht erloschen.
4.2.1. Unter der gemäss Art. 25 Abs. 2 ATSG für den Beginn der relativen einjährigen Wirkungsfrist massgeblichen Wendung "nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat", ist der Zeitpunkt zu verstehen, in dem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen, oder mit andern Worten, in welchem sich der Versicherungsträger hätte Rechenschaft geben müssen über Grundsatz, Ausmass und Adressat des Rückforderungsanspruchs (BGE 140 V 521 E. 2.1 S. 525 mit Hinweisen). Die Voraussetzungen für eine Rückforderung müssen demnach gegeben sein (erwähntes Urteil 8C_642/2014 E. 3.2 mit Hinweisen). Der Rückforderungsanspruch muss als solcher und betragsmässig feststehen (BGE 139 V 570 E. 3.1 S. 572 mit Hinweis; erwähntes Urteil 8C_642/2014 E. 3.2). Das setzt u.a. voraus, dass über die Unrechtmässigkeit des Leistungsbezugs rechtmässig verfügt resp. - im Beschwerdefall - gerichtlich befunden worden ist. Das Bundesgericht hat denn auch wiederholt entschieden, es sei nicht bundesrechtswidrig, zuverlässige Kenntnis von der Rechtswidrigkeit des Leistungsbezugs erst nach Eintritt der Rechtskraft der Rentenaufhebung anzunehmen (SVR 2015 IV Nr. 4 S. 8, 8C_316/2014 E. 2.2; erwähntes Urteil 8C_642/2014 E. 3.2 mit weiteren Hinweisen).
4.2.2. Das kantonale Gericht hat mit Entscheid vom 20. Dezember 2013 die Rentenverfügungen vom 3. Oktober 2012 aufgehoben und die Rentenansprüche von Beginn weg neu festgelegt. Es kann daher nicht gesagt werden, die IV-Stelle habe bereits mit Erhalt der im Rückweisungsverfahren eingeholten medizinischen Akten im Februar 2011 Kenntnis von der Rechtswidrigkeit eines Teils des bereits erfolgten Leistungsbezugs gehabt. Die einjährige relative Frist begann vielmehr erst mit Eintritt der Rechtskraft des Rentenentscheides der Vorinstanz vom 20. Dezember 2013 zu laufen und war weder im Zeitpunkt der Rentenverfügungen vom 3. Oktober 2012 noch bei Erlass der IV-Rentenverfügungen vom 10. September 2014 abgelaufen. Das kantonale Gericht hat daher den Rückforderungsanspruch zu Unrecht als verwirkt beurteilt. Dies führt zur Gutheissung der Beschwerde.
5.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdegegner zu tragen (Art. 66 Abs. 1 BGG). Dessen Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Kantonsgerichts Luzern, 3. Abteilung, vom 20. Juli 2015 wird aufgehoben und die Verfügungen der IV-Stelle Luzern vom 10. September 2014 werden bestätigt.
2.
Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dr. Stephan Zimmerli wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdegegners wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1000.- ausgerichtet.
5.
Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Kantonsgericht Luzern, 3. Abteilung, zurückgewiesen.
6.
Dieses Urteil wird den Parteien, der Ausgleichskasse Luzern, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. März 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz