Sachverhalt:
A.
Die IV-Stelle Basel-Stadt sprach dem 1950 geborenen A._ mit Verfügung vom 31. Juli 2007 eine ganze Invalidenrente ab 1. März 2005 zu (Invaliditätsgrad 81 %). Mit Mitteilungen vom 22. August 2008 und 7. Mai 2012 bestätigte sie einen unveränderten Anspruch. Aufgrund eines Hinweises des Amtes für Wirtschaft und Arbeit auf eine Erwerbstätigkeit des Versicherten sistierte die IV-Stelle die Rente am 28. Oktober 2013. Nach Abklärungen - insbesondere Observation des Versicherten (Bericht vom 12. Oktober 2012) und Einholung des Gutachtens der Academy of Swiss Insurance Medicine (asim) vom 19. März 2015 - und Durchführung des Vorbescheidverfahrens ermittelte die IV-Stelle einen seit Herbst 2008 verbesserten Gesundheitszustand und einen Invaliditätsgrad von nunmehr 39 %. Mit Verfügung vom 3. Oktober 2016 hob sie die Rente rückwirkend auf den 29. Oktober 2010 auf. Mit Verfügung vom 5. Oktober 2016 verpflichtete sie A._, unrechtmässig bezogene Renten im Betrag von Fr. 45'632.- zurückzuerstatten.
B.
Die gegen die Verfügungen vom 3. und 5. Oktober 2016 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 16. Mai 2017 insofern ab, als es A._ zur Rückerstattung von Fr. 43'144.- (Rentenbetreffnisse vom 1. Januar 2011 bis zum 31. Oktober 2013) verpflichtete.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 16. Mai 2017 sowie die Verfügungen vom 3. und 5. Oktober 2016 seien aufzuheben; eventuell sei die Sache an die IV-Stelle oder das kantonale Gericht zurückzuweisen, damit die Invalidenrente neu festgelegt werde. Ferner ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung des Rechtsmittels. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (BGE 132 I 42 E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. BGE 129 I 8 E. 2.1 S. 9; Urteil 9C_101/2015 vom 30. November 2015 E. 1.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_391/2015 vom 28. Januar 2016 E. 1; 9C_753/2015 vom 20. April 2016 E. 1).
2.
2.1. Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG [SR 830.1]). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes revidierbar. Weiter sind, auch bei an sich gleich gebliebenem Gesundheitszustand, veränderte Auswirkungen auf den Erwerbs- oder Aufgabenbereich von Bedeutung (BGE 141 V 9 E. 2.3 S. 10 f. mit Hinweisen). Liegt in diesem Sinn ein Rückkommenstitel vor, gilt es grundsätzlich, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen. Dabei ist auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad im Zeitpunkt der Verfügung über die Herabsetzung oder Aufhebung einer Rente zu ermitteln (SVR 2017 IV Nr. 4 S. 7, 9C_770/2015 E. 2.2).
2.2. Die Herabsetzung oder Aufhebung einer Rente erfolgt rückwirkend ab Eintritt der für den Anspruch erheblichen Änderung, wenn der Bezüger die Leistung zu Unrecht erwirkt hat oder der ihm nach Artikel 77 zumutbaren Meldepflicht nicht nachgekommen ist (Art. 88bis Abs. 2 lit. b IVV, sowohl in der bis Ende 2014 als auch in der seither geltenden Fassung).
Jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen ist von den Bezügerinnen und Bezügern, ihren Angehörigen oder Dritten, denen die Leistung zukommt, dem Versicherungsträger oder dem jeweils zuständigen Durchführungsorgan zu melden (Art. 31 Abs. 1 ATSG). Der Berechtigte oder sein gesetzlicher Vertreter sowie Behörden oder Dritte, denen die Leistung zukommt, haben jede für den Leistungsanspruch wesentliche Änderung, insbesondere eine solche des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit sowie der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse des Versicherten unverzüglich der IV-Stelle anzuzeigen (Art. 77 IVV).
2.3. Unrechtmässig bezogene Leistungen sind zurückzuerstatten (Art. 25 Abs. 1 Satz 1 ATSG). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (Art. 25 Abs. 2 ATSG).
Im Zusammenhang mit der Rückforderung infolge einer Rentenaufhebung betrachtet das Bundesgericht in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment (Urteile 8C_85/2016 26. August 2016 E. 7.4; 8C_642/2014 vom 23. März 2015 E. 3.2; 9C_399/2013 vom 30. November 2013 E. 3.1.1-3.1.3 und 9C_68/2011 vom 16. Mai 2011 E. 4.2). Der Erlass des Vorbescheids gilt als fristwahrend (BGE 133 V 579 E. 4.3.1 S. 584; SVR 2011 IV Nr. 52 S. 155, 8C_699/2010 E. 2).
3.
3.1. Die Vorinstanz hat festgestellt, der Beschwerdeführer sei seit 2006 resp. 2008 regelmässig wöchentlich oder zweiwöchentlich als LKW-Chauffeur nach Süditalien gefahren; dabei habe er Waren mitgebracht, die er entweder in seinem Lager in U._ verkauft oder im Auftrag von Privatpersonen transportiert habe. Bei der Berentung im Jahr 2007 hätten vor allem die - auf einer Erkrankung der Wirbelsäule beruhenden - sensomotorischen radikulären Ausfälle im rechten Fuss zur Arbeitsunfähigkeit als Buschauffeur geführt. Anlässlich der asim-Begutachtung im Jahr 2015 hätten sich keine funktionell behindernden neurologischen Ausfälle mehr objektivieren lassen. Unter Berücksichtigung der internistisch begründeten Einschränkungen (Diabetes) sei der Versicherte nunmehr in der Lage, eine angepasste Tätigkeit ganztägig auszuüben. Abweichend vom asim-Gutachten und zu Gunsten des Beschwerdeführers hat das kantonale Gericht eine Einschränkung der Arbeitsfähigkeit von 10 % für vermehrte Pausen zur Kontrolle und Regulierung des Blutzuckers anerkannt. Aufgrund der tatsächlich ausgeübten Tätigkeit hat es angenommen, dass diese Arbeitsfähigkeit spätestens ab November 2010 bestanden habe.
Weiter hat die Vorinstanz erwogen, der Beschwerdeführer habe es nicht nur unterlassen, den verbesserten Gesundheitszustand seines Rückens zu melden, sondern auch anlässlich der Revisionen 2008 und 2012 ausdrücklich angegeben, nicht erwerbstätig zu sein. Darin liege eine schuldhafte Verletzung der Meldepflicht, die ursächlich für die zu Unrecht erfolgte Ausrichtung der Rente (bis zu deren Sistierung Ende Oktober 2013) gewesen sei. Folglich hat sie die Invaliditätsbemessung der IV-Stelle und die rückwirkend per 29. Oktober 2010 verfügte Rentenaufhebung bestätigt.
Schliesslich hat das kantonale Gericht für die Rückforderung der Leistungen den Vorbescheid vom 28. Dezember 2015 als massgeblich erachtet und die Einhaltung der relativen einjährigen Verwirkungsfrist bejaht. Sodann hat es unter Berücksichtigung einer absoluten Verjährungsfrist von fünf Jahren die Rückforderung der Rentenbetreffnisse vom 1. Januar 2011 bis zum 31. Oktober 2013 für zulässig gehalten. Die Frage nach einer allenfalls längeren Verjährungsfrist aufgrund einer strafbaren Handlung hat es offengelassen.
3.2. Der Beschwerdeführer bestreitet eine Verbesserung des Gesundheitszustandes und damit das Vorliegen eines Revisionsgrundes. Jedenfalls sei eine allfällige Verbesserung frühestens mit dem asim-Gutachten, dessen Beweiskraft er in Abrede stellt, ausgewiesen. Die anerkannte Einschränkung der Arbeitsfähigkeit von lediglich 10 % hält er für willkürlich resp. ungenügend begründet. Weiter verneint er eine Meldepflichtverletzung. Sodann rügt er eine fehlende Verwertbarkeit der allenfalls hinzugewonnen Restarbeitsfähigkeit, und zwar sowohl im Zeitpunkt der Rentenaufhebung (29. Oktober 2010) als auch bei Erstattung des asim-Gutachtens (19. März 2015). Zudem verlangt er bei der Invaliditätsbemessung einen Abzug vom Tabellenlohn. Schliesslich hält er die Rückforderung für verwirkt.
4.
4.1.
4.1.1. Die ursprüngliche Rentenzusprache beruhte auf dem Gutachten der medizinischen Fachstelle B._ vom 27. Oktober 2006. Es trifft zu, dass sowohl darin wie auch im asim-Gutachten für die angestammte Tätigkeit als berufsmässiger Chauffeur eine vollständige Arbeitsunfähigkeit attestiert wurde. Indessen wurde im Gutachten der Fachstelle B._ aufgrund der "lumboradikulären Schmerzen" auch in angepassten Tätigkeiten eine (70-prozentige) Einschränkung der Arbeitsfähigkeit attestiert. Die vorinstanzliche Feststellung betreffend die Verbesserung der neurologischen Aspekte ist nicht offensichtlich unrichtig (E. 1) : Sie steht im Einklang mit der Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 23. September 2015, die u.a. Ausführungen zu den in den beiden Gutachten festgehaltenen neurologischen Befunden enthält. Ob sich die Verbesserung auf die Tätigkeit als Chauffeur auswirkt, ist nicht entscheidend; es genügt, dass sich dadurch die Arbeitsfähigkeit in leidensangepassten Arbeiten erheblich erhöht, was in concreto zutrifft (vgl. E. 4.3).
4.1.2. Hinzu kommt eine erhebliche Veränderung der tatsächlichen erwerblichen Verhältnisse: Nach Angaben des Beschwerdeführers resp. laut Eintrag im Handelsregister gründete er die C._ AG, die insbesondere die Organisation und Durchführung von Reisen aller Art sowie den Import und Export von Waren und Lebensmitteln aller Art bezweckte. Vom Mai 1994 bis zur Löschung der Gesellschaft (infolge eines mangels Aktiven eingestellten Konkursverfahrens) 2012 - ausgenommen die Zeit vom 15. Februar 2005 bis zum 9. August 2006 - war der Versicherte Präsident des Verwaltungsrates. Anlässlich der Begutachtung durch die Fachstelle B._ gab er an, bis im März 2004 für die C._ AG gearbeitet zu haben. Mit dem Arbeitgeberbericht vom 1. August 2008 bestätigte die Gesellschaft, dass sein letzter Arbeitstag als Chauffeur im April 2004 gewesen und das Arbeitsverhältnis auf den 31. März 2006 aufgelöst worden sei. Die vorinstanzliche Feststellung betreffend die regelmässigen Fahrten und Warentransporte von resp. nach Süditalien ist ebenfalls verbindlich (E. 1) : Sie beruht insbesondere auf den eigenen Angaben des Versicherten, welche dieser anlässlich der Einvernahme vom 29. Oktober 2010 durch die Eidg. Zollverwaltung machte. Zudem ist ein Strafmandat des Strassenverkehrsamtes des Kantons Graubünden vom 12. März 2009 aktenkundig, mit dem er wegen Verstössen gegen Vorschriften der Verordnung vom 19. Juni 1995 über die Arbeits- und Ruhezeit der berufsmässigen Motorfahrzeugführer und -führerinnen (Chauffeurverordnung, ARV 1; SR 822.221) gebüsst wurde. Vor diesem Hintergrund erscheinen die wenig substanziierten Ausführungen des Beschwerdeführers, wonach die regelmässigen Fahrten nach Italien von seinem Sohn oder einem anderen Chauffeur durchgeführt worden seien, und er selber immer nur kurze Strecken in der Schweiz vor allem vom und zum Zoll gefahren sei sowie im Rahmen seiner Restarbeitsfähigkeit von 30 % im Obst- und Gemüsehandel mitgeholfen habe, als reine Schutzbehauptungen.
Die Wiederaufnahme und regelmässige Ausübung der früheren - auch in der Verfügung vom 31. Juli 2007 ausdrücklich als unzumutbar erachteten - Tätigkeit stellt eine erhebliche Veränderung der erwerblichen Verhältnisse dar, die zudem der Meldepflicht gemäss Art. 77 IVV (E. 2.2) unterliegt, und zwar unabhängig vom Bestehen eines formellen Arbeitsvertrages und vom tatsächlich ausgeübten Pensum. Auch damit ist ein Revisionsgrund im Sinne von Art. 17 ATSG (E. 2.1) ausgewiesen.
4.2. Was der Beschwerdeführer gegen die Beweiskraft (vgl. BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a, 3b/bb und cc S. 352 f.) des asim-Gutachtens vorbringt, hält nicht stand: Auch wenn durch die IV-Stelle veranlasste Überwachungen einer genügenden gesetzlichen Grundlage entbehren, sind deren Ergebnisse im Einzelfall nicht von vornherein unverwertbar (Urteil 9C_806/2016 vom 14. Juli 2017 E. 4 und 5, zur Publikation vorgesehen). Der Beschwerdeführer macht nicht geltend (vgl. Art. 42 Abs. 1 und 2 BGG), und es ist auch nicht ersichtlich, dass die privaten Interessen gegenüber dem öffentlichen Interesse an der Verwertbarkeit der Observationsergebnisse überwiegen sollen. Demnach schadet nicht, dass die asim-Experten von diesen Kenntnis hatten (vgl. Urteil 9C_468/2017 vom 11. September 2017 E. 4.1). Entgegen der Auffassung des Versicherten ist es angesichts der Befunde nicht "erstaunlich", dass im asim-Gutachten ein Lumbovertebralsyndrom als Diagnose ohne Einfluss auf die Arbeitsfähigkeit aufgeführt wurde, zumal im Gutachten 2006 der Fachstelle B._ aufgrund der damals festgestellten Befunde noch ein lumboradikuläres Reiz- und sensomotorisches Ausfallsyndrom diagnostiziert worden war (vgl. auch E. 4.1.1). Die asim-Gutachter legten nachvollziehbar dar, dass dem Versicherten aufgrund des diagnostizierten insulinpflichtigen Diabetes mellitus - mit dem damit verbundenen Risiko einer Über- oder Unterzuckerung (vgl. RAD-Stellungnahme vom 23. September 2015) - Tätigkeiten an gefährlichen Maschinen oder in gefährlicher Höhe ebenso wie das berufsmässige Führen eines Motorfahrzeugs nicht mehr, hingegen alle anderen (leichten bis mittelschweren) leidensangepassten Arbeiten zumutbar sind. Dass der Beschwerdeführer dennoch als Chauffeur arbeitete, ist ihm als risikoreiches Verhalten anzurechnen und stellt keinen den Experten oder der Vorinstanz vorwerfbaren Widerspruch dar.
4.3.
4.3.1. Für die Anerkennung einer Einschränkung der Arbeitsfähigkeit im Umfang von 10 % hat das kantonale Gericht offensichtlich auf die Stellungnahme des RAD-Arztes Dr. med. D._, Facharzt für Innere Medizin, vom 23. September 2015 und damit auf eine fachärztliche Einschätzung abgestellt. Inwiefern dies willkürlich oder ungenügend begründet sein soll, ist nicht nachvollziehbar.
4.3.2. Das asim-Gutachten enthält in Bezug auf die Arbeitsfähigkeit in angepasster Tätigkeit keine retrospektive Einschätzung. Dass eine solche nicht möglich gewesen sein soll, leuchtet indessen nicht ein; die Experten befassten sich denn auch nicht näher mit den Akten der Eidg. Zollverwaltung oder den Observationsergebnissen. Diesbezüglich hat die Vorinstanz - im Einklang mit dem RAD-Arzt - auf die tatsächlich ausgeübte Tätigkeit abgestellt und daraus geschlossen, dass die neurologischen Einschränkungen (mit sensomotorischen radikulären Ausfällen im rechten Fuss) spätestens ab November 2010 remittiert gewesen seien und eine entsprechend verbesserte Arbeitsfähigkeit bestanden habe (E. 3.1). Diese Feststellung ist nicht offensichtlich unrichtig und beruht auch nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich bleibt (E. 1).
4.4. Die Wiederaufnahme und regelmässige Ausübung der früheren Tätigkeit unterliegt der Meldepflicht (E. 4.1.2). Die vorinstanzliche Feststellung betreffend die Angaben des Beschwerdeführers anlässlich der Revisionen 2008 und 2012 (E. 3.1) ist verbindlich (E. 1). Dass eine anderweitige Meldung der erneuten Erwerbstätigkeit aktenkundig sein soll, wird nicht geltend gemacht und ist auch nicht ersichtlich. Somit hat das kantonale Gericht dem Beschwerdeführer zu Recht eine Meldepflichtverletzung vorgeworfen.
4.5.
4.5.1. In BGE 138 V 457 E. 3.3 und 3.4 S. 461 f. entschied das Bundesgericht, dass sich der Zeitpunkt, in welchem die Frage nach der Verwertbarkeit der (Rest-) Arbeitsfähigkeit bei vorgerücktem Alter beantwortet wird, nach dem Feststehen der medizinischen Zumutbarkeit einer (Teil-) Erwerbstätigkeit richtet. Als ausgewiesen gilt die medizinische Zumutbarkeit einer (Teil-) Erwerbstätigkeit, sobald die medizinischen Unterlagen diesbezüglich eine zuverlässige Sachverhaltsfeststellung erlauben.
Würde diese Rechtsprechung in concreto angewandt, müsste die Verwertbarkeit der Restarbeitsfähigkeit verneint werden, weil das asim-Gutachten nur rund fünf Monate vor Vollendung des 65. Altersjahres des Versicherten erstattet wurde. Damit kämen aber die Gesetzes- und Verordnungsvorschriften betreffend die Meldepflicht (E. 2.2) gar nicht zum Tragen resp. bliebe die Meldepflichtverletzung ohne Konsequenzen. Die erwähnte Rechtsprechung von BGE 138 V 457 - bei der es nicht um eine rückwirkende Rentenaufhebung ging - ist daher zu präzisieren. Mit Blick auf das Legalitätsprinzip (Art. 5 Abs. 1 BV; vgl. auch Art. 190 BV) und den Grundsatz von Treu und Glauben (Art. 5 Abs. 3 BV) kann es nicht als bundesrechtswidrig erachtet werden, wenn bei einer Meldepflichtverletzung die Verwertbarkeit der Restarbeitsfähigkeit zu jenem Zeitpunkt beurteilt wird, in dem nach Art. 88bis Abs. 2 lit. b IVV die Herabsetzung resp. Aufhebung der Rente in Betracht fällt. In concreto trifft dies (spätestens) Ende Oktober 2010 (E. 4.3.2) zu.
4.5.2. Zu diesem Zeitpunkt war der Beschwerdeführer etwas über 60 Jahre alt; bis zum Erreichen des AHV-Pensionsalters verblieb ihm somit eine Aktivitätsdauer von noch fast fünf Jahren. Dies schliesst die Verwertbarkeit der verbleibenden Restarbeitsfähigkeit für sich alleine nicht aus (Urteil 9C_505/2016 vom 6. Juli 2017 E. 4.1 mit Hinweis). Die gesundheitlichen Einschränkungen (vgl. E. 4.2) stellen keine hohen Anforderungen an einen Arbeitsplatz auf dem (hier massgeblichen) ausgeglichenen Arbeitsmarkt. Der Versicherte war bisher nicht ausschliesslich als Chauffeur tätig: Er war Verwaltungsratspräsident der C._ AG (E. 4.1.2) sowie Gesellschafter und Geschäftsführer der im 2011 zusammen mit seiner Ehefrau gegründeten E._ GmbH mit Sitz in U._, welche die Führung eines Lebensmittelgeschäfts sowie den Import von Lebensmitteln insbesondere aus den südlichen Ländern bezweckt. Als solcher organisierte er die Fahrten und Warentransporte nach resp. von Süditalien. Nach eigenen Angaben pflegte er dabei nicht nur zahlreiche Kundenkontakte, sondern oblag ihm auch die Erledigung der jeweiligen Zollformalitäten. Sodann erfordern die zumutbaren einfachen und repetitiven Tätigkeiten weder gute Sprachkenntnisse noch ein besonderes Bildungsniveau (SVR 2016 IV Nr. 21 S. 62, 9C_808/2015 E. 3.4.2). Unter den gegebenen Umständen (vgl. auch Urteil 9C_825/2016 vom 10. Juli 2017 E. 4.5) stellt es keine Rechtsverletzung dar, wenn das kantonale Gericht von der Verwertbarkeit der Restarbeitsfähigkeit ausgegangen ist.
4.6. Die Vorinstanz hat es abgelehnt, bei der Invaliditätsbemessung (Art. 16 ATSG) resp. Festlegung des Invalideneinkommens einen Abzug vom Tabellenlohn (vgl. BGE 135 V 297 E. 5.2 S. 301; 126 V 75 E. 5b/aa-cc S. 80; zur Qualifikation als Rechtsfrage vgl. BGE 132 V 393 E. 3.3 in fine S. 399) zuzulassen. Dem Beschwerdeführer sind nicht nurmehr körperlich leichte Tätigkeiten eingeschränkt zumutbar (vgl. Urteile 9C_449/2015 vom 21. Oktober 2015 E. 4.2.4; 9C_1043/2012 vom 8. Mai 2013 E. 3.2.1), und nach der Anerkennung einer zehnprozentigen Einschränkung der Arbeitsfähigkeit würde ein leidensbedingter Abzug zu einer doppelten Anrechnung desselben Gesichtspunkts führen (Urteile 8C_805/2016 vom 22. März 2017 E. 3.1; 9C_846/2014 vom 22. Januar 2015 E. 4.1.1 mit Hinweisen). Zudem wirken sich weder die beruflichen Fähigkeiten des Versicherten noch dessen Alter oder mangelhafte Sprachkenntnisse zwingend lohnsenkend auf Tätigkeiten im (von der Verwaltung herangezogenen) Kompetenzniveau 1 aus (vgl. Urteil 9C_418/2017 vom 30. Oktober 2017 E. 4.5.2). Ein Abzug vom Tabellenlohn ist daher nicht angezeigt.
Nach dem Gesagten hat das kantonale Gericht zu Recht die rückwirkend auf den 29. Oktober 2010 verfügte Aufhebung der Rente bestätigt.
4.7. Anders als der Beschwerdeführer anzunehmen scheint, beginnt die einjährigen Verwirkungsfrist für die Rückforderung nicht bereits in jenem Zeitpunkt, zu dem die Verwaltung die Unterlagen der Zollverwaltung oder den Observationsbericht erhielt. Diese Unterlagen allein genügten nicht zur Beurteilung des Rentenanspruchs (BGE 137 I 327 E. 7.1 S. 337; Urteil 8C_192/2017 vom 25. August 2017 E. 6.1.2). Die Vorinstanz hat den Eingang des asim-Gutachens (März 2015) bei der IV-Stelle und damit deren Kenntnis des aktuellen Gesundheitszustandes als fristauslösend erachtet. Inwiefern sie dadurch Recht verletzt haben soll, leuchtet nicht ein, zumal in der Regel die Rechtskraft der Rentenaufhebung als fristauslösendes Moment gilt (E. 2.3). Die Beschwerde ist auch in diesem Punkt unbegründet.
5.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 Satz 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege (Art. 64 Abs. 1 und 2 BGG) kann jedoch entsprochen werden. Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Michael Jahn wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indessen vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Dezember 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Dormann