Sachverhalt: A. A._, geboren 1967, meldete sich am 26. Juli 2005 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem die Schweizerische Unfallversicherungsanstalt (Suva) einen weitergehenden Leistungsanspruch aus UVG des Versicherten mit Verfügung vom 5. April 2012 gestützt auf das Gutachten des Zentrums für Medizinische Begutachtung (ZMB), Basel, vom 18. November 2010 verneint hatte, wies die IV-Stelle Solothurn den Anspruch auf berufliche Massnahmen in Bestätigung ihrer Verfügung vom 24. Februar 2006 mit Einspracheentscheid vom 5. November 2012 ab. In Gutheissung der dagegen erhobenen Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 9. April 2014 die Sache zu ergänzenden Abklärungen an die IV-Stelle zurück. Am 24. März 2015 stellte das Versicherungsgericht in Aufhebung einer Verfügung der IV-Stelle vom 20. August 2013 fest, dass A._ Anspruch auf unentgeltliche Verbeiständung im Vorbescheidverfahren habe. In der Zwischenzeit hatte die IV-Stelle bei der Academy of Swiss Insurance Medicine (asim), Basel, ein polydisziplinäres Gutachten vom 13. Mai 2014 eingeholt. Mit Verfügungen vom 6. Februar und 11. April 2017 sprach sie dem Versicherten ab 1. November 2013 eine ganze Invalidenrente zu, dies einschliesslich einer Kinderrente, die an die Kindsmutter ausbezahlt werde. B. Nachdem das Versicherungsgericht beim Ärztlichen Begutachtungsinstitut GmbH (ABI), Basel, das polydisziplinäre Gutachten vom 31. Oktober 2018 eingeholt und A._ eine Schlechterstellung im Vergleich zur Verwaltungsverfügung (reformatio in peius) angedroht hatte, wies es die gegen die Verfügungen vom 6. Februar und vom 11. April 2017 erhobenen Beschwerden ab. Zudem erkannte es in entsprechender Abänderung dieser Verfügungen, dass A._ keinen Anspruch auf eine Rente der Invalidenversicherung habe (Entscheid vom 3. April 2020). C. A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des kantonalen Gerichtsentscheids beantragen. Die Verfügungen vom 6. Februar und vom 11. April 2017 seien zu bestätigen, soweit sie sich auf den Zeitraum nach dem 1. November 2013 beziehen würden. Weiter sei die Vorinstanz anzuweisen, über seinen Rentenanspruch im Zeitraum vom 1. September 2005 bis 31. Oktober 2013 zu entscheiden. Zudem ersucht er darum, dass seiner Beschwerde die aufschiebende Wirkung und ihm die unentgeltliche Rechtspflege zu gewähren seien. D. Mit Verfügung vom 18. Mai 2020 hob die IV-Stelle den streitbetroffenen Rentenanspruch auf Ende des der Zustellung folgenden Monats auf. Diese Verfügung sowie die dagegen erhobene Beschwerde des Versicherten liess das kantonale Gericht dem Bundesgericht mit Schreiben vom 25. Juni 2020 zukommen. Dies verband es mit der Mitteilung, dass das neue Verfahren bis zum Urteil des Bundesgerichts über die Beschwerde gegen den Entscheid vom 3. April 2020 sistiert werde und es an diesem liege, die gebotenen prozessualen Anordnungen zu treffen. Hierauf ersuchte der Versicherte mit Eingabe vom 2. Juli 2020 darum, dass die mit Verfügung vom 18. Mai 2020 entzogene aufschiebende Wirkung wieder zu erteilen sei. Am 3. Juli 2020 widersetzte sich die IV-Stelle diesem Begehren unter Hinweis darauf, dass die Verfügung vom 18. Mai 2020 zu Unrecht ergangen und mittlerweile zurückgenommen worden sei. Wie das kantonale Gericht gehe sie ebenfalls davon aus, dass dem Versicherten nie ein Rentenanspruch zugestanden habe.