Sachverhalt:
A.
A._, geboren 1967, meldete sich am 26. Juli 2005 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem die Schweizerische Unfallversicherungsanstalt (Suva) einen weitergehenden Leistungsanspruch aus UVG des Versicherten mit Verfügung vom 5. April 2012 gestützt auf das Gutachten des Zentrums für Medizinische Begutachtung (ZMB), Basel, vom 18. November 2010 verneint hatte, wies die IV-Stelle Solothurn den Anspruch auf berufliche Massnahmen in Bestätigung ihrer Verfügung vom 24. Februar 2006 mit Einspracheentscheid vom 5. November 2012 ab. In Gutheissung der dagegen erhobenen Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 9. April 2014 die Sache zu ergänzenden Abklärungen an die IV-Stelle zurück.
Am 24. März 2015 stellte das Versicherungsgericht in Aufhebung einer Verfügung der IV-Stelle vom 20. August 2013 fest, dass A._ Anspruch auf unentgeltliche Verbeiständung im Vorbescheidverfahren habe. In der Zwischenzeit hatte die IV-Stelle bei der Academy of Swiss Insurance Medicine (asim), Basel, ein polydisziplinäres Gutachten vom 13. Mai 2014 eingeholt. Mit Verfügungen vom 6. Februar und 11. April 2017 sprach sie dem Versicherten ab 1. November 2013 eine ganze Invalidenrente zu, dies einschliesslich einer Kinderrente, die an die Kindsmutter ausbezahlt werde.
B.
Nachdem das Versicherungsgericht beim Ärztlichen Begutachtungsinstitut GmbH (ABI), Basel, das polydisziplinäre Gutachten vom 31. Oktober 2018 eingeholt und A._ eine Schlechterstellung im Vergleich zur Verwaltungsverfügung (reformatio in peius) angedroht hatte, wies es die gegen die Verfügungen vom 6. Februar und vom 11. April 2017 erhobenen Beschwerden ab. Zudem erkannte es in entsprechender Abänderung dieser Verfügungen, dass A._ keinen Anspruch auf eine Rente der Invalidenversicherung habe (Entscheid vom 3. April 2020).
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des kantonalen Gerichtsentscheids beantragen. Die Verfügungen vom 6. Februar und vom 11. April 2017 seien zu bestätigen, soweit sie sich auf den Zeitraum nach dem 1. November 2013 beziehen würden. Weiter sei die Vorinstanz anzuweisen, über seinen Rentenanspruch im Zeitraum vom 1. September 2005 bis 31. Oktober 2013 zu entscheiden. Zudem ersucht er darum, dass seiner Beschwerde die aufschiebende Wirkung und ihm die unentgeltliche Rechtspflege zu gewähren seien.
D.
Mit Verfügung vom 18. Mai 2020 hob die IV-Stelle den streitbetroffenen Rentenanspruch auf Ende des der Zustellung folgenden Monats auf. Diese Verfügung sowie die dagegen erhobene Beschwerde des Versicherten liess das kantonale Gericht dem Bundesgericht mit Schreiben vom 25. Juni 2020 zukommen. Dies verband es mit der Mitteilung, dass das neue Verfahren bis zum Urteil des Bundesgerichts über die Beschwerde gegen den Entscheid vom 3. April 2020 sistiert werde und es an diesem liege, die gebotenen prozessualen Anordnungen zu treffen.
Hierauf ersuchte der Versicherte mit Eingabe vom 2. Juli 2020 darum, dass die mit Verfügung vom 18. Mai 2020 entzogene aufschiebende Wirkung wieder zu erteilen sei. Am 3. Juli 2020 widersetzte sich die IV-Stelle diesem Begehren unter Hinweis darauf, dass die Verfügung vom 18. Mai 2020 zu Unrecht ergangen und mittlerweile zurückgenommen worden sei. Wie das kantonale Gericht gehe sie ebenfalls davon aus, dass dem Versicherten nie ein Rentenanspruch zugestanden habe.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig ist der Rentenanspruch des Beschwerdeführers. Die dafür massgeblichen Rechtsgrundlagen finden sich im vorinstanzlichen Entscheid zutreffend dargelegt, worauf verwiesen werden kann (<ref-law>).
3.
3.1. Soweit der Beschwerdeführer auf seine Vorbringen in den vorinstanzlichen Rechtsschriften verweist, ist darauf nicht weiter einzugehen, da ein blosser Verweis auf frühere Rechtsschriften den Anforderungen an die Begründungspflicht von <ref-law> nicht genügt (<ref-ruling> E. 5.1 S. 144 mit Hinweis).
3.2. Was den Einwand anbelangt, dass die Verfügungen vom 6. Februar und 11. April 2017 für den Zeitraum ab dem 1. November 2013 in Rechtskraft erwachsen seien, kann ihm nicht gefolgt werden. Das kantonale Gericht hat dazu unter Hinweis auf die einschlägige Rechtsprechung (vgl. <ref-ruling>, 125 V 413) erwogen, dass sich seine Prüfung nicht auf den umstrittenen Zeitraum beschränke, sondern auf den Rentenanspruch insgesamt erstrecke. Der Beschwerdeführer legt nicht dar und es ist - selbst mit Blick auf die Vorgaben hinsichtlich einer Schlechterstellung (vgl. <ref-law>) - auch nicht ersichtlich, inwiefern es in diesem Zusammenhang Bundesrecht verletzt haben könnte.
3.3. Der Beschwerdeführer wendet sich gegen die vorinstanzliche Feststellung des Sachverhalts, zeigt aber nicht auf, inwiefern diese offensichtlich unrichtig, mithin willkürlich sein soll. Er setzt bloss seine Beweiswürdigung an die Stelle der vorinstanzlichen Schlussfolgerungen, was keine Willkür nachzuweisen vermag. So verkennt er, dass die Vorinstanz in ihren E. 6.1 bis 6.3 (mit Ausnahme des psychiatrischen Teilgutachtens der asim, wozu er keine Einwände erhebt), E. 7.1 sowie E. 8.1 und 8.2 lediglich den Inhalt des jeweiligen Gutachtens oder Arztberichts wiedergibt. Zur vorinstanzlichen Beweiswürdigung in ihrer E. 6.4 äussert er sich jedoch nicht. Soweit der Versicherte sich überhaupt auf die Erwägungen der Vorinstanz zur Beweiswürdigung (E. 7.2 und 9) bezieht, legt er nicht dar, inwiefern das kantonale Gericht Bundesrecht verletzt haben soll, sondern beschränkt sich auf die Darstellung seiner eigenen Sichtweise. Weiter geht der Vorwurf der geltend gemachten aktenwidrigen Feststellungen fehl. So vermögen die Experten im Rahmen einer Begutachtung sehr wohl zu unterscheiden, ob ein Zustand (hier jener an der Halswirbelsäule resp. am Oberkiefer) auf einen Bruch oder auf Degeneration zurückzuführen ist. Ebenso ist hinsichtlich des angeblichen impliziten Vorwurfs an die Vorinstanz, die asim habe sich nicht mit einer zwischenzeitlich eingetretenen Verschlechterung auseinander gesetzt, keine Aktenwidrigkeit gegeben; vielmehr findet sich in der gerügten E. 6.3 gar keine entsprechende Aussage der Vorinstanz. Weiter legt der Beschwerdeführer nicht dar, weshalb gestützt auf die nach Erstattung des ABI-Gutachtens vom 31. Oktober 2018 ergangenen Berichte im Sinne triftiger Gründe vom grundsätzlich massgeblichen Gerichtsgutachten (<ref-ruling> E. 4.4 S. 469) abgewichen werden soll. So reicht es nicht aus, dass die behandelnden Ärzte zu einem anderen Ergebnis kommen (vgl. Urteil 8C_73/2020 vom 7. Mai 2020 E. 7.1.3 mit Hinweis). Schliesslich ist nicht ersichtlich, gegen welche Normen des Bundesrechts die Vorinstanz verstossen haben soll, indem sie auf das Gerichtsgutachten abgestellt hat; diesbezüglich wiederholt der Versicherte lediglich seine eigene Beweiswürdigung, die jedoch keine Bundesrechtswidrigkeit aufzuzeigen vermag.
4.
Die Beschwerde ist offensichtlich unbegründet und wird im Verfahren nach <ref-law> erledigt. Es wird kein Schriftenwechsel durchgeführt und die Begründung erfolgt summarisch (<ref-law>).
5.
Mit dem Entscheid in der Sache wird das Gesuch des Versicherten um aufschiebende Wirkung gegenstandslos. Das gilt nach der Stellungnahme der IV-Stelle vom 3. Juli 2020 auch mit Blick auf deren Verfügung vom 18. Mai 2020 und die in diesem Zusammenhang beantragten vorsorglichen Massnahmen.
6.
6.1. Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).
7.
Da die Beschwerde offensichtlich unbegründet ist (<ref-law>), ist sie als aussichtslos im Sinne von <ref-law> zu bezeichnen (Thomas Geiser, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 22 zu <ref-law>; Urteile 8C_24/2020 vom 19. Februar E. 7.2 und 8C_584/2019 vom 7. November 2019 E. 6.2). Das Gesuch um unentgeltliche Rechtspflege ist demnach abzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold