Sachverhalt: A. Mit Verfügung vom 26. Juni 2009 hob die IV-Stelle des Kantons Solothurn die Ausrichtung der Rente der Invalidenversicherung rückwirkend auf, weil der Versicherte ein rentenausschliessendes Einkommen erzielt und die IV-Stelle darüber in Verletzung der Meldepflicht nicht orientiert habe. Mit Verfügung vom 30. Juni 2009 forderte sie im Weitern rückwirkend auf fünf Jahre die zu viel bezogenen Leistungen im Betrag von Fr. 43'680.- zurück. B. B._ liess gegen beide Verfügungen Beschwerde erheben mit den Rechtsbegehren, es sei festzustellen, dass keine Rückerstattungspflicht besteht, respektive allfällige Rück-erforderungsansprüche verwirkt sind. In verfahrensrechtlicher Hinsicht beantragte er unter anderem Folgendes: "Es sei eine öffentliche Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Partei- und Zeugenbefragung anzusetzen und durchzuführen". Mit Entscheid vom 27. April 2010 hiess das Versicherungsgericht des Kantons Solothurn, ohne eine öffentliche Verhandlung durchgeführt zu haben, die Beschwerde in dem Sinne (teilweise) gut, dass es den Rückforderungsbetrag neu auf Fr. 37'646.- festsetzte. Das kantonale Gericht wies die weitergehende Beschwerde, soweit sie darauf eintrat, ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die Aufhebung des vorinstanzlichen Entscheides und die Feststellung verlangen, dass für die nach dem 27. Juni 2006 bezogenen Renten keine Rückerstattungspflicht besteht und dass sämtliche Rückforderungsansprüche verwirkt sind. In verfahrensrechtlicher Hinsicht wird um Erteilung der aufschie-benden Wirkung ersucht und die Durchführung einer öffentlichen Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Presse- und Publikumsanwesenheit beantragt. Als Verletzung von Bundes- und Völkerrecht lässt der Versicherte rügen, die Vorinstanz habe den bereits im kantonalen Verfahren wiederholt gestellten Antrag auf Durchführung einer öffentlichen Verhandlung mit ungenügender Begründung abgewiesen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst und das Bundesamt für Sozial-versicherungen auf eine Vernehmlassung verzichtet, begründet das Versicherungsgericht in seiner Stellungnahme zusätzlich zu den Erwägungen des angefochtenen Entscheides, weshalb es auf eine öffentliche Verhandlung verzichtet hat.