Sachverhalt:
A. Mit Verfügung vom 26. Juni 2009 hob die IV-Stelle des Kantons Solothurn die Ausrichtung der Rente der Invalidenversicherung rückwirkend auf, weil der Versicherte ein rentenausschliessendes Einkommen erzielt und die IV-Stelle darüber in Verletzung der Meldepflicht nicht orientiert habe. Mit Verfügung vom 30. Juni 2009 forderte sie im Weitern rückwirkend auf fünf Jahre die zu viel bezogenen Leistungen im Betrag von Fr. 43'680.- zurück.
B. B._ liess gegen beide Verfügungen Beschwerde erheben mit den Rechtsbegehren, es sei festzustellen, dass keine Rückerstattungspflicht besteht, respektive allfällige Rück-erforderungsansprüche verwirkt sind. In verfahrensrechtlicher Hinsicht beantragte er unter anderem Folgendes:
"Es sei eine öffentliche Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Partei- und Zeugenbefragung anzusetzen und durchzuführen".
Mit Entscheid vom 27. April 2010 hiess das Versicherungsgericht des Kantons Solothurn, ohne eine öffentliche Verhandlung durchgeführt zu haben, die Beschwerde in dem Sinne (teilweise) gut, dass es den Rückforderungsbetrag neu auf Fr. 37'646.- festsetzte. Das kantonale Gericht wies die weitergehende Beschwerde, soweit sie darauf eintrat, ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die Aufhebung des vorinstanzlichen Entscheides und die Feststellung verlangen, dass für die nach dem 27. Juni 2006 bezogenen Renten keine Rückerstattungspflicht besteht und dass sämtliche Rückforderungsansprüche verwirkt sind. In verfahrensrechtlicher Hinsicht wird um Erteilung der aufschie-benden Wirkung ersucht und die Durchführung einer öffentlichen Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Presse- und Publikumsanwesenheit beantragt. Als Verletzung von Bundes- und Völkerrecht lässt der Versicherte rügen, die Vorinstanz habe den bereits im kantonalen Verfahren wiederholt gestellten Antrag auf Durchführung einer öffentlichen Verhandlung mit ungenügender Begründung abgewiesen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst und das Bundesamt für Sozial-versicherungen auf eine Vernehmlassung verzichtet, begründet das Versicherungsgericht in seiner Stellungnahme zusätzlich zu den Erwägungen des angefochtenen Entscheides, weshalb es auf eine öffentliche Verhandlung verzichtet hat.

Erwägungen:
1. 1.1 Nach Art. 6 Ziff. 1 Satz 1 EMRK hat jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich und innerhalb einer angemessenen Frist von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht gehört wird, das über zivilrechtliche Ansprüche und Verpflichtungen oder über die Stichhaltigkeit der gegen ihn erhobenen strafrechtlichen Anklage zu entscheiden hat.
1.2 Nach der Rechtsprechung stehen im vorliegenden Verfahren zivilrechtliche Ansprüche in Frage, auf welche Art. 6 Ziff. 1 EMRK anwendbar ist (<ref-ruling> E. 2a S. 50 mit Hinweisen). Wie das Eidgenössische Versicherungsgericht im erwähnten Leiturteil weiter erkannt hat, hat das kantonale Gericht, welchem es primär obliegt, die Öffentlichkeit der Verhandlung zu gewährleisten (E. 3 S. 54), bei Vorliegen eines klaren und unmissverständlichen Parteiantrages grundsätzlich eine öffentliche Verhandlung durchzuführen (E. 3a und 3b S. 55 f.).
1.3 Von einer ausdrücklich beantragten öffentlichen Verhandlung kann abgesehen werden, wenn der Antrag der Partei als schikanös erscheint oder auf eine Verzögerungstaktik schliessen lässt und damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwiderläuft oder sogar rechtsmissbräuchlich ist. Gleiches gilt, wenn sich ohne öffentliche Verhandlung mit hinreichender Zuverlässigkeit erkennen lässt, dass eine Beschwerde offensichtlich unbegründet oder unzulässig ist (<ref-ruling> E. 3b/cc und 3b/dd S. 56). Als weiteres Motiv für die Verweigerung einer beantragten öffentlichen Verhandlung fällt die hohe Technizität der zur Diskussion stehenden Materie in Betracht, was etwa auf rein rechnerische, versicherungsmathematische oder buchhalterische Probleme zutrifft, wogegen andere dem Sozialversicherungsrecht inhärente Fragestellungen materiell- oder verfahrensrechtlicher Natur wie die Würdigung medizinischer Gutachten in der Regel nicht darunterfallen. Schliesslich kann das kantonale Gericht von einer öffentlichen Verhandlung absehen, wenn es auch ohne eine solche allein aufgrund der Akten zum Schluss gelangt, dass dem materiellen Rechtsbegehren der bezüglich der Verhandlung antragstellenden Partei zu entsprechen ist (<ref-ruling> E.1; <ref-ruling> E. 3b/ee und 3b/ff S. 57 f.).
2. 2.1 Der Beschwerdeführer beantragte im kantonalen Verfahren die Durchführung einer öffentlichen Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK. Das kantonale Gericht entsprach diesem Begehren nicht, wobei es sich auf den Standpunkt stellte, das Absehen von einer Verhandlung sei zulässig, weil der Sachverhalt unbestritten sei und sich keine besonders komplexen Rechtsfragen stellen würden.
2.2 Nach der Rechtsprechung (vgl. E. 1.2 hievor) obliegt es grundsätzlich dem kantonalen Gericht, die Öffentlichkeit des Verfahrens zu gewährleisten. Der Beschwerdeführer hat - wie dargelegt - vor dem kantonalen Gericht rechtzeitig einen entsprechenden Antrag gestellt. Im Rechtsbegehren des bundesgerichtlichen Verfahrens wird (erneut) die Durchführung einer öffentlichen Gerichtsverhandlung nach Art. 6 Ziff.1 EMRK beantragt, wobei nicht präzisiert wird, ob diese Verhandlung vor dem kantonalen Gericht oder dem Bundesgericht stattfinden soll. Diesem Rechts-begehren ist insofern Rechnung zu tragen als zu prüfen ist, ob das kantonale Gericht eine öffentliche Verhandlung hätte durchführen müssen. Erweist es sich, dass eine öffentliche Verhandlung im kantonalen Verfahren Platz zu greifen hat, kann auf eine öffentliche Verhandlung vor Bundesgericht schon deshalb verzichtet werden, weil dem Antrag des Beschwerdeführers auf Aufhebung des angefochtenen Entscheides entsprochen wird (vgl. E. 1.3 hievor am Ende). Angemerkt sei in diesem Zusammenhang, dass dem aus Art. 6 Ziff. 1 EMRK abgeleiteten Anspruch auf Durchführung einer öffentlichen Verhandlung nach der Rechtsprechung des EGMR Genüge getan ist, wenn die Recht suchende Person mindestens vor einer Instanz in einer öffentlichen Verhandlung gehört wird (Urteil des EGMR vom 8. Januar 2009 i.S. Schlumpf; Nr. 29002/06, Ziff. 65).
3. 3.1 Das kantonale Gericht lehnte den Antrag des Beschwerdeführers, es sei eine öffentliche Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK durchzuführen, mit der Begründung ab, zu beurteilen sei, ob die IV-Stelle zu Recht die Rente eingestellt und die ausbezahlten Renten zurückgefordert habe. Dies hänge davon ab, ob materiell-rechtlich ein Rentenanspruch bestanden, ob und allenfalls wie lange der Versicherte seine Meldepflicht verletzt habe und ob eine allfällige Rückforderung verwirkt sei. Die für die Beurteilung dieser Fragen wesentlichen Sachverhaltselemente seien unbestritten, umstritten seien lediglich Rechtsfragen, welche nicht als komplex zu bezeichnen seien. Der Beschwerdeführer macht demgegenüber geltend, der Sachverhalt sei, vor allem in Zusammenhang mit der von der IV-Stelle geltend gemachten Meldepflichtverletzung, keineswegs unbestritten.
In der Vernehmlassung nimmt das kantonale Gericht noch einmal zur Frage der öffentlichen Verhandlung Stellung. Es äussert sich dabei zum in der Zwischenzeit ergangenen Leiturteil <ref-ruling>, welches es so versteht, dass ein Verzicht auf Durchführung einer öffentlichen Verhandlung dann nicht zulässig sei, wenn der Rechtsstreit in erster Linie die Würdigung medizinischer Gutachten betreffe. Nach Auffassung des kantonalen Gerichts liegt in diesen Fällen naturgemäss kein unbestrittener Sachverhalt vor, weshalb der vom kantonalen Gericht angenommene Ausnahmetatbestand (unbestrittener Sachverhalt, keine komplexen Rechtsfragen) von vornherein nicht greifen könne. Auch nach dem vorgenannten, die Rechtsprechung präzisierenden Bundesgerichtsentscheid behalte deshalb die frühere, vom kantonalen Gericht angewandte Rechtsprechung ihre Bedeutung.
3.2 Im genannten <ref-ruling> mit welchem das Bundesgericht seine Rechtsprechung an die neuste Rechtsprechung des EGMR und insbesondere an das die Schweiz betreffenden Urteil des EGMR in Sachen Schlumpf vom 8. Januar 2009 (Nr. 29002/06) anpasste, werden die Voraussetzungen für einen gültigen Verzicht auf die von einem Versicherten in der Beschwerde an das kantonale Gericht ausdrücklich beantragten Durchführung einer öffentlichen Verhandlung neu umschrieben. Der Ausnahmetatbestand des unbestrittenen Sachverhalts und/oder des Fehlens besonders komplexer Rechts-fragen, der in dem von der Vorinstanz erwähnten Urteil 9C_52/2007 vom 10. Januar 2008 (E. 3.1) angeführt ist, findet keine Erwähnung (mehr). Entgegen der Ansicht der Vorinstanz ist die Aufzählung der Ausnahmetatbestände, bei denen ein Verzicht auf die Durchführung einer öffentlichen Verhandlung zulässig ist, in <ref-ruling> E. 1 abschliessend.
3.3 Im Lichte der vorstehenden Erwägungen erweisen sich die Voraussetzungen für einen Verzicht auf die Durchführung einer öffentlichen Verhandlung als nicht gegeben. Der gestellte Antrag ist nicht schikanös und es kann auch nicht gesagt werden, er laufe dem Grundsatz des einfachen und raschen Verfahrens zuwider. Vorliegend ist im Wesentlichen strittig, ob der 1976 geborene Beschwerdeführer, der seit seinem 21. Lebensjahr eine IV-Rente bezog, daneben aber immer erwerbstätig war, eine Verletzung der Meldepflicht beging. Umstritten ist im Weitern, ob zwischen Meldepflichtverletzung und dem eingetretenen Schaden ein kausaler Zusammenhang bestand, wozu anzumerken ist, dass das kantonale Gericht für eine gewisse Zeitperiode einen solchen Zusammenhang verneinte und die Beschwerde insofern teilweise guthiess (E. 6b des angefochtenen Entscheides). Dieser Ausgang des erstinstanzlichen Verfahrens macht deutlich, dass die Beschwerde an das kantonale Gericht nicht offensichtlich unbegründet oder unzulässig war. Schliesslich ist strittig, wann die Beschwerdegegnerin vom Rückforderungsanspruch Kenntnis hatte. Bei der Beurteilung dieser strittigen Punkte geht es nicht um Fragen hochtechnischer Natur, vielmehr handelt es sich um für das Gebiet des Sozialversicherungsrechts alltägliche Fragestellungen. Unter den gegebenen Umständen bestanden für das kantonale Gericht also keine Veranlassung und keine Rechtfertigung, von der grundsätzlichen Verpflichtung zur Durchführung einer öffentlichen Verhandlung ausnahmsweise abzuweichen.
4. Indem die Vorinstanz von der beantragten öffentlichen Verhandlung abgesehen hat, wurde dieser in Art. 6 Ziff. 1 EMRK gewährleisteten Verfahrensgarantie nicht Rechnung getragen. Es ist daher unumgänglich, die Sache an das Versicherungsgericht zurückzuweisen, damit dieses den Verfahrensmangel behebt und die vom Beschwerdeführer verlangte öffentliche Verhandlung durchführt. Hernach wird es über die Beschwerde materiell neu befinden.
5. Das Gesuch um aufschiebende Wirkung wird mit dem Entscheid in der Hauptsache gegenstandslos. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 27. April 2010 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügungen vom 26. und 30. Juni 2009 neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Februar 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Holzer