Sachverhalt:
A.
Der 1948 geborene A._ war ab 9. Februar 2006 als Einkäufer für die B._ AG tätig. Am 31. August 2006 kündigte die Gesellschaft das Arbeitsverhältnis per 30. September 2006. Daraufhin meldete sich A._ am 1. Dezember 2006 bei der Invalidenversicherung zum Bezug von Leistungen an. Die IV-Stelle Solothurn sprach ihm mit Wirkung ab 1. Mai 2007 eine halbe Rente, basierend auf einem Invaliditätsgrad von 57 % bei einem Valideneinkommen von Fr. 117'000.- und einem Invalideneinkommen von Fr. 50'500.-, zu (Verfügungen vom 5. und 17. März 2009). Mit Schreiben vom 5. November 2010 liess A._ der IV-Stelle mitteilen, dass er seit Juli 2006 bei verschiedenen Arbeitgebern tätig gewesen sei. Daraufhin kündigte diese mit Vorbescheid vom 18. April 2011 die rückwirkende Einstellung der Invalidenrente per 1. Juli 2009 an. A._ liess Einwendungen vorbringen, worauf sie den Vorbescheid aufhob und mit einem weiteren Vorbescheid vom 15. Dezember 2011 die rückwirkende Herabsetzung auf eine Viertelsrente per 1. Mai 2007 und eine Rentenaufhebung per 1. Januar 2008 in Aussicht stellte. Nachdem A._ dagegen wiederum Einwände erhoben hatte, informierte sie ihn mit Vorbescheid vom 16. Februar 2012, dass sie per 1. Januar 2008 eine Herabsetzung auf eine Viertelsrente und auf den 1. Januar 2009 eine Rentenaufhebung vornehmen werde; zudem werde sie - als Sanktion für die schwere Meldepflichtverletzung - die ganze Rentenzahlung rückwirkend ab 1. Mai 2007 verweigern. Die entsprechende Verfügung erging am 28. März 2012. Am 2. Mai 2012 erhob die IV-Stelle ausserdem Strafanzeige gegen A._ wegen Vergehens gegen das Bundesgesetz über die Alters- und Hinterlassenenversicherung (AHVG; SR 831.10). Mit Verwaltungsakt vom 30. Mai 2012 verpflichtete sie A._ schliesslich, ihr einen Betrag von Fr. 87'864.- (Invalidenrente samt Kinderrente für die Zeit vom 1. Mai 2007 bis 31. Mai 2012) zurückzuerstatten.
B.
A._ erhob gegen beide Verfügungen vom 28. März 2012 und 30. Mai 2012 separat Beschwerde. Das Versicherungsgericht des Kantons Solothurn vereinigte die Beschwerdeverfahren mit Verfügung vom 5. September 2012. Während des kantonalgerichtlichen Prozesses wurde A._ vom Amtsgerichtspräsidenten C._ des Vergehens gegen das AHVG, begangen in der Zeit vom 1. Januar 2008 bis 5. November 2010, schuldig gesprochen (Urteil vom 12. Februar 2013, unangefochten in Rechtskraft erwachsen). In teilweiser Gutheissung der beiden Beschwerden stellte das kantonale Versicherungsgericht fest, A._ habe vom 1. Mai 2007 bis 30. September 2009 Anspruch auf eine halbe Rente und er habe der IV-Stelle einen Betrag von Fr. 51'548.- zurückzuerstatten (Entscheid vom 10. Februar 2014).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, das vorinstanzliche Urteil sei aufzuheben, soweit es ihn zur Rückzahlung der zwischen 1. Dezember 2010 und 31. Mai 2012 bezogenen Invalidenrenten und Kinderrenten in der Höhe von Fr. 29'204.- verpflichte; eventualiter sei das vorinstanzliche Urteil aufzuheben, soweit es ihn zur Rückzahlung der zwischen 1. April 2011 und 31. Mai 2012 bezogenen Invalidenrenten und Kinderrenten in der Höhe von Fr. 22'736.- verpflichte. Ferner lässt er darum ersuchen, der Beschwerde die aufschiebende Wirkung zu erteilen.
Die IV-Stelle lässt sich nicht vernehmen. Das kantonale Gericht schliesst ohne weitere Ausführungen auf Abweisung der Beschwerde und das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>; vgl. dazu <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft es - unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254 mit Hinweisen).
2.
Streitig und zu prüfen ist die rückwirkende Aufhebung der Invalidenrente und die Rückerstattung der entsprechenden Rentenbetreffnisse für die Zeit vom 1. Dezember 2010 bis 31. Mai 2012. Demgegenüber ist letztinstanzlich nicht mehr umstritten, dass ab 1. Mai 2007 bis 30. September 2009 Anspruch auf eine halbe Rente und für die diesen Zeitraum betreffenden Rentenzahlungen keine Rückerstattungspflicht besteht. Unangefochten bleibt andererseits auch die Rückerstattungspflicht für die Rentenbetreffnisse aus der Zeit vom 1. Oktober 2009 bis 30. November 2010.
3.
3.1. Das kantonale Gericht legt die massgebenden gesetzlichen Bestimmungen und die dazu von der Rechtsprechung weiter konkretisierten Grundsätze zutreffend dar. Dies betrifft namentlich die Pflicht zur Meldung von für den Leistungsanspruch wesentlichen Veränderungen der tatsächlichen Verhältnisse (<ref-law> und <ref-law>), den Zeitpunkt einer revisionsweisen Rentenherabsetzung oder -aufhebung bei einer Verletzung dieser Pflicht (<ref-law>) sowie die Rückerstattung unrechtmässig bezogener Leistungen (<ref-law>) und die dabei zu beachtende Verwirkungsfrist (Abs. 2 Satz 1 und 2 ATSG; <ref-ruling> E. 4.1 S. 77 mit Hinweisen). Darauf wird verwiesen.
3.2. Eine Rente der Invalidenversicherung kann (vom hier nicht interessierenden Tatbestand einer nachträglichen Änderung der Rechtslage abgesehen) gestützt auf <ref-law> (Anpassung an geänderte tatsächliche Verhältnisse), <ref-law> (prozessuale Revision) oder <ref-law> (Wiedererwägung) - mit Wirkung ex nunc et pro futuro oder allenfalls ex tunc (<ref-law>) - herabgesetzt oder aufgehoben werden (vgl. ULRICH MEYER, Die Abänderung formell rechtskräftiger Verwaltungsverfügungen in der Sozialversicherung, ZBl 1994 S. 337 ff., in: Ausgewählte Schriften, 2013, S. 117 ff.). In einem konkreten Fall sind somit allenfalls alle drei Bestimmungen auf ihre Anwendbarkeit zu prüfen (SVR 2012 IV Nr. 36 S. 140, 9C_896/2011 E. 4.1 mit Hinweisen; Urteil 9C_409/2013 vom 20. September 2013 E. 2.2.2).
4.
4.1. Gemäss der unbestritten gebliebenen Zusammenfassung der Vorinstanz fiel der letzte Arbeitstag des Versicherten als Einkäufer bei der B._ AG auf den 31. Mai 2006. Ab 1. Juli 2006 war er mit einem Pensum von 50 % in der Trainerausbildung des Fussballverbandes D._ angestellt. Zusätzlich arbeitete er ab 1. Juli 2007 bis 30. Juni 2009 beim FC E._ und ab 1. Juli 2009 beim FC F._ als Fussballtrainer. Die erzielten Löhne aus diesen Tätigkeiten beliefen sich auf insgesamt Fr. 61'356.- im Jahr 2007, Fr. 71'746.- im Jahr 2008 und Fr. 99'142.- im Jahr 2009.
Das kantonale Gericht ging sowohl in Bezug auf den Antritt der Stelle in der Trainerausbildung, als auch bezüglich der einzelnen Verdiensterhöhungen von wesentlichen Veränderungen in den für den Rentenanspruch relevanten Tatsachen aus, welche eine Meldepflicht im Sinne von <ref-law> und <ref-law> begründeten. Es errechnete in Anwendung von <ref-law> (in Kraft vom 1. Januar 2008 bis 31. Dezember 2011) einen Invaliditätsgrad von 35 % ab 1. Juli 2009 und stellte fest, die Rente sei unter Beachtung der Dreimonatsfrist gemäss <ref-law> auf den 1. Oktober 2009 aufzuheben. Grundlage für die rückwirkende Rentenanpassung sei eine Revision im Sinne von <ref-law>, wie sie mit dem ersten Vorbescheid vom 18. April 2011 von der IV-Stelle vorgenommen worden sei. Massgebend sei in diesem Zusammenhang die Erhöhung des Einkommens ab 1. Juli 2009. Diesbezüglich liege (ebenfalls) eine Meldepflichtverletzung vor, weshalb <ref-law> eine rückwirkende Anpassung zulasse. Die Verwirkungsfrist gemäss <ref-law> sei durch Erlass des Vorbescheides vom 18. April 2011 gewahrt, auch wenn dieser in der Folge aufgehoben und ersetzt worden sei. Eine Verwirkung scheitere aber vorliegend auch an der in <ref-law> vorbehaltenen strafrechtlichen Verjährungsfrist. In Abweichung zur Verfügung vom 30. Mai 2012 habe der Versicherte folglich die in den Zeitraum vom 1. Oktober 2009 bis 31. Mai 2012 fallenden Rentenbetreffnisse im Gesamtbetrag von Fr. 51'548.- zurückzuerstatten.
4.2. Der Beschwerdeführer verzichtet letztinstanzlich auf Einwände gegen die rückwirkende Rentenaufhebung. Er rügt weder die vorinstanzliche Annahme einer Meldepflichtverletzung hinsichtlich der Verdiensterhöhung auf 1. Juli 2009 noch die Rentenaufhebung per 1. Oktober 2009 im Hinblick auf den neu berechneten Invaliditätsgrad von 35 %. Er bestreitet einzig noch eine Rückerstattungspflicht in Bezug auf die für den Zeitraum vom 1. Dezember 2010 bis 31. Mai 2012 - eventualiter für den Zeitraum vom 1. April 2011 bis 31. Mai 2012 - empfangenen Rentenzahlungen. Zur Begründung führt er aus, rechtsprechungsgemäss könne eine ordnungsgemässe Meldung für die Zeit des nachfolgenden Leistungsbezuges nicht irrelevant sein. In casu habe er die IV-Stelle mit Schreiben vom 5. November 2010 über seine Nebenerwerbstätigkeiten und die damit erzielten Einkünfte ausdrücklich in Kenntnis gesetzt. Deshalb entfalle die Kausalität der vorangegangenen Meldepflichtverletzung für den unrechtmässigen Leistungsbezug ab dem der verspäteten Meldung folgenden Monat, mithin ab Dezember 2010. Selbst wenn im Brief vom 5. November 2010 noch keine gehörige Meldung erblickt werden sollte, müsste die IV-Stelle immerhin darauf behaftet werden, dass ihr die Nebenerwerbseinkommen spätestens bei Erlass des Vorbescheids vom 18. April 2011 bekannt gewesen seien oder hätten bekannt sein müssen, weshalb - eventualiter - eine Rückzahlungspflicht für die Periode zwischen 1. April 2011 und 31. Mai 2012 nicht in Frage komme.
4.2.1. In der letztinstanzlichen Beschwerde wird zutreffend darauf hingewiesen, dass <ref-law> für die rückwirkende Aufhebung oder Herabsetzung von Renten eine Kausalität zwischen der Meldepflichtverletzung und dem eingetretenen Schaden (unrichtige Ausrichtung der Rentenleistung) voraussetzt (<ref-ruling> E. 3b S. 221; Urteil 9C_454/2012 vom 18. März 2013 E. 7.3, nicht publ. in: <ref-ruling>, aber in: SVR 2013 IV Nr. 24 S. 66), womit die nach Eingang der verspäteten Meldung bezogenen Renten grundsätzlich nicht mehr rückerstattungspflichtig sind (<ref-ruling> E. 4a S. 435 mit Hinweis).
4.2.2. Der Versicherte stellt den Kausalzusammenhang für die Zeit vom 1. Oktober 2009 bis 30. November 2010 nicht in Frage, ist aber unter Berufung auf die zitierte Rechtsprechung (E. 4.2.1 hiervor) der Ansicht, die Weiterausrichtung der Rente durch die IV-Stelle nach Kenntnisnahme seines Schreibens vom 5. November 2010 könne nicht mehr auf die Meldepflichtverletzung zurückgeführt werden, weshalb eine Rückzahlungspflicht für die Zeit ab 1. Dezember 2010 ausscheide. Bei dieser Argumentation übersieht er allerdings, dass er mit seiner Meldung vom 5. November 2010 den Kausalzusammenhang nicht unterbrochen hatte. Es ist einzuräumen, dass die Vorinstanz in ihren Erwägungen konstatiert, er sei der Meldepflicht "frühestens" mit diesem Brief nachgekommen. Sie gibt aber andernorts klar zu erkennen, dass das Schreiben (nur) Anhaltspunkte lieferte, welche Anlass zu weiteren Abklärungen boten. Diese Feststellung ist nicht offensichtlich unrichtig. Denn die - unvollständige - Meldung vom 5. Dezember 2010 allein vermochte die IV-Stelle nicht in die Lage zu versetzen, den zumindest ab 1. Oktober 2009 fehlenden Rentenanspruch zu erkennen und somit mit einer sofortigen Einstellung der Rentenzahlungen zu reagieren. Zu berücksichtigen ist, dass sich der Versicherte im Rahmen der dem Schreiben vom 5. November 2010 folgenden Vorbescheidverfahren auf den Standpunkt stellte, er sei schon vor Eintritt der Invalidität - seit dem Jahr 1989 - neben seinem 100%igen Haupterwerb einem Nebenerwerb als Fussballtrainer nachgegangen, weshalb der daraus resultierende Verdienst zum Valideneinkommen zu zählen sei; unter anderem deswegen bleibe es auch unter Anrechnung der in den letzten Jahren erzielten Verdienste (beim Invalideneinkommen) unverändert bei einer halben Rente. Sein Einwand gegen eine Einstellung der Invalidenrente war - bei unvollständiger Aktenkenntnis - durchaus nachvollziehbar. Die Weiterausrichtung der Rente bis kurz nach Erlass der Verfügung vom 28. März 2012 kann daher nicht als Zugeständnis der Verwaltung interpretiert werden, die Rente trotz der im November 2010 bekannt gewordenen veränderten Verhältnisse in finanzieller Hinsicht weiterhin in bisherigem Umfang auszurichten. Vielmehr muss davon ausgegangen werden, dass sie die Rentenzahlungen solange nicht einstellen wollte, als die gewichtigen Einwände des Beschwerdeführers nicht entkräftet waren. Der Beschwerdeführer bestritt im Übrigen auch noch im Verfahren vor dem kantonalen Gericht, dass sich die nicht gemeldeten Veränderungen auf den Rentenanspruch ausgewirkt hätten. Stattdessen ging er unverändert davon aus, dass ab 1. Juli 2006 ein wesentlich höheres Valideneinkommen angenommen werden müsse, was dazu führe, dass ihm materiell auch unter Berücksichtigung des tatsächlich erzielten Einkommens weiterhin eine halbe Rente zustehe. Die Vorinstanz entkräftete diese Argumentation mit dem Hinweis, er habe seine Nebenerwerbstätigkeit als Fussballtrainer und -funktionär erst am 1. Juli 2006, also nach dem letzten (tatsächlichen) Arbeitstag bei der B._ AG am 31. Mai 2006, aufgenommen. Die Haupterwerbs- und die Nebenerwerbstätigkeiten seien also faktisch nie parallel zueinander ausgeübt worden. Aus dem Umstand, dass er nach Eintritt der Arbeitsunfähigkeit als Fussballfunktionär tätig geworden sei, lasse sich nicht ableiten, er hätte dies auch im Gesundheitsfall, neben der Hauptbeschäftigung getan. Die Voraussetzungen, unter welchen die Tätigkeit mit den gesundheitlichen Einschränkungen Rückschlüsse auf die beruflichen Aktivitäten im Gesundheitsfall zulasse, seien hier nicht erfüllt. Vielmehr müsse davon ausgegangen werden, erst der Wegfall der früheren Haupterwerbstätigkeit habe es dem Beschwerdeführer ermöglicht, seine Erwerbstätigkeit als Fussballfunktionär und -trainer auf das spätere Ausmass, welches ab 1. Juli 2006 einem 50%-Pensum und jedenfalls ab 1. Juli 2009 einem Vollzeitpensum entsprochen habe, auszubauen. Gegen diese Einschätzung erhebt der Beschwerdeführer letztinstanzlich keine Einwände mehr. Da die Verwaltung im Nachgang zur Meldung vom 5. November 2010 unmissverständlich zu erkennen gab, dass sie nicht gewillt war, die bisherige Rente trotz veränderter Verhältnisse weiterhin auszurichten (im Gegensatz zum Sachverhalt, wie er <ref-ruling> E. 4b S. 435 zugrunde lag), ist der - implizite - Schluss des kantonalen Gerichts auf einen über November 2010 hinaus bestehenden Kausalzusammenhang zwischen Meldepflichtverletzung und Schaden im Rahmen der eingeschränkten Überprüfungsbefugnis des Bundesgerichts (E. 1 hiervor) nicht zu beanstanden.
4.2.3. Folgte man im Übrigen der Betrachtungsweise des Beschwerdeführers, wäre die Verwaltung gezwungen, bei jedem Verdacht auf eine anspruchsgefährdende Veränderung die Rentenzahlungen unverzüglich einzustellen, was sich weder aus der Sicht der versicherten Personen noch aus dem Blickwinkel des Versicherungsträgers als sinnvoll erweisen dürfte.
4.3. Zusammenfassend ist daran zu erinnern, dass die unrichtige Ausrichtung der Leistung im Sinne von <ref-law> unbestrittenermassen auf die Verletzung der dem Beschwerdeführer zumutbaren Meldepflicht gemäss <ref-law> zurückzuführen war. Für die Zeit nach der Meldung vom 5. November 2010, welche die Kausalität nicht zu unterbrechen vermochte, kann nichts anderes gelten. Der kantonalgerichtliche Entscheid hält damit einer bundesgerichtlichen Überprüfung unter allen Aspekten stand, was zur Abweisung der dagegen erhobenen Beschwerde führt.
5.
Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung der Beschwerde gegenstandslos.
6.
Entsprechend dem Prozessausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Berger Götz