Sachverhalt: A. A.a. Mit Verfügung vom 15. August 1994 sprach die IV-Stelle des Kantons Solothurn dem verheirateten, 1954 geborenen A._ eine halbe Invalidenrente nebst Zusatzrente für die Ehefrau sowie Kinderrente zu. Die Ehe von A._ wurde mit Urteil vom 24. Juni 1998, welches am 7. Juli 1998 in Rechtskraft erwachsen war, geschieden. Der Versicherte teilte der IV-Stelle die Scheidung mit Schreiben vom 14. Juli 1998 mit und liess ihr in der Folge auch das Urteil zukommen. Die IV-Stelle leitete dieses am 30. Juli 1998 "zur Kenntnisnahme und zur direkten Erledigung" an die Ausgleichskasse des Kantons Solothurn weiter. A.b. Im Zuge eines Zivilstandsabgleichs liess das Bundesamt für Sozialversicherungen (BSV) der IV-Stelle am 14. Juni 2013 eine Liste von Personen zukommen, deren Personendaten widersprüchlich waren und auf welcher auch A._ vermerkt war. Mit Verfügung vom 9. September 2014 hielt die IV-Stelle fest, auf Grund der Ehescheidung müsse ein Splitting durchgeführt und die Rentenhöhe rückwirkend auf fünf Jahre, d.h. ab 1. September 2009, neu berechnet werden. Aufgrund dieser Berechnung falle die Invalidenrente tiefer aus und müsse A._ den Differenzbetrag zwischen den ausgerichteten und den tatsächlich geschuldeten tieferen Rentenbeträgen von Fr. 3'384.- zurückerstatten. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 21. Juli 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es seien der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 21. Juli 2015 sowie die Verfügung der IV-Stelle vom 9. September 2014 bezüglich Rückforderung von unrechtmässig bezogenen Leistungen im Umfang von Fr. 3'384.- aufzuheben. Zudem ersucht er um Erteilung der aufschiebenden Wirkung. Die IV-Stelle und das BSV verzichten auf eine Vernehmlassung. D. Mit Verfügung vom 16. November 2015 hat der Instruktionsrichter der Beschwerde die aufschiebende Wirkung zuerkannt.