Sachverhalt:
A. Der 1954 geborene X._ war zuletzt als Stadtschreiber erwerbstätig gewesen, als er sich am 19. Oktober 2007 unter Hinweis auf eine Depression bei der IV-Stelle Bern zum Leistungsbezug anmeldete.
Am 22. April 2009 verstarb X._ nach einem Verkehrsunfall.
Mit Vorbescheid vom 1. Dezember 2009 stellte die IV-Stelle in Aussicht, X._ rückwirkend für die Zeit vom 1. August 2007 bis 30. Oktober 2008 eine Dreiviertelsrente und für die Zeit vom 1. November 2008 bis 30. April 2009 eine ganze Rente der Invalidenversicherung zuzusprechen. Daraufhin erklärten A._, B._, C._, D._, E._ und F._ als Erben des X._ (nachstehend: die Erben des X._) am 13. Januar 2010 den Rückzug der IV-Anmeldung. Mit Verfügung vom 3. März 2010 stellte die IV-Stelle fest, die Anmeldung könne nicht zurückgezogen werden, da dadurch schutzwürdige Interessen Dritter verletzt würden.
B. Die von den Erben des X._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 24. August 2010 ab.
C. Mit Beschwerde beantragen die Erben des X._, es sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides festzustellen, dass die Anmeldung per 13. Januar 2010 gültig zurückgezogen wurde.
Während die IV-Stelle Bern auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit resp. die Zulässigkeit der bei ihm erhobenen Rechtsmittel von Amtes wegen und mit freier Kognition (<ref-law>; vgl. <ref-ruling> E. 1 S. 96; Urteil 8C_264/2009 vom 19. Mai 2009 E. 1; je mit Hinweisen).
2. Die Legitimation zur Beschwerde in öffentlich-rechtlichen Angelegenheiten setzt unter anderem voraus, dass die beschwerdeführende Person ein schutzwürdiges Interesse an der Beurteilung ihrer Eingabe hat (<ref-law>). Dieses muss nicht nur bei der Beschwerdeeinreichung, sondern auch noch im Zeitpunkt der Urteilsfällung aktuell und praktisch sein. Fällt das schutzwürdige Interesse im Laufe des Verfahrens dahin, wird die Sache als erledigt erklärt; fehlte es schon bei der Beschwerdeeinreichung, ist auf die Eingabe nicht einzutreten. Das Bundesgericht verzichtet ausnahmsweise auf das Erfordernis des aktuellen praktischen Interesses, wenn sich die aufgeworfenen Fragen unter gleichen oder ähnlichen Umständen jederzeit wieder stellen können, eine rechtzeitige Überprüfung im Einzelfall kaum je möglich wäre und die Beantwortung wegen deren grundsätzlicher Bedeutung im öffentlichen Interesse liegt (SVR 2010 UV Nr. 16 S. 61, 8C_622/2009 E. 1.1). Soweit die Legitimationsvoraussetzungen nicht ohne Weiteres ersichtlich sind, hat die beschwerdeführende Person die Beschwerdebefugnis in der Beschwerdeschrift darzutun (vgl. <ref-law>). Es ist nicht Aufgabe des Bundesgerichts, anhand der Akten oder weiterer, noch beizuziehender Unterlagen nachzuforschen, ob und inwiefern eine als Beschwerdeführer auftretende Person zur Beschwerde zuzulassen ist (<ref-ruling> E. 1.1 S. 251).
3. Die Vorinstanz bestätigte eine Verfügung der Beschwerdegegnerin, wonach die Beschwerdeführenden ein noch vom verstorbenen Versicherten eingereichtes Leistungsbegehren nicht zurückziehen können, weil dadurch Dritte in ihren schutzwürdigen Interessen beeinträchtigt würden. Das Interesse der beschwerdeführenden Erben an diesem Rückzug und somit an der Änderung des vorinstanzlichen Entscheides ist nicht ohne Weiteres ersichtlich. Dass ihr Interesse darin liegen könnte, durch diesen Rückzug berufsvorsorgerechtliche Vorteile zu erlangen, wurde von den Beschwerdeführenden ausdrücklich bestritten; nicht geprüft zu werden braucht demzufolge, ob ein solches - vom kantonalen Gericht als rechtsmissbräuchlich gewertetes - Interesse schutzwürdig wäre. Das von den Erben angetönte Bestreben, in einem Bereich, in dem es kaum Literatur oder Rechtsprechung gebe, die zutreffende Auslegung der gesetzlichen Grundlagen zu erfahren, ist für sich alleine noch kein ausreichendes Interesse, um zur Beschwerde zugelassen zu werden (vgl. <ref-ruling> E. 2a/cc S. 44). Ein anderes Interesse ist weder geltend gemacht noch ersichtlich.
4. Ist ein schutzwürdiges Interesse der Beschwerdeführenden an der Aufhebung oder Änderung des vorinstanzlichen Entscheides nicht ausgewiesen, so ist auf ihre Beschwerde nicht einzutreten.
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. September 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Holzer