Sachverhalt:
A.
Mit Verfügung vom 8. November 1999 sprach die IV-Stelle Schwyz dem 1956 geborenen I._ bei einem Invaliditätsgrad von 56 % ab 1. Februar 1997 eine halbe Rente der Invalidenversicherung zu. Am 16. Mai 2003 und am 3. Mai 2007 lehnte es die IV-Stelle ab, diese Rente revisionsweise zu erhöhen.
Am 17. Mai 2009 beantragte der Versicherte, seine Rente sei ab 1. Oktober 2008 auf eine ganze Rente zu erhöhen. Die IV-Stelle holte daraufhin ein interdisziplinäres Gutachten bei der Medizinischen Abklärungsstelle X._ ein (Gutachten vom 21. Juli 2010). Mittels Vorbescheid vom 26. November 2010 stellte die IV-Stelle in Aussicht, die Rente rückwirkend ab 1. April 2009 auf eine ganze Rente zu erhöhen, was sie am 18. Januar 2011 verfügte.
Mit Schreiben vom 6. Dezember 2010 forderte die IV-Stelle den Versicherten auf, sich einer knietotalendoprothetischen Versorgung zu unterziehen. Innerhalb von drei Monaten ab Erhalt des Schreibens habe der Versicherte der IV-Stelle mitzuteilen, wann und wo diese Operation durchgeführt wird. Es sei vorerst eine einseitige Knieprothesenimplantation durchzuführen, welche innerhalb von sechs Monaten ab Erhalt des Schreibens zu erfolgen habe, nach einem weiteren halben Jahr sei dann die Operation des anderen Knies durchzuführen. Sollte der Versicherten dieser Aufforderung nicht uneingeschränkt nachkommen, so würde die IV-Stelle aufgrund der Akten entscheiden und voraussichtlich die Rentenzahlungen reduzieren oder einstellen. Am 24. Januar 2011 erhob der Versicherte gegen diese Aufforderung Einwände und verlangte, es sei eine formelle Verfügung zu erlassen. In einem als Verfügung bezeichneten Schreiben vom 2. Februar 2011 bestätigte die IV-Stelle ihre Haltung, der Versicherte habe sich einer knietotalendoprothetischen Versorgung zu unterziehen.
B. Auf die von I._ hiegegen erhobene Beschwerde trat das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. Mai 2011 nicht ein.
C. Mit Beschwerde beantragt I._, die Sache sei unter Aufhebung des kantonalen Gerichtsentscheides an die Vorinstanz zurückzuweisen, damit diese einen materiellen Entscheid über seine Beschwerde vom 9. März 2001 fälle.
Während die IV-Stelle Schwyz auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
2. Streitig und zu prüfen ist, ob die Vorinstanz zu Recht nicht auf die Beschwerde des Versicherten gegen das als Verfügung bezeichnete Schreiben der IV-Stelle vom 2. Februar 2011 eingetreten ist.
3. 3.1 Die versicherte Person muss in Anwendung von <ref-law> alles ihr Zumutbare unternehmen, um die Dauer und das Ausmass der Arbeitsunfähigkeit (<ref-law>) zu verringern und den Eintritt einer Invalidität (<ref-law>) zu verhindern. Gemäss <ref-law> können die Leistungen nach <ref-law> gekürzt oder verweigert werden, wenn die versicherte Person den Pflichten nach <ref-law> oder nach <ref-law> nicht nachgekommen ist.
<ref-law> bestimmt Folgendes: Entzieht oder widersetzt sich eine versicherte Person einer zumutbaren Behandlung oder Eingliederung ins Erwerbsleben, die eine wesentliche Verbesserung der Erwerbsfähigkeit oder eine neue Erwerbsmöglichkeit verspricht, oder trägt sie nicht aus eigenem Antrieb das ihr Zumutbare dazu bei, so können ihr die Leistungen vorübergehend oder dauernd gekürzt oder verweigert werden. Sie muss vorher schriftlich gemahnt und auf die Rechtsfolgen hingewiesen werden; ihr ist eine angemessene Bedenkzeit einzuräumen. Behandlungs- oder Eingliederungsmassnahmen, die eine Gefahr für Leben und Gesundheit darstellen, sind nicht zumutbar.
3.2 Rechtsprechungsgemäss stellt die Aufforderung der IV-Stelle an die versicherte Person zur Selbsteingliederung keine anfechtbare Verfügung dar (Urteile I 364/03 vom 9. Februar 2004 E. 3.2 und I 22/05 vom 6. Juni 2006 E. 7.2). Dies wird damit begründet, dass es sich hierbei nicht um eine rechtlich erzwingbare Pflicht handelt, sondern um eine sozialversicherungsrechtliche Last, deren Erfüllung die Voraussetzung der Entstehung oder des Fortbestandes des Rentenanspruchs ist (Urteil I 364/03 vom 9. Februar 2004 E. 3.2).
3.3 Entgegen den Ausführungen des Beschwerdeführers ist auf diese Rechtsprechung nicht zurückzukommen. Insbesondere erleidet die versicherte Person durch die Aufforderung, sich einer Operation zu unterziehen, keinen nicht wieder gutzumachenden Nachteil: Verweigert sie eine entsprechende Behandlung, so wird die IV-Stelle in der Folge eine anfechtbare Verfügung über eine Kürzung oder Einstellung der Rente zu erlassen haben. Die versicherte Person wird im Rechtsmittelverfahren zu dieser Verfügung die Möglichkeit haben, die Rechtmässigkeit der Aufforderung überprüfen zu lassen. Ist der versicherten Person die geforderte Behandlung nicht zuzumuten, so wird das Gericht die rentenkürzende oder -einstellende Verfügung aufheben können.
3.4 Die Vorinstanz ist demnach zu Recht nicht auf die Beschwerde des Versicherten gegen das als Verfügung bezeichnete Schreiben der IV-Stelle vom 2. Februar 2011 eingetreten. Die Beschwerde gegen diesen Entscheid ist demnach abzuweisen, soweit auf sie mit Blick auf die Rechtsprechung (vgl. Urteil 8C_699/2009 vom 22. April 2010 E. 1, wonach ein solcher vorinstanzlicher Entscheid unter Umständen als Zwischenentscheid im Sinne von <ref-law> zu qualifizieren wäre) überhaupt eingetreten werden kann.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die entsprechenden gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Felix Barmettler wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Oktober 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Holzer