Sachverhalt:
A.
Der 1969 geborene A._ war zuletzt als Sicherheitsbeauftragter erwerbstätig gewesen, als er sich am 3. Mai 2011 unter Hinweis auf einen am 2. November 2010 erlittenen Unfall bei der Invalidenversicherung zum Leistungsbezug anmeldete. Nachdem er gegen einen ersten Vorbescheid vom 15. Januar 2013 Einwand erhoben hatte, tätigte die IV-Stelle Appenzell Ausserrhoden weitere Abklärungen. Insbesondere holte sie beim Medizinischen Zentrum Römerhof (MZR) eine polydisziplinäre (orthopädisch-traumatologisch-rheumatologisch, neurologisch und psychiatrisch) Expertise ein (Gutachten vom 16. November 2017). Nach erneuter Durchführung eines Vorbescheidverfahrens lehnte die IV-Stelle mit Verfügung vom 18. Juli 2019 einen Rentenanspruch ab.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Obergericht Appenzell Ausserrhoden mit Entscheid vom 23. April 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, die Sache sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheids zur weiteren Abklärung des medizinischen Sachverhaltes sowie zur Neubeurteilung an die Beschwerdegegnerin zurückzuweisen. Gleichzeitig stellt A._ ein Gesuch um unentgeltliche Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerdeschrift hat unter anderem ein Rechtsbegehren zu enthalten (<ref-law>). Das Begehren umschreibt den Umfang des Rechtsstreits und muss grundsätzlich so formuliert werden, dass es bei Gutheissung zum Urteil erhoben werden kann. Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich diese grundsätzlich nicht darauf beschränken, die Aufhebung bzw. Rückweisung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Der Beschwerdeführer hat demnach anzugeben, welche Punkte des Entscheids angefochten und welche Abänderung des Dispositivs beantragt werden. Grundsätzlich ist ein materieller Antrag erforderlich, damit die Beschwerde zulässig ist, ausser wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte (<ref-ruling> E. 1.3 S. 317; <ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.: siehe allerdings auch <ref-ruling> E. 1.4.1 S. 414 f.).
1.2. Rechtsbegehren sind nach Treu und Glauben auszulegen, insbesondere im Lichte der dazu gegebenen Begründung (<ref-ruling> E. 1 S. 127; Urteil 4P.266/2006 vom 13. Dezember 2006 E. 1.3). Nach der Rechtsprechung schadet eine sichtlich ungewollte oder unbeholfene Wortwahl der am Recht stehenden Person ebensowenig wie eine nicht geglückte oder rechtsirrtümliche Ausdrucksweise. Es genügt, wenn der Beschwerde insgesamt entnommen werden kann, was die beschwerdeführende Person verlangt (SVR 2004 IV Nr. 25 S. 75, I 138/02 E. 3.2.1 mit Hinweisen).
1.3. Der Rechtsuchende beantragt in seiner Beschwerdeschrift lediglich, der kantonale Entscheid sei aufzuheben und die Sache zur weiteren Abklärung des medizinischen Sachverhalts sowie zur Neubeurteilung an die Beschwerdegegnerin zurückzuweisen. Dieser rein kassatorischer Antrag genügt grundsätzlich nicht. Aus dem Gesamtzusammenhang der Beschwerdeschrift ergibt sich jedoch, dass der Beschwerdeführer die Zusprache einer Invalidenrente verlangt; ein solches Begehren ist ohne Weiteres zulässig.
1.4. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG), weshalb auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten ist.
2.
2.1. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3 S. 23 f.) und mit uneingeschränkter (voller) Kognition (<ref-law>; <ref-ruling> E. 2 S. 236). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
3.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die rentenablehnende Verfügung der IV-Stelle bestätigte.
4.
4.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
4.2.
4.2.1. Gemäss <ref-law> prüft der Versicherungsträger die Begehren, nimmt die notwendigen Abklärungen von Amtes wegen vor und holt die erforderlichen Auskünfte ein. Mündlich erteilte Auskünfte sind schriftlich festzuhalten. Muss der Versicherungsträger zur Abklärung des Sachverhaltes ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, so gibt er nach <ref-law> der Partei deren oder dessen Namen bekannt. Diese kann den Gutachter aus triftigen Gründen ablehnen und kann Gegenvorschläge machen. Medizinische Gutachten, an denen drei und mehr Fachdisziplinen beteiligt sind, haben in Anwendung von <ref-law> bei einer Gutachterstelle zu erfolgen, mit welcher das Bundesamt eine Vereinbarung getroffen hat. Die Vergabe der Aufträge erfolgt gemäss <ref-law> nach dem Zufallsprinzip.
4.2.2. Die Gutachterwahl bei polydisziplinären MEDAS-Begutachtungen hat rechtsprechungsgemäss immer nach dem Zufallsprinzip zu erfolgen (<ref-ruling> E. 1.1 S. 274 f., 139 V 349 E. 5.2.1 S. 354). In einem ersten Schritt teilt die IV-Stelle der Versicherten mit, dass eine Expertise eingeholt werden soll; zugleich gibt sie ihr die Art der vorgesehenen Begutachtung (poly- oder mono- bzw. bidisziplinär) sowie die vorgesehenen Fachdisziplinen und Gutachterfragen bekannt. In diesem Stadium kann der Versicherte (nicht personenbezogene) materielle Einwendungen gegen eine Begutachtung an sich oder gegen Art oder Umfang der Begutachtung vorbringen (Beispiele: unnötige second opinion; unzutreffende Wahl der medizinischen Disziplinen). In einem zweiten Schritt teilt die IV-Stelle dem Versicherten die mittels Zufallszuweisung (durch die vom BSV entwickelte Vergabeplattform SuisseMed@P, über welche der gesamte Verlauf der Gutachtenseinholung gesteuert und kontrolliert wird) zugeteilte Gutachterstelle und die Namen der Sachverständigen inklusive Facharzttitel mit. In der Folge hat der Versicherte die Möglichkeit, materielle oder formelle personenbezogene Einwendungen geltend zu machen (<ref-ruling> E. 5.2.2 S. 355 f.). Dieses Zuweisungsmodell soll generelle, aus den Rahmenbedingungen des Gutachterwesens fliessende Abhängigkeits- und Befangenheitsbefürchtungen neutralisieren (<ref-ruling> E. 5.2.2.1 S. 355).
4.2.3. Aufgrund dieser Verfahrensordnung bleibt bei polydisziplinären Gutachten für eine einvernehmliche Benennung der Experten kein Raum. Eine einvernehmliche Einigung kann zwar im Einzelfall grundsätzlich geeignet sein, die Akzeptanz polydisziplinärer MEDAS-Gutachten insbesondere bei den Versicherten zu erhöhen. Dies ist indes kein Grund, von der zufallsbasierten Zuweisung abzusehen oder nur dann auf diese zurückzugreifen, wenn eine Einigung der Parteien auf eine Gutachterstelle misslingt. Nachdem lediglich Gutachterstellen polydisziplinäre Expertisen für die IV-Stellen verfassen dürfen, welche die (organisatorischen und fachlichen) Anerkennungskriterien des BSV erfüllen, könnte die IV-Stelle die vom Versicherten vorgeschlagenen MEDAS-Stellen im Wesentlichen nur aus verfahrensökonomischen Gründen ablehnen und wird damit weitgehend auf die Vorschläge der versicherten Person verpflichtet. Würde regelmässig eine einvernehmliche Benennung der Experten angestrebt, so würde erneut eine ergebnisorientierte Auswahl der Gutachterstelle etabliert, nunmehr unter umgekehrten Vorzeichen, welche das in <ref-law> verankerte Zufallsprinzip gerade verhindern will (vgl. <ref-ruling> E. 3.2 S. 511 ff.).
4.3.
4.3.1. Nach der in <ref-law> und Art. 6 Ziff. 1 EMRK enthaltenen Garantie des verfassungsmässigen Richters hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirkung sachfremder Umstände entschieden wird. Für Sachverständige gelten grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für den Richter vorgesehen sind. Im Hinblick auf die erhebliche Bedeutung, welche den Arztgutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit der Gutachterperson ein strenger Massstab anzusetzen (<ref-ruling> E. 7.1 S. 109 f.; vgl. auch <ref-ruling> E. 2.1.3 S. 231).
4.3.2. Die bundesgerichtliche Rechtsprechung verlangt gestützt auf den auch für Private geltenden Grundsatz von Treu und Glauben und das Verbot des Rechtsmissbrauchs (<ref-law>; <ref-ruling> E. 7.1 S. 403 mit Hinweisen), dass verfahrensrechtliche Einwendungen so früh wie möglich, das heisst nach Kenntnisnahme eines Mangels bei erster Gelegenheit, vorzubringen sind. Es verstösst gegen Treu und Glauben, Mängel dieser Art erst in einem späteren Verfahrensstadium oder sogar erst in einem nachfolgenden Verfahren geltend zu machen, wenn der Einwand schon vorher hätte festgestellt und gerügt werden können. Wer sich auf das Verfahren einlässt, ohne einen Verfahrensmangel bei erster Gelegenheit vorzubringen, verwirkt in der Regel den Anspruch auf spätere Anrufung der vermeintlich verletzten Verfahrensvorschrift (vgl. <ref-ruling> E. 2.2 S. 336; <ref-ruling> E. 4.3.1 S. 21; <ref-ruling> E. 4.3 S. 496 f.; <ref-ruling> E. 4.3 S. 75; je mit Hinweisen; Urteil 1C_630/2014 vom 18. September 2015 E. 3.1). So sind insbesondere verspätet vorgebrachte Ausstandsgründe nicht zu berücksichtigen resp. verwirkt (<ref-ruling> E. 4.3 S. 69; <ref-ruling> E. 8.4.5 S. 276; SVR 2006 UV Nr. 20 S. 70 E. 4.5, U 303/05).
5.
5.1. Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere aber unter Berücksichtigung des Gutachtens des MZR vom 16. November 2017 für das Bundesgericht grundsätzlich verbindlich festgestellt, dass der Versicherte in einer angepassten Tätigkeit zu 100 % arbeitsfähig ist. Der Beschwerdeführer bringt dagegen einzig vor, auf das polydisziplinäre Gutachten des MZR dürfe nicht abgestellt werden, da die Experten in Verletzung von <ref-law> (vgl. E. 4.2 hievor) nicht nach dem Zufallsprinzip ausgewählt worden seien.
5.2. Gemäss den verbindlichen vorinstanzlichen Sachverhaltsfeststellungen war der Beschwerdeführer bereits im Zeitpunkt der Auftragsvergabe an die Gutachtensstelle rechtskundig vertreten. Trotzdem hat er den Vorwurf der rechtswidrigen Gutachterwahl im Administrativverfahren nicht - auch nicht informell (vgl. dazu auch Urteil 9C_174/2020 vom 2. November 2020 E. 6.2.2, zur Publikation vorgesehen) - geltend gemacht, sondern erstmals in der Beschwerde an das kantonale Gericht vorgebracht. Wie dieses zutreffend erwogen hat, ist diese Rüge damit verspätet erhoben worden. Es sind keine Gründe ersichtlich, weshalb die Rechtsprechung, wonach verfahrensrechtliche Einwendungen so früh wie möglich, das heisst nach Kenntnisnahme eines Mangels bei erster Gelegenheit, vorzubringen sind (vgl. E. 4.3.2 hievor), für die Geltendmachung einer rechtsfehlerhaften Gutachterwahl nicht gelten sollte (vgl. auch Urteil 8C_635/2018 vom 21. Dezember 2018 E. 5.3). Verwirkt selbst der Anspruch auf Geltendmachung eines formellen Ausstandsgrundes bei verspäteter Rüge, so muss dies umso mehr auch in Fällen wie dem vorliegenden gelten, in denen lediglich eine - wenn auch rechtsprechungsgemäss unzulässige (vgl. E. 4.2 hievor) - einvernehmliche Benennung der Experten im Raum steht. Hier wie dort kann es nicht angehen, dass eine versicherte Person mit der Rüge des Mangels zuwartet, bis sie Kenntnis von der Beurteilung der Experten erhält und damit die Rüge vermutungsweise nur dann erhebt, wenn sie mit dieser nicht einverstanden ist.
5.3. War der Beschwerdeführer damit bereits im kantonalen Gerichtsverfahren mit der Rüge einer Verletzung von <ref-law> nicht zu hören, so hat die Vorinstanz kein Bundesrecht verletzt, als sie den medizinischen Sachverhalt unter Berücksichtigung des Gutachtens festgestellt hat. Da aus der festgestellten Arbeitsfähigkeit in einer angepassten Tätigkeit bei im Übrigen letztinstanzlich unbestrittener Invaliditätsbemessung kein rentenbegründender Invaliditätsgrad resultiert, hat das kantonale Gericht zu Recht die leistungsablehnende Verfügung der IV-Stelle bestätigt. Die Beschwerde ist damit abzuweisen.
6.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die entsprechenden gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Andreas Hübscher wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Februar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold