Sachverhalt: A. Die C._ AG (Gesuchsgegnerin und Beschwerdegegnerin 3) ist eine Aktiengesellschaft mit Sitz in U._, die den Import und Export sowie den Handel mit Edelstahl und Erzeugnissen aus Edelstahl und verwandten Produkten bezweckt. B. B.a. Mit Eingabe vom 7. November 2014 teilten D._ (Gesuchstellerin 1 und Beschwerdegegnerin 1) und die E._ mbH (Gesuchstellerin 2 und Beschwerdegegnerin 2) dem Bezirksgericht Appenzell I.Rh. mit, dass die C._ AG seit der ordentlichen Generalversammlung vom 31. Oktober 2014 aufgrund einer Pattsituation im Aktionariat über keinen Verwaltungsrat mehr verfüge, und beantragten gestützt auf Art. 731b OR die Anordnung der zur Beseitigung des Organisationsmangels notwendigen Massnahmen. B.b. Mit Verfügung vom 20. Januar 2015 setzte der Bezirksgerichtspräsident von Appenzell I.Rh. Dr. Michael Werder superprovisorisch als Sachwalter der Gesuchsgegnerin ein. Mit Verfügung vom 22. Januar 2015 bewilligte der Bezirksgerichtspräsident das Gesuch der Aktionäre A._ und B._ (Beschwerdeführer) um Nebenintervention auf Seiten der Gesuchsgegnerin. Mit Verfügungen vom 29. Januar 2015 und 20. März 2015 verlängerte der Bezirksgerichtspräsident das Sachwaltermandat von Dr. Werder. Mit Verfügung vom 6. Mai 2015 bewilligte der Bezirksgerichtspräsident das Gesuch eines weiteren Aktionärs um Nebenintervention auf Seiten der Gesuchsgegnerin. Mit Verfügung vom 8. Juni 2015 ermächtigte der Bezirksgerichtspräsident den Sachwalter, die finanziellen Interessen der Gesuchsgegnerin bezüglich ihrer Beteiligung an der H._ B.V. zu prüfen, und forderte die Nebenintervenienten auf, bis am 19. Juni 2015 ihren Aktienkauf- und Übertragungsvertrag vollständig offenzulegen. Auf die von den Nebenintervenienten A._ und B._ gegen diese Verfügung eingelegte Berufung trat das Kantonsgericht Appenzell I.Rh. mit Entscheid vom 11. August 2015 nicht ein. Auch das Bundesgericht trat mit Urteil 4A_469/2015 vom 25. November 2015 auf die Beschwerde gegen den kantonsgerichtlichen Nichteintretensentscheid mangels nicht wieder gutzumachenden Nachteils (Art. 93 Abs. 1 lit. a BGG) nicht ein. B.c. Am 19. Januar 2016 fand vor dem Bezirksgericht Appenzell I.Rh. eine Parteiverhandlung statt, anlässlich derer der Bezirksgerichtspräsident mit den Gesuchstellerinnen, der Gesuchsgegnerin (handelnd durch den Sachwalter) und allen Nebenintervenienten eine Gesamtlösung für das weitere Vorgehen bzw. die Auflösung der C._ AG zu finden versuchte. Zwischen den Hauptparteien einerseits und den Nebenintervenienten andererseits ergaben sich indessen keine Lösungsansätze. In der Folge entliess der Bezirksgerichtspräsident die Nebenintervenienten aus der Parteiverhandlung und die Hauptparteien einigten sich auf folgendes Vorgehen zur Behebung des Organisationsmangels: "1. Die Parteien sind einverstanden, dass alle Inhaberaktien der C._ AG unter den Aktionären der C._ AG versteigert werden (...). Die Parteien ersuchen das Gericht zu diesem Zwecke, alle Aktionäre zu verpflichten, ihre Inhaberzertifikate innert Wochenfrist nach Aufforderung durch den Sachwalter bei demselben zu deponieren. 1.1. Der Sachwalter verpflichtet sich, innert 10 Tagen, nachdem er von G._, in seiner Funktion als gerichtlich bestellter 'supervisory director bei der H._ B.V.' Mitteilung erhalten hat, dass die gesuchstellenden Parteien alle für den Informationsgleichstand benötigten Informationen bezüglich H._ B.V. erhalten haben, alle Aktionäre der C._ AG zur Abgabe eines schriftlichen Angebots aufzufordern, welches innert 14 Tagen beim Sachwalter (...) eingereicht werden muss. 1.2. Nach Ablauf der Frist informiert der Sachwalter alle Aktionäre der C._ AG über die eingegangenen Angebote, resp. deren Ausbleiben. 1.3. Geht innert Frist mindestens ein Angebot ein, setzt der Sachwalter allen Aktionären der C._ AG eine weitere Frist von 14 Tagen, innert welcher die Aktionäre ein neues Angebot einreichen können. Aktionäre, welche innert der ersten Frist gemäss Ziff. 1.1. kein Angebot eingereicht haben, können ebenfalls ein schriftliches Angebot beim Sachwalter einreichen. 1.4. Nach Ablauf der Frist informiert der Sachwalter alle Aktionäre der C._ AG über die eingegangenen Angebote und gibt ihnen die Möglichkeit, die Gebote mündlich zu erhöhen. Er erteilt dem Meistbietenden den Zuschlag. 1.5. Jedes Gebot ist durch eine vom Sachwalter genehmigte, unwiderrufliche Bankgarantie einer Schweizer Bank, resp. einer Schweizer Niederlassung einer Bank, im Umfang des potenziell zuzukaufenden Aktienpakets zu unterlegen. Der Sachwalter ist zum Stillschweigen über die Höhe der Bankgarantien verpflichtet. 2. Geht innert Frist gemäss Ziff. 1.1 kein Angebot ein, wird die C._ AG unter Ausschüttung einer Naturaldividende bezüglich der Beteiligung an der H._ B.V. liquidiert. Der Liquidationserlös wird den Aktionären im Verhältnis ihrer Beteiligungen ausbezahlt. Die Liquidation erfolgt durch den Sachwalter. 3. Einigen sich alle Aktionäre der C._ AG vor dem Zuschlag der Aktien auf die Modalitäten einer Naturalausschüttung, wird der Sachwalter das Steigerungsverfahren abbrechen und die Liquidation gemäss der Einigung zwischen den Aktionären abwickeln, unter Beachtung der gesetzlichen und steuerrechtlichen Vorgaben. 4. Die Parteien sind damit einverstanden, dass das Mandat des Sachwalters bis zum Abschluss der Liquidation der Gesellschaft oder der Bestellung neuer Organe verlängert wird, längstens ein Jahr ab Rechtskraft dieses Entscheides (...) bzw. allfälliger diesbezüglicher Rechtsmittelverfahren. Die Kosten des Sachwalters sind durch die C._ AG zu tragen. Die Parteien ersuchen das Gericht, den Sachwalter zu ermächtigen, sämtliche Handlungen, welche gemäss dieser Vereinbarung für die Versteigerung, resp. die Liquidation der C._ AG nötig sind, vorzunehmen. Insbesondere ist er auch zur Übertragung/Löschung/Neuerstellung der Aktienzertifikate zu berechtigen. 5.-7. (...) 8. Das Verfahren sei zufolge dieses Vergleichs abzuschreiben. 9. Bei Genehmigung dieses Vergleichs verzichten die Parteien auf die Ergreifung eines Rechtsmittels." Mit Entscheid vom 22. Januar 2016 verlängerte das Bezirksgericht das Mandat des Sachwalters (Dispositiv-Ziffer 1) und ordnete Folgendes an: "2. Der Sachwalter wird mit der Versteigerung der Aktien der C._ AG im Sinne von Ziffer 1.1-1.5 des gerichtlichen Vergleichs ermächtigt und beauftragt. 2.1 Die Aktionäre sind verpflichtet, als Beweis ihrer Aktionärseigenschaft gleichzeitig mit ihrem Steigerungsangebot ihre Aktienzertifikate im Original beim Sachwalter treuhänderisch zu deponieren. 2.2 Nach erfolgtem Zuschlag haben alle anderen Aktionäre der C._ AG ihre Aktienzertifikate der C._ AG innert 14 Tage dem Sachwalter in seiner diesbezüglichen Funktion als Treuhänder nachzureichen. Diese gerichtliche Anordnung wird unter die Strafdrohung von Art. 292 StGB gestellt, wonach mit Busse bestraft wird, wer der von einer zuständigen Behörde oder einem zuständigen Beamten unter Hinweis auf die Strafdrohung dieses Artikels an ihn erlassenen Verfügung nicht Folge leistet. 2.3 (...) 2.4 Geht kein fristgemässes Steigerungsangebot über die Aktien der C._ AG ein, hat der Sachwalter die C._ AG im Sinne des Vergleichs unter Ausschüttung einer Naturaldividende bezüglich der Beteiligung an der H._ B.V. zu liquidieren. Der Liquidationserlös ist den Aktionären im Verhältnis ihrer Beteiligungen auszubezahlen. 3. - 4. (Kostenregelung) " Gegen diesen Entscheid legten die Nebenintervenienten A._ und B._ Berufung, eventualiter Beschwerde, beim Kantonsgericht Appenzell I.Rh. ein mit folgenden Anträgen: "1. Es seien die Ziffer 2-4 des Entscheids des Bezirksgerichts Appenzell I.Rh., E 176-2014, vom 22. Januar 2016 aufzuheben und es sei die anteilsmässige Ausschüttung der Beteiligung der C._ AG an der H._ B.V. an die Aktionäre der C._ AG durch Naturaldividende zu verfügen; Eventuell sei das Aktienkapital der C._ AG von bisher Fr. 500'000.-- um die Hälfte auf Fr. 250'000.-- herabzusetzen, wobei die Kapitalherabsetzung in folgender Weise durchzuführen sei: Durch Vernichtung von 250 Inhaberaktien mit Nennwert Fr. 1'000.-- der Aktionärsgruppe F._, B._ und A._ und Rückerstattung der hälftigen Barmittel sowie der hälftigen Beteiligung an der H._ B.V. der C._ AG an die Aktionärsgruppe F._, B._ und A._; Subeventuell sei das Aktienkapital der C._ AG von bisher Fr. 500'000.-- um die Hälfte auf Fr. 250'000.-- herabzusetzen, wobei die Kapitalherabsetzung in folgender Weise durchzuführen sei: Durch Vernichtung von 250 Inhaberaktien mit Nennwert Fr. 1'000.-- der Aktionärsgruppe E._ mbH und D._ und Rückerstattung der hälftigen Barmittel sowie der hälftigen Beteiligung an der H._ B.V. der C._ AG an die Aktionärsgruppe E._ mbH und D._; 2. Eventuell sei die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen des Kantonsgerichts an die Vorinstanz zurückzuweisen;" Mit Entscheid vom 17. Februar 2016 trat das Kantonsgericht auf die Berufung sowie auf die eventualiter erhobene Beschwerde mangels Legitimation der Nebenintervenienten zur Ergreifung eines Rechtsmittels nicht ein. C. Mit Beschwerde in Zivilsachen beantragen A._ und B._ dem Bundesgericht, der Entscheid des Kantonsgerichts sei aufzuheben und die Berufungsanträge seien gutzuheissen; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerinnen beantragen in ihren Beschwerdeantworten, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Eventualiter sei die Sache an die erste Instanz zu neuer Beurteilung zurückzuweisen, subeventualiter sei die Liquidation der Gesuchsgegnerin nach den Vorschriften über den Konkurs anzuordnen. Weiter seien die Beschwerdeführer zur Zahlung einer Sicherheitsleistung in der Höhe von Fr. 5.4 Mio., eventualiter Fr. 250'000.-- zu verpflichten. Die Vorinstanz beantragt in ihrer Vernehmlassung die Abweisung der Beschwerde. D. Mit Verfügung vom 2. Mai 2016 erteilte die Präsidentin der I. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung, ordnete an, dass bis zum Entscheid über die Beschwerde sämtliche Vollziehungsvorkehrungen zu unterbleiben haben, und verbot dem Sachwalter, weitere Handlungen zur Versteigerung der C._-Aktien vorzunehmen. Das Sicherstellungsgesuch der Beschwerdegegnerinnen wies die Präsidentin definitiv und das Gesuch um Vereinigung des vorliegenden Verfahrens mit dem Verfahren 4A_160/2016 zur Zeit ab.